Saturday, December 10, 2016

【Hortonworks Advent Calendar 2016】 みどりのゾウさんを愛するスゴ腕Zoo Keepers

ここ1、2年、個人的に国内外の取材でとてもお世話になっているのがHortonworksです。Hadoop関連の取材が増えるにしたがい、HadoopのトップベンダであるHortonworksとの接点も自然と増え、去年と今年は米サンノゼで行われた「Hadoop Summit Sun Jose」にもプレスとして参加させていただき、仕事にもかかわらずとても楽しい日々を過ごしました。いや、本来なら仕事でも楽しいほうがいいですよね。Hadoop Summitにかぎらず、米国のITカンファレンスは本当に楽しいものが多いので、時差ボケとメシのまずさと物価高に耐えられるのなら、とても有意義な期間を過ごせます。開発者の方なら、ぜひ年に一度は海外イベントに行かれることをオススメします。


そんなワケでずいぶんHortonworksのエラい方々、いわゆる役職付きのエグゼクティブの皆様にも取材を通してお会いさせていただきました。今回、人生初のアドベントカレンダー参加ですが、わたしにしか書けないであろうネタということで、これまで取材したHortonworksの何人かの方々をちらりとご紹介してみたいと思います。

ロブ・ビアデン

Hadoop Summit 2016 San Joseのキーノートにて


直接インタビューさせていただいたことはありませんが、現在のHortonworksの顔といえば、やはりこの方、CEOのロブ・ビアデン(Rob Bearden)でしょう。Horotnworksが設立された2011年にCOOとして入社、翌2012年からCEO職に就き、現在に至っています。Hadoop Summitのキーノートやその他のカンファレンスでお見かけすることが多いのですが、温厚でいて、力強いメッセージを発信できるリーダーという印象です。Hortonworksの前にはOracleのほか、JBossやSpringSourceといったオープンソースカンパニーに在籍していた経験もあります。オープンソースをビジネスで成功させるのって、本当にハードルが高いのですが、そのマネジメントをできる、世界でも数少ないエグゼテクィブなのではないでしょうか。なお、Hortonworksのマネジメント担当者にはOracle出身者がけっこう多かったりします。

Hortonworksは現在、単なるHadoopのいちディストリビュータから、データアナリティクスのグローバルテクノロジ企業へとトランスフォームする必要性に迫られています。一方で、前述したようにApache Hadoopというオープンソースを事業のコアに置くビジネスは、短期的な利益にはどうしてもつながりにくい。Hortonworksにとっては残念なことに、コミュニティとビジネスの間に立っていたプレジデントのハーブ・クーニッツが6月のHadoop Summitの後に、売上があまりよくなかった責任を取って辞任しています。この痛みを乗り越え、いちHadoopベンダの枠を超えてオープンソースビジネスをどうスケールしていくのか、2017年はロブにとってもターニングポイントになる1年だとみています。

アルン・マーシー

Hadoop Summit 2016 San Jpseのキーノートにて

ロブ・ビアデンが現在の会社の顔だとしたら、アルン・マーシー(Arun Murthy)はHortonworks創業以来の顔、そしてApache Hadoopコミュニティ誕生以来の顔といえるかもしれません。アルンにも直接インタビューさせてもらったことはないのですが、Hadoop Summitですれ違ったりすると、つい「カッコいいなあ」と見とれてしまいます。いつかインタビューをセッティングしてほしいなあ…

2011年にYahoo!からスピンアウトしてHortonworksを設立したファウンダーのひとりです。MapReduceのスペシャリストとしてYahoo!在籍中から著名な開発者として活躍していましたが、現在はHortonworksのエンジニアリング部門のVPとして、主力製品である「Hortonworks Data Platform(HDP)」の開発を指揮しています。もちろんHadoopコミュニティにおいてももっとも重要な開発者のひとりであり、Apache Hadoop PMCのチェアを務めたこともあります。HortonworksはApache Hadoopの開発における貢献(コミットしたコード行数、解決済みイシュー数)でダントツの首位を誇りますが、それはアルンをトップとするHadoopエンジニアたちが優秀であることに尽きます。HadoopコミッタやPMCの数ももちろんトップです。以前、とある作家さんから「人は正論では動かない、憧れで動く」という言葉を聞いたことがありますが、Hadoop開発者にとっての憧れであるアルンの存在は、まさに彼らにとってのビジョナリーであり、心を動かすドライバなんだろうなあ…といつもおもいます。

スレシュ・スリニバス


今年3月、米サンタクララにあるHortonworksの本社でお会いさせていただいたのがスレシュ・スリニバス(Suresh Srinivas)、アルンと同様にYahoo!からスピンアウトした創業メンバーのひとりで、HDFS開発の主要メンバー、もちろんPMCです。日本にも何度か来ているので、ご存知の開発者の方も多いかもしれませんね。なお、このときのインタビューは別に記事にしています。


スレシュを訪ねた時期はちょうどアイルランドのダブリンで行われるHadoop Summitの直前で、Hortonworksの本社はほんとうにがらーーーんとしていて、ものすごくさびしかったのを覚えています。エグゼクティブもみんなダブリンに行ってしまい、「パスポートの準備が間に合わなかったから今回は(ダブリンに)行かないことにした」というスレシュだけがインタビューに応じてくれることになって、でもよく考えたらとても運が良かった。おかげでHadoop 3.0のもっとも重要なアップデートであるイレージャコーディングをはじめ、Hadoop開発におけるいくつものガイドラインを知ることができました。スレシュとのインタビューを通じて、自分の中のHadoopの理解が一段進んだ気がします。もっともインタビュー中にスレシュが言った「あいらいじゃー」の意味がわからず、何度も何度も聞き直しても結局わからず、記事を書きながらイレージャコーディング(ereaure coding)のことか!とようやく腑に落ちたという…インド人の発音、ムズカシイ(_ _;)

6月のサンノゼのサミットでスレシュと再会したとき「記事をGoogle翻訳にかけて全部読んだよ。すごく良いインタビューにしてくれてありがとう」と言われて、涙が出るほどうれしかったのを覚えています。本当に全身から良いひとオーラが漂っている、すばらしい開発者です。またいつか、お話をうかがう機会があればいいな。

Hadoop Summit 2016 San Jpseの会場でスレシュとばったり再会! 記念にピースでぱちり★

サンジェイ・ラディア


Hadoop Summit 2016 San Jpseのキーノートにて。ちなみにサンジェイともピース写真ありますw

今年10月にはついに東京でもHadoop Summitが開かれました。サンノゼの規模に較べるとかなり小さいものの、セッションの質はサンノゼと同じくらい高く、それでいて解放的な雰囲気が取材していてとても心地よかった。国内ではまだ数の少ない有料カンファレンスでしたが、結果としては大成功だったんじゃないかとおもいます。ちなみにHadoop Summit Tokyoについてももレポート書いてます。


東京でのサミット開催に伴い、Hortonworks本社から何人かのエグゼクティブが来日しましたが、その中でもいちばんエラかったひとがたぶんサンジェイ・ラディア(Sanjay Radia)です。アルンやスレシュと同様に創業メンバーのひとりであり、現在はHortonworksのチーフアーキテクトを務めています。HDFSやYARN、Apache Hiveなどの開発コミュニティではリーダー…というよりかなり雲の上のひと的存在かと。

まだ記事にしていないので、ちょっと大声で言いにくいのですが、サンジェイにも単独インタビューさせてもらっています。インタビュー前、わたしのこれまでのキャリアと過去記事の何本か提出せよという要望がきて、「え、もしかしてコワいひとなんだろうか…」とビビリながら英語で自分のキャリア紹介を書いた記憶があります。実際にお会いするとふつうに穏やかな方で拍子抜けしたのですが、やはりチーフアーキテクトという立場から、技術的な知識があるジャーナリストかどうかのチェックをされていたみたいです。なんとか合格したようでほっとしました。

サンジェイはYahoo!以前にSun Microsystemsで分散コンピューティングを専門にしていたキャリアをもちます。なのでインタビューではHadoopのリソース管理の効率化についていろいろお話をうかがえただけでなく、オープンソースに対するアツい思いも聞かせていただきました。やはり元Sunの方は心の底からオープンソースが好きなんですね。サンジェイに「Hortonworksはオープンソースを事業のコアにしているという理解でおけ?」という質問をしたら、ちょっと語気を荒げて「コアではない! オープンソースは我々にとってのすべてだ - Opensource is EVERYTHING to us!」と答えてくれたのが印象的でした。

スレシュもそうなんですが、サンジェイも日本のHadoop開発者をすごく高く評価しています。とくにHortonworksの顧客でありながら、最近では開発にも積極的に参加しているYahoo! JAPANを「ファンタスティックな仕事をしている」とむちゃくちゃほめていました。開発者だけでなく、「日本は景色も食べ物も人もすばらしい」と絶賛してくれて、単純ですけど、そういうのを聞くとやっぱりうれしくなりますね。次回お会いするときも、日本がほめられる状況が続いているといいのですが。

ジョー・ウィット


Hadoop Summit 2016 San JoseのHortonworksのブースにて

前述したとおり、Hortonworksは現在、単なるHadoopディストリビュータからアナリティクスカンパニーへの脱却を目指してビジネスモデルを変えようとしています。そうした中で、HDPと並ぶもうひとつの主力製品としてフォーカスしているのが「Hortonworks DataFlow(HDF)」です。HDPがApache Hadoopをベースにしているように、HDFはApache Nifiというオープンソースプロダクトをベースにしています。ひとことで言えばデータフローのオーケストレーション製品で、データソースから収集したデータをどこに出力し、ふたたびどこに格納するか、といったデータの流れ(data flow)を可視化し、自在にコントロールことが可能です。たとえばTwitterから吸い上げたデータをSparkにインジェストし、分析後はHDPに格納、といった流れを設計できるわけです。オープンソースになったのは2014年で、その前までの8年間、かのNSAによって開発されていました。NSAがオープンソース…ちょっと驚きますよね。

このHDFを開発面で統括しているのが"NiFi Guru"、カナダ出身のジョー・ウィット(Joe Witt)です。現在のHortonworksでの肩書はエンジニアリング部門のシニアディレクターですが、もともとのキャリアは国防総省のソフトウェアエンジニアであり、NSAとともにNiFiの開発の中心人物でした。2014年にNiFiがApacheに寄贈された後、NSAのエンジニアたちと2015年3月にOnyaraというNiFiスタートアップをローンチしていますが、その5カ月後にHortonworksに買収され、現在に至ります。NiFiという名前を付けたのは「ナイアガラフォールズ(Niagara Falls)の近くに開発拠点があったから」というごくシンプルな理由だと話していました。

ジョーとは6月のサンノゼのサミットでいろいろ話をさせてもらいました。これもちゃんと記事にしていないんですよね…我ながらほんとうにアウトプット効率がわるくてげんなりしますが、それはともかく、「データを扱う上で、大事なのはまずビジュアライズすること。見えないものを見えるようにする、それだけでやるべきことは自然とわかってくる」と強調していました。現在、NiFiをリプレースするようなデータフローオーケストレーションツールはないとのこと。「NiFiでこだわった点はいろいろあるけれど、ストリーミングの方向性をインタラクティブにしているのは重要なポイント。Stormなんかだとこれはムリ」と話してくれました。うぅ、ちゃんとインタビュー記事書こう…。

アルンやスレシュ、サンジェイとはだいぶ違ったタイプのエンジニアですが、ジョー自身はHortonworksでのエンジニアライフが「とても楽しい、エクセレントな毎日」と語っています。「いろいろなタイプの人間がいて、多様性がある。そしてコミュニティを作り上げている感覚がすごくいい。これほどコミュニティ指向の企業はそうはないんじゃないかな」というジョーの言葉に、サンジェイが強調していた"Opensource is EVERYTHING to us!"な会社の姿勢が見て取れますね。

*****

Hadoopのマスコットがゾウさんなのはいまさら言うことではありませんが、Hortonworksという会社の名前は、絵本の主人公のゾウ"Horton the Elephant"から取ったそうです。スゴ腕のゾウ使いがずらりとそろったHorotonwokrs、2017年はどんなパフォーマンスを見せてくれるのか、物書きのひとりとして心から楽しみにしています。あ、その前に、サンノゼのみどりのゾウさんは、もっとかわいくしてほしいです>エラい方々



サンノゼのサミット会場ではこの雑なつくりのみどりゾウさんがあちこちに出没します。かわいくないの…

ではみなさま、よいクリスマスをお過ごしください!