Hadoop Conferene Japan Fall 2011 - 急がば回れ、選ぶなら近道

Hadoop Conference Japan Fall 2011が
終わったので、その印象を記録しておきたい。

また別の方のブログ記述もあるので、参考に。
http://d.hatena.ne.jp/smg-engineer/20110926/1317067540

まずは、主催して頂いたリクルート社の方々に
厚く御礼申し上げたい。本当にありがとうございました。
凄く大変だった思いますが、大成功だったと思います。
あとは、その他の主催者各位もお疲れ様でした。

えっと、感想戦ですが・・
特に、Claudera/Horton/MapR 三者三様の感もありつつ
その辺の印象ですが

1 Cloudera
もはや王者の風格。
「特に細かい説明はいいよね？Hadoop使うなら
俺ら以外の選択ってないから。
そこんとこよろしく」的な内容かと。

やはり圧倒的なマインド・シェアをもっているので、
それをベースにHadoop自体の位置付けとか、
もはや使い勝手のステージという趣旨の話がメイン。
おそらく一番、外向きのトレンドに合わせた話
になっている印象ではありました。

技術的になにか話したか、というとあまりなくて
パッケージングの内容とか主軸で、まぁ安定してます的な話。

2 Horton
技術的な動向について割とちゃんと話していた印象。
「まぁなんだ、結局、俺たちが一番コミットしているから
なにかとパッケージが乱立しそうな勢い
（Noiseって言葉もつかってたw）なんで、
どこが本家かちょっと認識して欲しい感じですよ」
的な内容かと。

やはり明確にリソース管理と実行フレームワーク
（アプリというか、その若干の下位層）は
明確に分ける方向は路線として決定した
という印象。

ただし、全体の最適化の「具体的な方向性」は
もちょっと待たないとわからない感じもする。

新しい物については、目を引くが、
さりげなくオワコンの内容も出ていて、
新規に行きつつ既存も整理しているのも
ちらちら見える。

番犬はとりあえず終了で、これは予想通り。
Oozieが微妙な感じだった。
Hiveは完全にFB次第の様相。などなど・・・
コアの部分は安定しているが、
その他の周辺部分は割と微妙な印象もある。
「どこがどうするか」で、いろいろ変わるな、
という気もした。

・・まぁその辺をサポートするのがClouderaなんだとは思うけど
CDH4,5と上がっていったときに、CDH3をどうするのか？
というのはちょっと注目したい。

Hortonの方はOSSの開発という位置付けだと思うので
互換性は最低ラインでも許容されるけど、
CDHのような有償サポートをいつまで
全ラインそろえるか、は大きな課題になるとは思う。

いずれにしても、HortonとClouderaはもちつもたれつ
という関係をうまく維持しながら、かつ割と微妙な
お互いの位置付けを維持していくような印象だったわけで。

3. MapR
「ほぼ完全に独自路線いくぜ」モード全開な感じ。
HDFS-Hadoopの問題点を指摘しつつ、
独自実装でフルカバーというのは明確になっていた。

Cloudera/Hortonとも完全に一線を画していた印象。
製品販売モードで、技術的な外観は示しつつも
かなりクローズドで行きますという内容。
・・まぁわかりやすい。

ちょっと、OSSとは違うかな的な印象ですね。
RDBMSのベンダーに近い気がする。
競合は多分、TeraDataとかそんな感じなる気がする。
実際、EMCへのOEMが主軸なんで、その辺はがっちり
やっていきますと受け取りました。

そもそもHDFSなり、MRなりは欠点だらけなので
それはいろんな方向含めて、OSS参加者が協力して
手当をして行きましょうね、というのが一種の
建前上の（本音は別として）コンセンサスだったと思う。
ので、あからさまに違う路線ですね。

ただ、OSSで収益を上げていくのであれば、MapR路線は
ありではあるので、タイミングの問題ではあるとは思う。
先に市場を取りにきましたよ、的な印象。

正直、現実的にBI目的でHadoopを利用して、
パフォーマンスを最優先にもっていくと
多分MapRだと思う。

上記三社の印象はそんな感じ。

あとはHCJ全体の印象ですが、
各コマへの人の移動を見ていると
英語はパスして、日本語に行きます的な動きが
あからさまだったので、
確実にHadoopの利用者のフェーズは移行してますね
という気もしました。