Hadoopアドベント・カレンダーの多分最終日のはず。 せっかくなんで、来年の予想でもしてみようかと。日本の話です。世界のことはよくわかりません。本当のことは、日本には伝わらない（表向きの話はともかく、現状ではVCあたりの外野の方が発言力があると思…

業務系のデータ処理では、大きくはトランザクションとマスターに分かれる。マスターデータは特に、モデルや制御の方法が何かと面倒くさいので、よく議論になる。「マスターデータの管理の手法」というセミナーまで定期的に普通に開かれることも多い。他方、…

”ビッグデータで奇跡が起こる” はいどうも。まず、個人的には楽天的な進歩史観には、まったく組しない。従って、突然に新技術ができて、なんか凄い事になる、というのはさらにまったく同意しない。すべからくブレイクスルーは課題解決により起こると思ってい…

自分的な話題なので書いておきたい。まず立場的はっきりさせて置く。AWSを基本的にはエンタープライズ・ユースで考えています。もっと直裁にいえば、Asakusaの実行基盤として、すなわちEnterpise Hadoopの実行基盤として見ています。クラウドの利用は単社で…

まず、社内のオープニングで説明した内容だったりするのですが、一回まとめておきたいので。断っておくとこの言い方はニコラス・ネグロポンティから取っています。彼の主張は明確でいままでアトム（物質）的な存在だったものが、ビット（電子情報）的な存在…

先週の月曜日にお披露目会的なものがあったので行ってきた。 ちょいと前半戦は見れなかったので、肝心なところを見てない説もあり、その辺は割り引きたいが、まず印象まで。Jubatus http://jubat.us/基本的なラインは、言ってみれば、分散CEP+機械学習という…

どこでも何回も何十回も言われているが、システムを経営の変化に対応させるにはある程度のシステムの開発を内製化すべきである、という論調が強い。この問題は、古くて新しい問題であり、と同時におそらく、いままでとは違うコンテクストで語られることにな…

次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの「OSSインフラ」としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能…

ただいま社内的に論争中なのでちょっとまとめておく分散環境でのデータモデルはどうあるべきか という議論。分散環境は非同期処理が中心にはなるのだが 画面系を中心に同期処理も入ってくるので その組み合わせを前提に考えないといけない。基本的に外部から…

まぁ本当にいろいろありましたが、 10/3をもって正式にノーチラス発足という運びになりまして。 関係者の皆さん、コミュニティの皆さん 一緒に参加してくれた皆さんに感謝申し上げます。 ありがとうございます。1 まず新しいオフィス場所は品川の運河のほと…

難解で知られるブライアン・アーサーの新刊 「テクノロジーとイノベーション―― 進化／生成の理論」 http://www.amazon.co.jp/%E3%83%86%E3%82%AF%E3%83%8E%E3%83%AD%E3%82%B8%E3%83%BC%E3%81%A8%E3%82%A4%E3%83%8E%E3%83%99%E3%83%BC%E3%82%B7%E3%83%A7%E3%8…

Hadoop Conference Japan Fall 2011が 終わったので、その印象を記録しておきたい。詳細は、日経の中田さんの記事が 今のところ一番的確な感じ。 Hadoopカンファレンスが開催、本格普及を見据えた支援サービスや先進事例が充実 | 日経 xTECH（クロステック）…

Amazon CAPTCHA Hadoop MapReduce デザインパターン の監修という事をさせたもらったので その内容とかについてですね。まず、元の本はこれです。 http://www.amazon.co.jp/Data-Intensive-Processing-MapReduce-Synthesis-Technologies/dp/1608453421/ref=s…

もともとHadoopは注目の仕組みであったけど ここに来てさらに大きな流れになろうとしてる。 各種のイベントや記事にしても大型のものが多く 一種のHype状態になってきている。Hadoop Japan Conference 2011 Fall Hadoop Conference Japan 2011 Fall Tickets,…

まず現状の認識は以下の通り1.20-30代の就業人口の減少これは大前提になる。 また情報共有も進むためよりブラックな会社が 人を集めること自体のハードルがあがる。 結果として、人員を集めるということがより厳しくなる。 これはITに限らず、労働集約的産業…

というわけで、無事、新会社のオフィスが立ち上がりまして。 9/5から事実上、ここでの仕事になります。 そのうち正式にHPで公開になりますが、もう早くもいらっしゃる方もいるので・・（株）ノーチラス・テクノロジー 所在地 ：〒140-0001 品川区北品川1-19-…

一応感想というかメモ書き・DougはApacheのChairmanであり、ポジション的には Clouderaのビジネスを語る立場ではないので、 普通にテクノロジーとして意見を聞くべき・ビジネス的には仮にC社が買収されたとして 本家がApacheで保護されているので大ジョブと…

クラウド温泉に行ったので、感想と考えたことを 忘れないうちに記録しておこうかと。 まず勉強になったのはF#で、 これは@bleisさんとMSの荒井さんの説明がすばらしかったので、 まずは感謝。ありがとうございます。 特に@bleisさんのfold関数でここまでやれ…

分散処理のでTXデータモデルについてちょっと思ったのでまとめておく。基本的にクラウド系の分散システムでのTX系の業務データの扱いとしては、 大別して２種類の考え方があると感じている。 データストアの構造から言うと、 RDBMSとKVSの対比「のようなモノ…

ちょっと最近というか、ここ数年はというか、ここ10数年は、 常に強迫的に勉強せざるえない状況が続いておりまして、 まぁその辺の反省も踏まえて、 特に今後のIT屋さんとして何が必要ですか、 という点をまとめておく。「マスターしておきたい技術」という…

まぁちょっと遅くなったのですが、やっと時間が空いたので アンケート結果のレビューをしてみます。Hbase@FacebookFacebookのJonathan Grayさんのお話の勉強会でした。1：Hbaseを導入していますか？有効回答：114 本で読んだ 63(55.3%) 触っている 39(34.2%)…

次世代アーキテクチャについての考えをまとめておく。まずは、Hbaseの勉強会のお話。 某界隈では割と話題になったので、 細かいブログやサイトは結構、紹介されている。 ので特に詳細は省く。一応tatsuyaさんのSlideshareは Tokyo HBase Meetup - Realtime B…

座談会で発表して頂いた綾瀬ヒロさんの推薦図書のメモ 東京駅の栄松堂書店とかにあるかもです。 お店を探す | 東京駅一番街「鉄道輸送業務の基礎とシステム化の進め方」 （財団法人鉄道総合技術研究所：鉄道総研教育講座テキスト）「鉄道のスケジューリング…

今日、株主総会で会社の役員を正式に辞めた。 移行にカウントダウンだ。 キリも良いので、＋あとちょっと酔っ払っているので書く。 これは会社を作る前から考えていたことでもあるけど ここ1-2年で痛感していることでもある。「我々40代は何をすべきか」まず…

Hbase勉強会のまとめの延長として 今後の考え方をまとめておきます。まずは前提として Hbaseにかぎらず、NoSQL系一般に言えることではあるが Usecaseを意識して利用する事が必要だ、ということだと思う。 最近の傾向としては、Googleでも顕著だけど、 一定の…

言うまでもなく、COBOLなベテランは非同期バッチ処理の達人が多い。 日本ではこの手のベテランが多い。 まず世界でも例がないほどだと思う。 クラウド時代はむしろ非同期処理のオンパレードであり、 学ぶべき点はたくさんある。 こと運用レベルや、対障害設…

MapReduceというと集計に使うモノという人が多いと思う。 なんとなれば、MapReduce＝Hadoop＝ワードカウントの図式になっているからだ。 実際、Hadoopを触ってみようという人のほとんどはexampleとしてワードカウントを使うはず。その辺に落ちてるシェークス…

御徒町が絡んだネタの記録Hadoopが好きだ 「元祖戦争が好きだ」ネタでの展開。酔った勢いで作った。 酔った勢いにしては、ポイントを押さえていて後から見てワラタ。 https://groups.google.com/group/hadoop_model/browse_thread/thread/68b1f32c43727e7b?h…

セミナーに行ってきました。発表があったようですね。 自分は最後のところしか出れませんでした。とほほ。んで、NTTDさんのCDHサポートについてです。 値段がでましたね。5ノードから25万円、という内容です。賛否はそれなりにあると思いますが、個人的には…

本日発表で、これ6/2のセミナー狙ってのリリースだと思われます。 「大規模データ処理基盤Hadoopの 最新版パッケージ製品の販売・サポートサービスを開始」 大規模データ処理基盤Hadoopの最新版パッケージ製品の販売・サポートサービスを開始 | NTTデータ対…