次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの「OSSインフラ」としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能…
ただいま社内的に論争中なのでちょっとまとめておく分散環境でのデータモデルはどうあるべきか という議論。分散環境は非同期処理が中心にはなるのだが 画面系を中心に同期処理も入ってくるので その組み合わせを前提に考えないといけない。基本的に外部から…
まぁ本当にいろいろありましたが、 10/3をもって正式にノーチラス発足という運びになりまして。 関係者の皆さん、コミュニティの皆さん 一緒に参加してくれた皆さんに感謝申し上げます。 ありがとうございます。1 まず新しいオフィス場所は品川の運河のほと…
難解で知られるブライアン・アーサーの新刊 「テクノロジーとイノベーション―― 進化／生成の理論」 http://www.amazon.co.jp/%E3%83%86%E3%82%AF%E3%83%8E%E3%83%AD%E3%82%B8%E3%83%BC%E3%81%A8%E3%82%A4%E3%83%8E%E3%83%99%E3%83%BC%E3%82%B7%E3%83%A7%E3%8…
Hadoop Conference Japan Fall 2011が 終わったので、その印象を記録しておきたい。詳細は、日経の中田さんの記事が 今のところ一番的確な感じ。 Hadoopカンファレンスが開催、本格普及を見据えた支援サービスや先進事例が充実 | 日経 xTECH（クロステック）…
Amazon CAPTCHA Hadoop MapReduce デザインパターン の監修という事をさせたもらったので その内容とかについてですね。まず、元の本はこれです。 http://www.amazon.co.jp/Data-Intensive-Processing-MapReduce-Synthesis-Technologies/dp/1608453421/ref=s…
もともとHadoopは注目の仕組みであったけど ここに来てさらに大きな流れになろうとしてる。 各種のイベントや記事にしても大型のものが多く 一種のHype状態になってきている。Hadoop Japan Conference 2011 Fall Hadoop Conference Japan 2011 Fall Tickets,…
まず現状の認識は以下の通り1.20-30代の就業人口の減少これは大前提になる。 また情報共有も進むためよりブラックな会社が 人を集めること自体のハードルがあがる。 結果として、人員を集めるということがより厳しくなる。 これはITに限らず、労働集約的産業…
というわけで、無事、新会社のオフィスが立ち上がりまして。 9/5から事実上、ここでの仕事になります。 そのうち正式にHPで公開になりますが、もう早くもいらっしゃる方もいるので・・（株）ノーチラス・テクノロジー 所在地 ：〒140-0001 品川区北品川1-19-…
一応感想というかメモ書き・DougはApacheのChairmanであり、ポジション的には Clouderaのビジネスを語る立場ではないので、 普通にテクノロジーとして意見を聞くべき・ビジネス的には仮にC社が買収されたとして 本家がApacheで保護されているので大ジョブと…
クラウド温泉に行ったので、感想と考えたことを 忘れないうちに記録しておこうかと。 まず勉強になったのはF#で、 これは@bleisさんとMSの荒井さんの説明がすばらしかったので、 まずは感謝。ありがとうございます。 特に@bleisさんのfold関数でここまでやれ…
分散処理のでTXデータモデルについてちょっと思ったのでまとめておく。基本的にクラウド系の分散システムでのTX系の業務データの扱いとしては、 大別して２種類の考え方があると感じている。 データストアの構造から言うと、 RDBMSとKVSの対比「のようなモノ…
ちょっと最近というか、ここ数年はというか、ここ10数年は、 常に強迫的に勉強せざるえない状況が続いておりまして、 まぁその辺の反省も踏まえて、 特に今後のIT屋さんとして何が必要ですか、 という点をまとめておく。「マスターしておきたい技術」という…
まぁちょっと遅くなったのですが、やっと時間が空いたので アンケート結果のレビューをしてみます。Hbase@FacebookFacebookのJonathan Grayさんのお話の勉強会でした。1：Hbaseを導入していますか？有効回答：114 本で読んだ 63(55.3%) 触っている 39(34.2%)…
次世代アーキテクチャについての考えをまとめておく。まずは、Hbaseの勉強会のお話。 某界隈では割と話題になったので、 細かいブログやサイトは結構、紹介されている。 ので特に詳細は省く。一応tatsuyaさんのSlideshareは Tokyo HBase Meetup - Realtime B…
座談会で発表して頂いた綾瀬ヒロさんの推薦図書のメモ 東京駅の栄松堂書店とかにあるかもです。 お店を探す | 東京駅一番街「鉄道輸送業務の基礎とシステム化の進め方」 （財団法人鉄道総合技術研究所：鉄道総研教育講座テキスト）「鉄道のスケジューリング…
今日、株主総会で会社の役員を正式に辞めた。 移行にカウントダウンだ。 キリも良いので、＋あとちょっと酔っ払っているので書く。 これは会社を作る前から考えていたことでもあるけど ここ1-2年で痛感していることでもある。「我々40代は何をすべきか」まず…
Hbase勉強会のまとめの延長として 今後の考え方をまとめておきます。まずは前提として Hbaseにかぎらず、NoSQL系一般に言えることではあるが Usecaseを意識して利用する事が必要だ、ということだと思う。 最近の傾向としては、Googleでも顕著だけど、 一定の…
言うまでもなく、COBOLなベテランは非同期バッチ処理の達人が多い。 日本ではこの手のベテランが多い。 まず世界でも例がないほどだと思う。 クラウド時代はむしろ非同期処理のオンパレードであり、 学ぶべき点はたくさんある。 こと運用レベルや、対障害設…
MapReduceというと集計に使うモノという人が多いと思う。 なんとなれば、MapReduce＝Hadoop＝ワードカウントの図式になっているからだ。 実際、Hadoopを触ってみようという人のほとんどはexampleとしてワードカウントを使うはず。その辺に落ちてるシェークス…
御徒町が絡んだネタの記録Hadoopが好きだ 「元祖戦争が好きだ」ネタでの展開。酔った勢いで作った。 酔った勢いにしては、ポイントを押さえていて後から見てワラタ。 https://groups.google.com/group/hadoop_model/browse_thread/thread/68b1f32c43727e7b?h…
セミナーに行ってきました。発表があったようですね。 自分は最後のところしか出れませんでした。とほほ。んで、NTTDさんのCDHサポートについてです。 値段がでましたね。5ノードから25万円、という内容です。賛否はそれなりにあると思いますが、個人的には…
本日発表で、これ6/2のセミナー狙ってのリリースだと思われます。 「大規模データ処理基盤Hadoopの 最新版パッケージ製品の販売・サポートサービスを開始」 大規模データ処理基盤Hadoopの最新版パッケージ製品の販売・サポートサービスを開始 | NTTデータ対…
AsakusaSCRの第一回で、今回はAshigelコンパイラの内容 自分用のメモなのでかなり端折る。基本的なレビュートレースは Asakusa SCR #1 - draft Gist https://gist.github.com/988810 を参考にすること。 基本的にトレースが難しいので、上記の情報は今後も…
さて、会社を作った。 （元）EC-ONEの最首さんと一緒につくった。EC-ONE側は、SI事業をウルシステムズへ統合して、分社化する。 僕らのチームがそのままEC-ONEに移動し、そして新しい会社を作る。分散をやっているEC-ONEの福岡のチームと合流して、 分散技術…
HBaseの勉強会にて①まずは感想 キーノートはこれ。 HBase Workshop in Tokyo #001Tatsuyaさんや、PFIのCTOさんの話を聞いて感じたのは とにかく工夫が要るということだな、と思った。 特に運用周りは正直、鬼門だらけという印象。 MRで死ぬとか、勝手にど派…
Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回）の告知とか始めてますよ。 zusaar.com - zusaar リソースおよび情報早いもので、もう5回目ですか・・・今回は、某新幹線のシステムを作っている綾瀬さんと、…
一応別名でブログは書いていたのですが、まぁそういうわけにも行かなくなりそうだったので、試験的に準備してみる。まずはAsakusaのスライド Asakusa Enterprise Batch Processing Framework for Hadoop
