桜、抹茶、白、日記

名古屋市在住のC++使いのcoderの日記だったもの。

わんくま同盟 名古屋勉強会 #15 Hadoop事始め

d:id:youandi:20100313#p2, d:id:youandi:20100626#p1
わんくま同盟名古屋勉強会#15にてスピーカー登壇した記録。

資料

基本は、プログラミング生放送勉強会 第4回 @名古屋(d:id:youandi:20100628#p1)において30分枠でスピーカー登壇した時の資料の焼き直しです。

写真

あんまり顔とか写してほしくないのですけど、いちいちお断りを入れるのも面倒なのでまあいいや。

りょーいち Blog > [写真] You&IさんのHadoopのお話
http://blogs.wankuma.com/ryoichi/archive/2010/10/16/193923.aspx

参考書籍

Hadoop

Hadoop

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)

Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)

補足事項

というか入れようと思っていて入れ忘れ。

補足1

MapReduceすると出力ファイルは入力ファイルよりも小さくなるって説明し忘れた。それを説明する為の前振りとして分散コンパイルの例で「*.cpp」よりも「*.o」の方がファイルサイズが大きくなるって説明したのに。

補足2

Hadoopは流行っているか?

Googleトレンド > Hadoop
http://www.google.co.jp/trends?q=hadoop

補足3

参考書籍を追加しようと思ったのですが、忘れていました。vol.1の方はクックパッドさんの事例紹介、vol.2はHadoopを使ったシステム例の紹介が実践的で良い感じです。

みてわかるクラウドマガジン vol.2 (日経BPパソコンベストムック)

みてわかるクラウドマガジン vol.2 (日経BPパソコンベストムック)

みてわかるクラウドマガジンvol.1 (日経BPパソコンベストムック)

みてわかるクラウドマガジンvol.1 (日経BPパソコンベストムック)

補足5

HDFSのアクセス権の扱いというかYahoo! Distribution of Hadoop with Securityの話をし忘れた。

補足6

Google Instantの説明を間違えた。

Google Suggest
Windowsでいうところのオートコンプリートっぽいの。
Google Instant
検索ボックスに入力中の文字列の検索結果を即時表示。
補足7

ブロックデータのレプリカの話はしましたが、HDFS上のデータのバックアップの話をし忘れました。基本同じ構成のHDFSクラスタを複数用意する事になると思います。

反省会

KPTで。

    • Keep
      • やっぱり登壇というきっかけがないと勉強しない
      • 登壇3回目にして初めての50分枠
    • Problem
      • タイトルが前回と被っていた(〜事始め)
      • やるつもりはなかったが、デモプログラムを持ってくるのを忘れた
      • ウケを取りに行った部分が全く受けず、ど滑りしたorz
      • 上記のウケを取りに行った部分で、ちょっと空気を入れ換えて眠いセッションを立て直す予定が、総崩れ
      • ZooKeeperが何する機能か調べたのにど忘れした
        • そのまんまの意味か。動物園の管理人ということでHadoopの各サービス管理的な役割?
      • イベント告知の日付を間違えた
      • デモを入れないと喋りっぱなしで疲れる
    • Try
      • デモを取り入れる

今週特に仕事が忙しくて眠気MAXな状態で臨んだセッションでしたが、オーディエンスの反応を見る限り、失敗に終わったようです。お昼直後で皆さんのまぶたが閉じてしまうようなセッション内容だったようです・・・。
あと途中で質問して聞いてみた感じでは、BigDataを知らなかったり、PosgreSQLも知らなかったりとRDBMSについて知っている人が根本的に少なかった希ガス