先日行われた初心者詐欺が横行していたelasticsearch勉強会に参加したのでそのメモを残しておきます。

ESは内部的にはLuceneを使っており、競合するプロダクトはSolrです。良くAWSのサービスと勘違いするようですが、AWSは関係なくオープンソースの製品です。(私もそう思っていた時期がありました。)

そういえば、隣に座っていたのTwitter4Jの山本さんだったんですね。気がつかなかった(;´Д`)

スライドはこちらにまとまっています。

雑感

雑感としては、SolrとESの使い分けが何となく自分の中で明確になりました。
Solrはスキーマきっちり、設計きっちりやりたい場合に使って、ESはデータ量が破滅的に増加的で柔軟なスキーマが欲しくてスケールをポンッとできる場合に使おうかなと思います。話を聞いた限りでは、がちがちなPluginを書く場合はSolrのが書きやすいなと思いました。SolrのPluginはそこそこ書きましたが、それなりに分かりやすかったです。

検索エンジンの入門から始まり、プラグインの書き方、デバッグの仕方、実際に使ってみた報告と発表が続いて、ES初心者の自分にはとても分かりやすい構成と話でした。

ESのここが良いなと思った点

  • Solrよりもスケールさせる時が楽そうなイメージ(あくまでイメージです)
  • 帯域制限ができる(Solrはレプリケーション時の帯域とCPU/IOを全力で使おうとするので、大概の場合ここでハマる人多いと思う)
  • ペンギンマンのスライドで、インデキシングの性能が173K/sという驚異的な数字をたたき出していること
  • 起動時にマルチキャスト通信をして自動でクラスタに組み込んでくれる点

ESでここが嫌だなぁーと思った点

  • 値から型を推測してスキーマを決める点
    • それ自体は別に良いんだけど、strict-modeで動作するオプションが欲しい
  • Pluginのパッケージ名を勝手に変更される点
  • Pluginの更新は再起動が必要(Javaなら比較的簡単にクラスのReload処理が書けるので将来対応しないかなー・・)

その他

ES + Kibana のデモを見ると、「もっと早くこれがあれば、あのツールとか、このツールとか、もっと良くできたのに・・」とか浮かんできて楽しそう。

ffmpegで動画をエンコードしていたら、気になる事があったのでメモ。誰か解決策を知っていたら教えてください(TxT)

困っていること

frapsで撮影したとある動画をx264に変換すると酷いことになる。

before

after

beforeの動画はこちらです。1GB以上あるので注意。

変換コマンドは以下の通り

./ffmpeg -i test.avi -c:v libx264 -preset slow test.mp4

この動画は現バージョンのffmpegを通すと、以下のエラーが発生します。

Too long VLC (31) in init_vlc
Error building tree
Error decoding plane 2
Error while decoding stream #0:0: Operation not permitted9

このエラーはlibavcodec/huffman.hFF_HUFFMAN_BITSを増やす修正でFIXできます。なお、元々は9だったものが10に修正された経緯がありますが、この動画は12くらいにしないと駄目でした。なお、16にすると出力ファイルが異常に大きくなり、24にすると12と同じサイズになります。・・・なんで?(;´Д`)
というわけで、まずはこのエラーを回避するためにFF_HUFFMAN_BITS12に変更してビルドしました。

 

次に試したのは以下のコマンド。pix_fmtを指定しました。

./ffmpeg -i test.avi -c:v -pix_fmt rgb24 libx264 -preset slow test.mp4

多少マシになったものの、やっぱりおかしな感じになります。

ちなみに、エンコードする時にサイズを変更すると大丈夫なのです。

./ffmpeg -i test.avi -s 720x480 -c:v libx264 -preset slow test.mp4

ffmpegのバージョンはこんな感じ↓です。

# ./ffmpeg -version
ffmpeg version 2.0.1
built on Aug 30 2013 16:30:36 with gcc 4.4.7 (GCC) 20120313 (Red Hat 4.4.7-3)
configuration: --enable-gpl --enable-version3 --enable-avisynth --enable-fontconfig --enable-libass --enable-libbluray --enable-libcaca --enable-libcdio --enable-libfreetype --enable-libgsm --enable-libmodplug --enable-libmp3lame --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-libopenjpeg --enable-libopus --enable-librtmp --enable-libsoxr --enable-libspeex --enable-libtheora --enable-libtwolame --enable-libvidstab --enable-libvo-aacenc --enable-libvo-amrwbenc --enable-libvorbis --enable-libvpx --enable-libwavpack --enable-libx264 --enable-libxvid --disable-outdev=sdl --disable-ffprobe --disable-ffserver --optflags='-O2 -finline-functions'
libavutil      52. 38.100 / 52. 38.100
libavcodec     55. 18.102 / 55. 18.102
libavformat    55. 12.100 / 55. 12.100
libavdevice    55.  3.100 / 55.  3.100
libavfilter     3. 79.101 /  3. 79.101
libswscale      2.  3.100 /  2.  3.100
libswresample   0. 17.102 /  0. 17.102
libpostproc    52.  3.100 / 52.  3.100

ffmpegのビルドの記事は別途かきます。  → 書きました

うーん・・。わからん(´・ω・`)

ブログのデザイン修正

MTを5にバージョンアップしようと思ったのですが、その過程でPerl5.10だとMT4が一部動かなかったり、MT5にしたらしたで一部のPluginが動かなかったり、再構築できなかったりと散々で心が折れかけたので、今回は諦めて既存のCSSのをベースに全体的に弄る程度にした。

デザインテスト用の記事は↓

https://mt.orz.at/archives/2000/01/post-599.html

なんで今更変更しようとしたかというと、今ちょっと長い記事を書いていて、セクション事にまとめたいなーと思ったから。

正直、コードやコマンド履歴をいっぱい書くビルドの記事とかはMarkdownとかで記述したいぜ・・。むしろVIMで書いてgit pushってやればBlogになってほしい。。

2ちゃんねる情報流出メモ

本日朝方に発覚した、2ちゃんねる会員情報流出の被害にあったのでそれの対応をメモっておきます。大騒ぎになったのは昨日の夜頃ですが、torで接続できる掲示板の書き込みを見ると、流出はもっと前(8/21かな?)からのようです。

ニュースはこちら → http://headlines.yahoo.co.jp/hl?a=20130826-00000016-asahi-soci

 

流出した個人情報(確認できている部分)として、「メールアドレス(2ちゃんねるびゅーわのID)」「2ちゃんねるびゅーわのパスワード」「国」「本名(姓名)」「カードタイプ」「カード番号」「カードの有効期限」「カードのセキュリティーコード(CCV)」「住所」「電話番号」「申込時のIPアドレス」を確認しました。
(CCV保存とかやっちゃ駄目なんじゃないっけ)

BEログインに関する情報なども諸々流出している事を確認しましたが、そもそもその辺詳しくないのでスルー。
●は元々過去ログを見るため(オンラインゲームに関するスレッドを自動でまとめて自分用に読みやすくするため)に2008年に購入し、昨年失効し、今月登録しなおしていました。

そのほかにもトリップ情報や書き込み履歴などが流出しているので、それらの情報を付き合わせれば誰が何を書いたのかがわかるようです。なお、私の個人情報からは書き込みが2つ辿れるようです。(Twitterでも同じ事を呟いていますが、オンラインゲームの運営に対する愚痴です)
もし、もっと昔のログが出てくるのであれば、レンタルサーバ板での書き込みとか出てくるのかもしれません。(自分が作っていたサイトがテンプレに入っていたので、書き込みしてた)

なお、確認した情報は既に手元には存在しないので、見せてとか言われても不可能です。あしからず。

 

私のクレジットカードは銀行のキャッシュカード(東京三菱UFJ)と一体型になっているので、電話して終わりーという訳にはいきませんでした。

 

まず、クレジットカードの紛失の窓口に電話しました。
最初間違ってUFJ-ニコスに電話したら、君のカードはDCカードなので番号違いますよーと言われ、別の番号を案内されました。

正しい番号に電話し、経緯を話し、クレジットカードを停止しました。(本人確認のために、いくつか質問に答えるだけでした。※秘密の質問とかそういうのではないです。)
最後の使用履歴の確認もこのやりとりの中で行いました。

次に、一体型のカードのため、銀行に電話をそのまま転送してもらい、口座残高の確認と最終引き落としの履歴確認を行い、キャッシュカードの停止をしました。

そして、別の電話番号を案内されたので、その番号(銀行)に電話し、「カードが手元にある状態でクレカ番号が流出したので停止したので、再発行の手続きをしたいです」と伝えました。
(カードが手元にあるのと無いのとで、再発行の手数料が変わります。手元にあると手数料はかかりません。)
店舗にて手続きをしないといけないので、どこでも良いのでUFJの店舗に行って再発行手続きをしてくださいとのお達しとその時必要な所持品を教えて貰い、店舗にいきました。
(必要な物は、通帳、キャッシュカード、印鑑、身分証明書です。なお、東京三菱UFJはエコ通帳というものがあるのでそれに切り替えている場合は不要。)

店舗にて紛失届けの紙に必要事項を書いて、窓口にて諸々対応していただきました。その間、銀行とカード会社の間でいくつか連絡をして確認をし、さらにカードは一度クレジットカード会社へ渡さないとイケナイという事でした)。
あとは、必要書類を記載し、ひとまず手続きは完了。

 

2週間ほどかかるようです。

エコ通帳の場合、通帳無し&キャッシュカードは銀行に預けてしまったため、お金を下ろせない状態に。
窓口にて必要な書類に記載をし、銀行印と身分証明書で現金をひとまず下ろしました。(お財布には余裕がありましたが念のため・・・)

 

その他確認したこと。

・東京三菱UFJダイレクトという、ネット上で振込ができる機能は継続して使える
・口座自動引き落としは問題なく行える
・カードでの自動引き落としは、継続してくれるらしいです(銀行からカード会社に連絡を取って貰いました)
(当然ですが、普通の決済は無理。なのでAmazonとかでお買い物はできません。)
 ただし、新しいカードが届いたら(それまで新しいカード番号がわからないので)全部登録しなおし。

パスワードとメールアドレスはそれ専用のため、他のサイトに入れても(リスト型アタックをしても)使えないのですが、クレジットカード番号、住所や電話番号があるので、Amazonあたりならアカウントを乗っ取ることができるかもしれないですね。そのクレジットカードを登録しているサイトから念のためカード情報を削除しました。

 

(追記 2013-08-28)

2ちゃんねるビューワのパスワード変更手続きが行えるフォームが公開されていた。ただし、その旨を知らせるメールは届いていない。それ以前に流出の報告メールすら届いていない。

(追記 2013-09-03)

2013-09-01 18:40 に2ちゃんねるビューアサポート から登録していたメアドに流出の報告メールが届きました。自分はたまたま知っていたから対処できたものの、連絡が遅いと思いました。クレジットカードの情報が漏れているのですから、まず真っ先に連絡をするべきではないでしょうか。セキュリティコードを協定違反で保存している上に、それを流出してしまい、カード会社によっては保証対象外となるところもあるはずです。

(追記 2013-09-05)

新しいキャッシュカード兼クレジットカードが届きました。
クレカ決済をしていたサービスを軒並み情報変更しました。

なおAmazonのKindleストアで予約状態になっているものは配信日に決済処理が走るので、旧カードで決済していた事もあり、配信日になると"購入時のクレカだと決済できなかったから違う情報を登録しなさいよ"というメールが来ました。商品毎に来ますので、2冊そういう本があったので2通メールが来ました。商品毎に決済手段を(新しいクレカへ)変更する必要がありました。

なお、今のところSPAMメールや不審なメールは届いていませんし、変な電話はかかってきていません。また、郵便物も変な物は届いていません。

何かあれば追記します。

 

英語でチケットを書く元気が今ないので、日本語でメモ。最終的には私が見つけたわけではないけど。

Cent6.3での話です。

今のCDH4系のinitスクリプトだと、OS再起動時や終了時にHadoop関連プロセス(NameNode, DataNode, JobTracker, TaskTracker, 2NN等)が正しく正常終了できないという・・。rebootとか叩いた日にはプロセスは正常終了しません・・。

Redhat系の場合、再起動はランレベルが6なわけで、例えばDataNodeの場合は以下のようになっています。

hadoop-hdfs-datanode    0:off   1:off   2:off   3:on    4:on    5:on    6:off

/etc/rc.d/rc を見ると以下となっています。 

# First, run the KILL scripts.
for i in /etc/rc$runlevel.d/K* ; do

        # Check if the subsystem is already up.
        subsys=${i#/etc/rc$runlevel.d/K??}
        [ -f /var/lock/subsys/$subsys -o -f /var/lock/subsys/$subsys.init ] || continue
        check_runlevel "$i" || continue

        # Bring the subsystem down.
        [ -n "$UPSTART" ] && initctl emit --quiet stopping JOB=$subsys
        $i stop
        [ -n "$UPSTART" ] && initctl emit --quiet stopped JOB=$subsys
done

/var/lock/subsys/hadoop-hdfs-datanode というロックファイルが作られていれば、OS停止時にプロセスの停止をしてくれます。(shutdown や reboot した時にズラーーーッと緑の文字で OK OK OKって出てきますね)

DataNodeの場合は、chkconfig --add した時に以下のファイルが作られます。 

/etc/rc.d/init.d/hadoop-hdfs-datanode
/etc/rc.d/rc0.d/K15hadoop-hdfs-datanode
/etc/rc.d/rc1.d/K15hadoop-hdfs-datanode
/etc/rc.d/rc2.d/K15hadoop-hdfs-datanode
/etc/rc.d/rc3.d/S85hadoop-hdfs-datanode
/etc/rc.d/rc4.d/S85hadoop-hdfs-datanode
/etc/rc.d/rc5.d/S85hadoop-hdfs-datanode
/etc/rc.d/rc6.d/K15hadoop-hdfs-datanode

これは /etc/rc.d/init.d/hadoop-hdfs-datanode のコメントに、以下の記述があるからです。

# Starts a Hadoop datanode
#
# chkconfig: 345 85 15
# description: Hadoop datanode
#
### BEGIN INIT INFO
# Provides:          hadoop-hdfs-datanode
# Short-Description: Hadoop datanode
# Default-Start:     3 4 5
# Default-Stop:      0 1 2 6
# Required-Start:    $syslog $remote_fs
# Required-Stop:     $syslog $remote_fs
# Should-Start:
# Should-Stop:
### END INIT INFO

こーいうコメントを拾って設定しているなんて知りませんでした・・。 

datanodeのinitスクリプト、肝心のLOCKファイルは・・ 

LOCKDIR="/var/lock/subsys"
LOCKFILE="$LOCKDIR/hadoop-datanode"
....
[ $RETVAL -eq $RETVAL_SUCCESS ] && touch $LOCKFILE

う、うん・・。ファイル名が違うね。これは hadoop-hdfs-datanode じゃないとダメだよね・・。直したらOS停止時にもきちんとSTOP処理が呼ばれるようになりました。
CDH4のプロセス全部に当てはまるので、注意が必要です。(ただし、HBaseとかは入れてないので見てない)

なんかタイトルがラノベっぽい。

Fluentd Casual Talks #2 に参加してきたので、その感想でも。

-- 感想 --

JRの駅からヒカリエに行く方法がわからず、20分ほどうろうろして最終的に駅員さんに聞きました。くやしくなんかないもん。(震え声)

just_do_neet さんの運用の話は、とても良かったです。とりあえず入れてみて、それっぽく動いている。ハッピー。 というわけでもなく、きちんと検証したんだなーという感じが特に。駆け足だったので、ちゃんと追えていないけど・・(´・ω・`)

そしてangostura11さんがStreamに対してクエリを発行できるものを発表されていて、それってかなり便利なんじゃ。。でもJavaかぁーとか思ったり、Spring_MTさんの話でFluentdがテスト用のドライバを用意しているという事を知り、じゃぁテスト書くの楽なのかもとか思って、会場の後ろの方でpluginをこそこそと書き始めていました。

他の発表者の方も、短い時間でテンポ良くしゃべっていて、一部の内容は理解できなかったけど、タメになったなぁという感じです。

それはそうと、oza_x86さんのデスクトップ(?)にHADOOPのパッチが沢山置いてあったのが一番気になりました(;゜ロ゜)

-- 感想終わり --

--  次は Fluentd について思っていること  --

もうあちこちで言われているので、わざわざ書く必要もないかもですが、個人的にFluentdの良いところというのは、再送処理を現実的な範囲でそれなりに担保してくれるという事と、in_tailプラグインの存在だと思っています。

Webの例なんかはあちこちに出ているので、他の・・例えば400台くらいのゲームサーバがあったとして(昔CEDECで発表されていたの、これくらいでしたよね)、それのログはローカルDISKに書き込むか、専用のログサーバに転送するか、もしくはその両方を行うとかやると思います。ここまでかっちりと作ってあるものなら、まぁ別にそれなりに動きますが、時としてローカルDiskにのみログを出力しているものがあります。

ちなみに、(自分が知っている範囲で言うと)オンラインゲーム(ソーシャルゲームじゃないよ)のログというのは、ユーザー比率的にWebのログよりも圧倒的に多く、ちょっと追加しようものなら、ものすごい勢いでDiskを食いつぶしていきます。

話はそれましたが、まぁとにかくローカルDiskに書き込むケースが多いわけです。で、これを何かしらの方法で集約するか、もしくはその各ホスト上で直接分散検索をしたりするわけです。これで困る点はホストが壊れて代替機に振り替えた場合、そのホストにあるログが・・・ という問題があるわけです。集約するにしても、バッチ処理的に吸い上げるとスパイクな負荷がかかります。まぁこれもあちこちで言われている話なので言うまでもないですね。

で、in_tailの何がすばらしいかというと、既に作ってあるアプリケーションに対して何も変更を行うことなく、外部プロセスでStreamで他所の場所に集約できるという点です。 これ、かなり嬉しかったです。昨年のCEDECで国民的ゲームのデータベースの発表をした人も、in_tail イイね!と話した記憶があります。

そんなわけで、 in_tail を標準のpluginで入れているのは実は凄く素晴らしい事なんだと思っているわけです。
(当たり前すぎるのか言及している人を見かけない・・(´・ω・`))

-- Pluginを作ってみた話 --

話を聞いて、まぁ私もPluginを書いてみるかと思うわけですが、実際に書いてみると、コピペをしない場合は最終的にソースを見る羽目になるわけです。

例えば、テストを書くにしてもドキュメントを見ると、out_fileのテストを参考にしなって書いてあるし、何を継承するかとか、親クラスは何のパラメータを持っているのかとか、ソースを見ないと分からない(分かりづらい)わけで。こんなパラメータ合ったんだとか (例えば num_threads なんかは一部のTwitterと一部のBlogにちょろっと出てくるくらいです)、新しい発見があって、fluentdに限って言えば、pluginを1回書いた方が理解が深まるなと思いました。

その肝心のpluginの作り方ですが、pluginを○時間で書いたとかいう話をPlugin製作者が言ってますが、実際そーいうレベルの時間で書くことができました。outputプラグインに関しては、驚くほど抽象化されているので、やりたい事だけをペイッと書くだけです。めんどくさい処理はMixinで提供されいるので、楽ちんです。ただ、存在を見つけるのに時間がかかりました・・(´・ω・`) このドキュメントに載っていないので、複数のPluginのソースを参考にして、fluentdやpluginのソースを検索しまくりでした。

テストもドライバが用意されているので、TDDで書くことができます。

-- fluent-plugin-arango について --

そんなわけで、ArangoDBに書き込むためのpluginを書いてみました。ソースはこちらに、Gemはこちらにあります。 ArangoDBは最新版ではbulk_importを持っているのですが、rubyのclientであるashikawa-coreがまだサポートしていないので、1件ずつ書いています。
(そういえば、Collection勝手に作るから、wait_syncのパラメータが必要かも)

使い方はこんな感じです。

<match access.**>
  type arango
  collection ut_col
  scheme http
  host localhost
  port 8529
</match>

BufferedOutputを継承し、SetTimeKeyMixin, SetTagKeyMixinをincludeしているので、それらのパラメータも指定する事ができます。 詳しくはREADMEに記載しています。

実際にArangoDBのWebUIから確認をすると、データが入っています。

何かまずい点をみつけたら、ご指摘いただけると嬉しいです。

Fluentdに負荷をかけたいなと思いまして・・。
前回作ったapache-loggenを使っても良いのですが、あれだと一度diskに出力する事になるし、Rubyなので複数コアがあるホストだと何プロセスも起動するのは嫌だなーと。

というわけで、今回はマルチプロセスで直接Fluentdにmsgpack形式のデータを投げるものを作ってみました。
in_forwardで受け付ける形式は何個かあるみたいですが、今回は以下の形式のものを。

[ tag, [time, rec], [time, rec], [time, rec], ... ]
rec = { ... }

実際の実行画面のキャプチャです。

 

なんか、ほとんどマスクしちゃってますね(´・ω・)
parallelでforkするので複数コアを活用します。情報はUNIXSocketで親プロセスへ集めて表示はCursesを使っています。それぞれの子プロセスの情報とそれぞれを集計した情報を出力しています。

灰色でマスクしているところには設定が表示されています。上記の画面では、毎秒10リクエスト、1リクエストで50レコード、つまり毎秒500レコード。それを4プロセスで送りつけているので、毎秒2000レコードの負荷をかけているものになります。全開でまわせば、L社の初期の流量くらいは出せると思います。

使い方はこんな感じ。

$ ruby load.rb --help
Usage: load [options]
        --host         負荷をかけるFluentdのホスト名。  デフォルトはlocalhost。
        --port         負荷をかけるFluentdのポート番号。デフォルトは24224。
        --rate=RATE    1秒間に送信するリクエスト数。デフォルトは制限無し。
        --num=NUM      1回のリクエストで送信するレコード数。デフォルトは1。
                       いわゆるArrayの要素数。
        --thnum=THNUM  負荷をかけるプロセスの数。デフォルトは1。
        --mode=MODE    ログの形式を指定する。これは会社依存のオプションなので詳細は無し。
        --fixed-time   ダミーログの時間を元ファイルの時間のまま送る場合に指定する。
                       指定しなければ現在の時間に直して送信される。
                       (これも会社依存のオプション)

ログを生成する部分は apache-loggen を使って、apacheのログではなく アプリの実際のログを元に生成しています。なので、このままでは公開はできないのですが、ここを除去すれば問題ないので気が向いたらやろうかなと・・。

気が向いたら・・。

 

CentOS6.3でSSHの公開鍵認証、パーミッションの設定大丈夫なのになんでログインできないのかなーと思ったら、SELinuxが原因でした。

ぐぐると、SELinuxをoffにする設定が多いのですが、せっかくなのでSELinuxの設定をどうすれば良いのか試してみた。

setsebool allow_ssh_keysign=on
setsebool ssh_sysadm_login=on
restorecon -R -v /root/.ssh

rootの場合は、こんな感じで良いらしい。
上2行だけだとダメだったので3行目も追加(´・ω・`)

(追記) 3行目だけで良いらしいです。なので以下だけでできるっぽい。

restorecon -R -v /root/.ssh

SELinuxわからんぷい。
※SELinuxをdisっているわけではありません!

こちらに詳細があります http://2done.org/index.php?id=76

 

Hiveのロゴについての豆知識

hcj2013wお疲れ様でした。
Ust録画や講演資料は殆ど公開されているようです。

特別企画として、NHNのなんとかモリスさんという方と、TreasureDataのりぴーなんとかさんという方がClouderaをスポンサーにつけてHiveTシャツを作ったそうで、私も1着いただきました。懇親会でHiveの愛を語ると戴けるという体を取っていたのですが、私はキーノートの前に戴いてしまったので、ここでHiveの愛を語ってみようと思います。

Hadoopアドベントカレンダー2012の15日目の記事を書かせていただきます。
HiveServerの事を書こうと思ったのですが、ゆるふわエントリに変更してHadoop関連のロゴについて書きたいと思います。

Hadoopのロゴはまぁお察しの通りキモイきゃわわな象さんなわけですが、ちょっとグッズを作ろうと思った事もありHadoop関連の正式ロゴとボツ案のロゴなどを集めましたので紹介します。

Hadoop

elephant_rgb.jpg

これが基本形で、以下のように各コンポーネント毎にサイト用のロゴがあります。
http://svn.apache.org/repos/asf/hadoop/logos/
https://issues.apache.org/jira/browse/HADOOP-7480

hadoop.png

smallCore+elephant_cmyk.gifcommon-logo.jpghdfs-logo.jpgmapreduce-logo.jpg

HadoopのPowered By

powered by用のものです。こちらはApacheの羽有りのものでちょっといろいろと制約があります。(詳しい事はわからないけど)
https://issues.apache.org/jira/browse/HADOOP-7020

pbh-64-logos.png

Hadoop Security

1枚目のやつはHairongさんの娘が描いたそうです。
https://issues.apache.org/jira/browse/HADOOP-6721

hadoop-helmet.jpghadoop-security-logo.jpg

JobTracker

JobTrackerにもロゴがあります。・・なんで?
https://issues.apache.org/jira/browse/MAPREDUCE-484

jobtracker.png

Hive

次はみんな大好きHiveのロゴです。Hiveのキモさ可愛さは一際目立っております。
https://issues.apache.org/jira/browse/HIVE-422
https://issues.apache.org/jira/browse/MAPREDUCE-484

hive.png

こちらはAIファイルがあります。

Pig

分かりづらいエラーメッセージに定評のあるPIGです。
https://issues.apache.org/jira/browse/PIG-155

080224_logo_pig_01_rgb.jpg

「This pig looks a bit too lazy!!! I want something hardcore!!!」(ゆるキャラすぎんだろ。もっと硬派なやつをキボンヌ)
「No it is not lazy, just relaxed, since it was so super fast done with all the map reduce development and calculation. Much faster than the elephant itself.」

とかいうやりとりが。いや、ゆるキャラでもねーだろとか思うんですが、海外のセンスはわからん。

そしてなぜかCLOSEされた後にこっそりと添付されてた。↓

pig.png

きゃわわ!!

まぁ最終的にコレなんですがね(^^;

pig_medium.png

ないわー(゜Д゜;)

ちなみに、こちらはラスタ画像しかないのでVectorイメージが必要ですってTicketがあります。
https://issues.apache.org/jira/browse/PIG-2323

Mahout

Mahout使えば簡単にできるよねとか言った人出てきなさい。先生怒らないけど椅子ぶつけます。
https://issues.apache.org/jira/browse/MAHOUT-57
https://issues.apache.org/jira/browse/MAHOUT-335

最初のロゴは以下のようです。

Mahout-logo-164x200.png

今はこっちですね。良いですね!!

mahout-logo-200.png

mahoutはSVGファイルがあります。

ZooKeeper

スケッチがあったので載せておきます。
https://issues.apache.org/jira/browse/ZOOKEEPER-69

zookeeper-sketch.jpg

これが、こうなりました。

zk_logo_use.pngzk_logo_use2.png

衣服のせいでもうウホッの人にしか見えない。

Chukwa

すいません。チケットみつけられませんでした。ロゴだけ載せておきます。

chukwa_logo_small.jpg

HBase

暴れん坊将軍と定評があるHBase。
この前のカンファレンスのOKWaveのHBase発表、かなり手なずけてましたよね・・。すごい。
https://issues.apache.org/jira/browse/HBASE-4312
https://issues.apache.org/jira/browse/HBASE-5115
https://issues.apache.org/jira/browse/HBASE-4920

01.jpg

hbase.jpg

マスコットはこちら。すっごいいっぱいあります。まだ決まってないのかな?

apache_logo_Proof_8.jpgapache_hbase_ orca_logo_Proof 3.jpgplus_orca.png

HBase_Orca _Logo.jpg

オルカ推しです(他にも沢山あるのですが、貼るのがめんどくさくなってきました・・)。

なぜかタコもありました。こちらは参考資料なのかな?

krake2l14x.jpgkrake-copy.jpgKrake-online-b.jpg

Hama

知ってる人、あまり居なそう。「a Bulk Synchronous Parallel computing framework on top of Hadoop」れっきとしたHadoop関連プロジェクトです。Hadoopの公式サイトからRelated Projectsのメニューにもきちんと書いてあります。
https://issues.apache.org/jira/browse/HAMA-8
https://issues.apache.org/jira/browse/HAMA-43

最初のドラフトです。レベル高い!!!

hama_draft_1.jpg

色が付いて現在のロゴになっています。クォリティ高い!!

hama_paint_logo.png

ちなみに、これはなんぞ?

hama_1.JPG

Giraph

Giraph。この前初めて聞いたって呟いたらつけ麺おじさんにDisられそうになっt
https://issues.apache.org/jira/browse/GIRAPH-4

これが今のロゴなのかな?

transparent-giraph-icon.png

こんなのもありました。

3rd Giraph Logo.pngGiraph Logo v3 copy.jpg

Hadoop-Ruby

どこ発祥なのかわかりません・・。Clouderaのページで見つけました。
http://blog.cloudera.com/blog/2011/01/map-reduce-with-ruby-using-apache-hadoop/

hadoop-ruby.png

その他

http://gigaom.com/cloud/my-hadoop-is-bigger-than-yours/

img-myhadoop-bigger4.jpg

「ワシの象さんは貴様のより大きいぞ!」 

シモネタじゃねーかっ!

 

Huahin

fig_logo_huahin_small.png

Impala

http://blog.father.gedow.net/2012/11/27/cloudera-impala-presentation/

ImpalaQL.png

嘘です。ごめんなさい。

HadoopとHiveに関してはベクターデータがあるのですが、他は見つかりませんでした。

AvroとCassandraは今回調べてません。BigtopもJIRAを検索してみましたが関連チケットはありませんでした。

あれ・・そーいえば ヒィーヒィーと汗かいている象がありませんね・・。あれってどこにあるのでしょう。。