- http://atnd.org/events/34927
- 2013-01-11 19:00〜20:20
- 講師: 後藤大地
- 場所: KDDIウェブコミュニケーションズ会議室 (麹町)
- http://togetter.com/li/437907
いつもどおり、おやつをたべてから五反田→有楽町→麹町ルートで会場へ。
新年なのでまずは乾杯から始まった。プシュっと。
進行早め(オフレコの内容もあり)だったのであまりメモとれず。資料は公開されないけどFreeBSD Expert Digital Editionに収録されてるそうです。
- USP:
- 東急ハンズの内部はシェルスクリプト
- 大学と共同研究してたり、InfiniBandで直結して直列計算させたり
- よくつかうコマンドは40〜50くらいしかない。
- 金曜日にコマ研がある。「このコマンドは要る・要らない」を議論。
- 開発が早い:金曜に打ち合わせして、月曜に動くものをもってくとか。
- 仕組が簡単なので自社開発できるようになる。
- オンメモリ+InfiniBand
- Hadoop:
- 意外とスケールしなくて手を焼いている案件がけっこうある。現場のエンジニアが設計できなかったり。
- Bigdata Expo 2012 fall
- 1億件を数秒で処理が全国レベル→10億件処理を目指す (hadoopだと100台規模)
- 10億件ソート90秒
- 100億件サーチ1秒
- Intel X540-T2: 売ってない。秋葉原をまわって店が別案件に売る予定だったのを買い占める..
- FreeBSDはn:mスレッドモデルだったが1:1にしたら意外と速かった(しかもすっきりしてる)。
- でも16コアだと性能が落ちた...
- いまのエンジニアはNoSQLを使い分けられる人がもとめられている。
- コアを増やすとメモリバスがきつくなって性能が落ちる方向。コアを増やすことに金をつっこめばいいというわけではない。
- ハードウェアのちょっとした違いで性能がぜんぜん違うので実機で性能測定してから設計にはいる。
- I/OがサチっているのかCPUがサチっているのか、見極める必要がある。
- HWの限界、ファイルシステムの限界、システムコールの限界。
- 3.2GB/sくらいでるので目安。
- ULEスケジューラはコアを固定して実行するよりも良い性能が出せる。
- core i7とxeon: 目的によって使い分ける。
- tmpfsとmfs:tmpfsの方が早い場合も..
- powerdを動かすとpowerdが電気を喰ってしまうとか.... ハードウェアにまかせた方がよい場合もある。
- 10GbE
- ソースのREDMEに設定がかいてあるので設定はそこをみる。
- スイッチは高い。
- メモリをたくさん喰うので4枚も刺すと認識されなくなってしまう。nmbclustersを上げるのが肝。
- mtu 16114は重要。IBは設定しなくてもいいけど。
- NICの初期化が間に合わないのでrcスクリプトにsleep 10を入れて逃げた..
- 再起動しないと設定できないのがきつい。
- MTUはデバイスごとにちがうので、READMEをみて確認する。
- FreeBSDのブリッジ機能をつかってスイッチにした。ブリッジのMTUも引き上げておく必要がある。
- netcatがジャンボフレームに対応してない。nc -jで。新しいncからはコードが消えてるので古いのをとっておく必要ある.. おおもとのコードから消えてたのでマージして消えた.
- IB
- WITH_OFED=yesでopensm(マネージャ)がつくられる。
[2013-01-11 20:10]
- 佐藤先生がリリースノートを書かないとリリースされない...
- AsiaBSDCon:個人の寄付もうけつけている。
[2013-01-11 20:15]