- http://kokucheese.com/event/index/352921/
- 2015-12-14 13:30〜17:20
- 筑波大学東京キャンパス文教校舎 122
- http://togetter.com/li/912835
朝に参加申し込みしようとしたらすでに締め切られていたので突撃。余裕もって出発したのに山手線が遅延して時間ぎりぎりに到着。会場はWiMAX圏外。お茶大もWiMAXつかえなかったし茗荷谷はWiMAXよわいな。
[2015-12-14 13:32]
特定非営利活動法人 つくばOSS技術支援センター / 筑波大学 建部修見
- Gfarmをホームディレクトリにしてautomountする情報など提供
Gfarmファイルシステムの概要と最新機能 / 筑波大学 建部修見
- JLDG(7PB,8拠点), HPCI共用ストレージ(22.5PB,3拠点): アーカイブ用途がメイン
- 最新版: Gfarm2.6.7
- ファイルシステムにノードグループ: 複製配置機能
- グループにいくつ複製をつくるか指定できる。
- 余剰複製の削除をするようになった。(ノードが止まった→ノードを追加→ノードが復帰→余計なノード削除)
- クライアント透明なフェイルオーバ: クライアントにエラーを返さずに処理続行
- 自動でサーバ切り替え。
- ファイル書き込み中でもフェイルオーバも可。
- closeのタイミングで競合状態があって、期待しないほうがlost+foundに入ってしまう可能性がある。
- 運用中のソフトウェアアップデートもできる。(先日JLDGでライブ更新をした。問題なし。)
- end-to-endのデータ完全性
- こわれていたらread→EIOでlost+foundに移動→正しいデータをもってきて自動修復
- write→ちょっとまつ→verify
- クライアントでもチェックすることでネットワークエラーも検出できる
- gfpcopyの高速化
- BULKWRITE/BULKREAD: FTPのようなアプリ向けのAPIを新設。
- 運用監視
- Zabbixプラグイン→slaveフェイルオーバすることも
- Gangliaプラグイン
- automount
- gfarm-sambaプラグイン (gfarm2fsなしにアクセスできる)
- CentOS 7対応
- Linuxカーネルモジュール
- ファイルシステムにノードグループ: 複製配置機能
- 分散並列処理
- ワークフロー: データインテンシブ・サイエンスアプリでよくつわれる。
- ファイルとプロセスに依存関係がある。
- Rakefileをつかって依存関係を記述できる。
- Rakefileなら14行のところDAXだと41行にもなる。
- pwrakeで並列実行。データの移動が少なくなるように、ディスクキャッシュを効かせるようにスケジューリングする。(多制約グラフ分割問題)
- LIFO+HRF
- Pwrake 2.0.0リリース
- gfarm Hadoopプラグイン: gfarm://で
- HDFSとの比較: レプリカ増やしても性能劣化が少ない。
- ワークフロー: データインテンシブ・サイエンスアプリでよくつわれる。
- close-to-open一貫性
- writeがcloseしたときにreadレプリカを更新する。
[2015-12-14 14:18]
- Q: pwrakeでのLIFOってなに?
- A: 最近実行されたタスクの依存関係で次のタスクを優先的に実行する感じ。
- Q: 大きいファイルから処理するオプションがあったらい便利かも。(ファイルのサイズで計算量がわかるケースで依存関係がない場合)
- A: 次期リリースで
[2015-12-14 14:21]
[2015-12-14 14:23]
HPCI共用ストレージにおけるデータ一貫性管理 / 理化学研究所 原田浩
- 2015年3月末にユーザからデータ障害の報告
- 5月に障害規模が特定
- 2週間かけてチェックサム照合 (ディスク15PBの全チェック、ファイル容量としては8PBくらい)
- 5課題5ユーザ922ファイルを消失していた。
- 152392ファイルに破損あり。オリジナルからの復元可能。
- 2014/8/20〜10/29のあいだに障害がおきていた。7ヶ月後に発覚。
- 京740万ノード時間が再計算に必要になった。小規模なスパコンセンターの1年分の資源量に相当。
- 年度を跨ぐと計算時間を与えたくても課題がおわってしまっていたり。
- 論文のデータが失なわれてしまったらエビデンスがなくなってしまう。
- ストレージコントローラだけでエラーログがでていると管理者が把握しにくい。
- 運用上、ユーザのデータを読むのはむつかしい。
- 対策: ユーザが一定期間オリジナルを保存する。
- データ破損とデータ消失
- 破損: どこかに正しいデータがのこっている
- 消失: すべてデータが壊れている
- 消失ファイルリストは1日2回管理者に通知(UIDとinum)。消失ファイルはメタデータから消して、新たな消失ファイルの見落としをなくすように。
- gfspooldigestで毎日チェックした破損検出するようにした。
- 原因はIBのsrpdの二重起動だった。
[2015-12-14 14:54]
- Q: gfarmの問題ではなくHW障なのでネガティブキャンペーンにつかわれないようにしないと
- Q: 書き込み後にエラーを検出できいなのでは?
- A: 1日後など定期チェックで検出できる。
[2015-12-14 15:00]
[2015-12-14 15:01]
HPCI共用ストレージにおけるITIL視点でのGfarm運用分析 / 東京大学 中誠一郎
- 8月からITIL(information technology infrastructure library)実施
- 問題: 破損から検出まで時間がかかった・破損検知の監視運用が弱い・真の原因が判明せず
- 各拠点のSIベンダーはばらばら(H/F/N)。ここまでマルチベンダーの例はあまりない。
- 成熟度レベル(CMMI)
- レベル2+αを参集レベルとしてガイドラインを策定
- 構成ガイドラインと運用ガイドラインと
- 参入レベル:メタデータサーバはなし、ストレージサーバのみ供出
- ITIL: 運用の手本として民間では活用されている
- サービスサポート: 日々の運用 (サービスデスク・インシデント管理・問題管理・変更管理・リリース管理・構成管理)
- サービスデリバリー: 中長期 (維持管理)
- gfmdフェイルオーバの運用ガイドラインも策定したい。
- 運用4P(processプロセス,people要員,productsツール活用,patners外部組織連携)
- それぞれについて成熟度レベルを目安を定義
[2015-12-14 15:38]
休憩
[2015-12-14 16:01]
Gfarm/Pwrakeを拡張した様々な科学研究アプリケーションとそれを支える高速データ通信プロトコルの開発 / 情報通信研究機構 村田健史
- NICTサイエンスクラウド
- 3PB どちらかというと小規模
- アーカイブというよりは計算用途
- 予算がつかなくてサーバがどんどん死んでいくけどシステムの可用性は保たれている。
- 可視化: データが増えてもそれを表示するディスプレイが小さいままなのが問題。
- これまではオンデマンドで可視化。でもレスポンスタイムが悪化するばかり。
- 事前に想定される画像を作っておく。意外とバリエーションはない。
- 大量の画像をつくるのにgfarm/pwrakeが役にたつ。
- ひまわり8号: 遅延10分で新しい画像をどんどん作っている。時間軸があるのでgoogle mapよりもデータ量が多い。
- 読売新聞の明治6年移行のカテゴリ毎の記事の出現率のグラフ。これも画像を大量生成しておく。
- アプリの種類: リアルタイムかオンデマンドか
- 高速化
- HbVRS: high-andwidth virtual remote storage
- UDTプロトコル
- 日米間で7.2Gbps
- HpFPプロトコル: http://hpfp.nict.go.jp
- TCP比: 遅延やロスが大きくてもスピードがでる。(RTT500ms,loss1%でも)
- ライバルは ASPERA/Fasp
- でも1ファイル1GBもいかない。小さいファイル10MBとかが多い。HpFPでは性能がでる。
- Gfarmはデカい話をしすぎているのではないか?コンパクトな話もすべき。
[2015-12-14 16:37]
- Q: なぜTCPより速い?
- A: ウィンドウサイズの上限がない。
- Q: APIは?
- A: アプリレベル。
- Q: TCPとの公平性は?
- A: 実装してない。月とか南極で使う話が進んでいるので後回しになっている。狭帯域ではTCP friendlyで、広帯域で帯域つかうようにするか。難しいのでソフトのバージョン分けしちゃうかも
[2015-12-14 16:41]
[2015-12-14 16:42]
(株)クオリティアにおけるGfarm活用事例 / クオリティア 駒木義孝
- メールホスティングサービス(SaaS)におけるストレージ
- active! mail (パッケージソフト)
- Active! World: 独自ドメイン・メールホスティングサービス
- メールホスティングではIOPSを稼がないといけない。たいていのストレージベンダーがにげだすレベル。
- dovecot
[2015-12-14 16:56]
「Active! World」におけるGfarm / クオリティア 根本昌孝
- メリット: メールのデータでも性能がでる
- デメリット: gfarmメタサーバに高スペックが要求される
- dovecotはgfarm APIをたたくように改造。3台に書き込み(レプリケーションつかわず3回書き込み)。書けなかったらトランザクションエラー。
- dovecotでactive→standbyにindex/cache転送している。
- メタサーバのdiskにはfusio-io iodrive duo 640GB
- ネットワークトラフィックで100Mbpsでてる。メールでこれはけっこうな量。
- ファイルサイズ: 30KB 4億ファイル数
[2015-12-14 17:07]
- Q: なぜgfarm?
- A: 当時は分散ファイルシステムがなかった。
- Q: 次もgfarmをつかうか?
- A: 価格と実績とIOに強いという点で最終選考にのこっている。
- Q: 性能は?
- A: 秒間60セッションをさばけるのが目安。(月曜朝)
- postfix→dovecotはLMTPで。
[2015-12-14 17:12]
懇親会
海鮮居酒屋 はなの舞 茗荷谷駅前店。ビールたくさん飲んだ気がする。締めがえびせんというのはちょっと納得いかない。
池袋でふらふら写真撮ってから帰宅。