sw

Gfarmシンポジウム 2018

IMG_20181026_130956IMG_20181026_131153

[2018-10-26 13:30]

Gfarmファイルシステムの最新機能
国立大学法人 筑波大学 教授 建部 修見

  • https://www.youtube.com/watch?v=d2Ijv7PG3m4
  • 外部配信中
  • 他と違うところ:データアクセスの局所性を重視、サイレントデータ損傷に対応
  • 利用(共用): JLDG(10.7PB,8site),HPCI(100PB,2site),NICT,クオリティアactive! world。
  • 利用(解析): すばる望遠鏡のデータ解析,メタゲノム解析
  • 2.7.10が最新リリース
  • 2.6.8で書き込み後ベリファイ(数時間後にベリファイ)
  • バーストバッファ: ノードローカルなNVMeをつかって分散ファイルシステムを構築する
    • NVMeはジョブが割り当てられたときしか使えない
    • 永続性はすてて性能を重視 メタデータはメモリに載せる (postgresqlをやめる)
    • 196s → 20s
    • 0.3sで構成をつくれる
  • データ移行支援: 運用を止めずに10PB→100PBに拡張するときに必要な機能を実装した
    • 書き込み禁止: ファイルに書けないけどファイルは作れるとか
  • gfmdレスポンス改善: JLDG 数10PB/日 のアクセス linuxのスレッドの実装の問題だっ たが
  • IB RDMA
    • クライアントのユーザバッファをpin-downして直接サーバから転送できるようになっ た。
    • 1.8倍性能向上
    • posix apiだと1.2倍
  • quota
    • グループクォータとディレクトリ単位のクォータを併用できる (xfsはできない)
  • データ完全性
    • 書き込み時にダイジェスト(SHA1とか)を計算
    • 読み込み時にチェック 異なっていたら lost+found に移動 修復
    • JLDG 9.9PB 111Mfiles 書き込み後ベリファイで5ファイル検出

分散深層学習を支えるストレージ技術〜AI橋渡しクラウド ABCIの事例と将来課題
産業技術総合研究所人工知能研究センター 主任研究員 佐藤 仁

  • https://www.youtube.com/watch?v=CnfjLiaEaWc
  • 東大柏に 0.550EFlops 37.2PFlops(DP) 19.88 PFlops(peak) 国内最速スパコン
  • gfarmも動く (サポートはしてないが検証はした)
  • 建物から設計した
  • 1node = tesla V100 x4 + Xeon Gold 6148 + 384GiB + NVMe 1.6TB + EDR IB HCA x2
  • 1rack = 34 nodes + full-bisection BW fat-tree ; 70kW
  • inter-rack = 1/3 BWで接続されている
  • storage
    • local: 1.6TB NVMe BeeOnd(like burst-buffer)でまとめることもできる
    • parallel filesystem: GPFS (DDN SFA14K) x3
    • object storage: GPFSの領域の一部でopenstack swiftをうごかしてS3 like APIを提供。グローバルからアクセスできる。暗号化も。
  • 分散深層学習
    • データ並列
      • 同期型 パラメータを正確に更新できるので精度が高い デファクトスタンダード
      • 非同期型 はやい
    • モデル並列
  • GPU+CuDDN(演算), NCCL2(ネットワーク通信), MPI(プロセスの起動)
  • Chainer: forward->backword->optimize
  • ChainerMN: forward->backword->allreduce->optimize
  • 汎化性能: 局所最適化を避けて全体最適化したい
  • ABCI Grand Challenge
  • いまどき: linear scaling rule, gradual warmup, LARS
  • IOのスループットだけでなくメタデータ性能も重要 データセットが小さい 1画像70kB 弱程度
  • 学習時にランダムネスを上げるようにする 汎化性能のため
  • chainerだと配列のようにアクセスするのでopen+read+closeが大量発生してしまう。
  • フレームワークによってはDBをつかうものもある。
  • ファイルキャッシュを入れると1時間のものが30分くらいになる。
  • 将来課題
    • マルチテナントとセキュリティ
    • 企業や医療データ
    • 資源を動的にユーザグループ毎に棚貸し

[2018-10-26 14:32]

  • Q: キャッシュが有効なのはなぜ? 何度も同じファイルを読んでいる?
  • A: もっと上のレイヤーでのAPIがあるといいかも。

次世代スーパーコンピュータ向けファイルシステムについて
富士通株式会社 次世代TC開発本部 ソフトウェア開発統括部
シニアアーキテクト 住元 真司

  • https://www.youtube.com/watch?v=Mf1AocSM1uA
  • A64FX
    • 1chip = (12core+1core) x4
    • 1世代前のsparc chipに比べて2倍の性能
    • Tofu2 -> TofuD
      • そのままもっていくとコスト(シリコンと電力)をくう
      • laneを半分に減らして数を増やした
  • FEFS for K computer
    • 8万ノード 100PB 1TB/s 当時luster1.8
    • 性能か信頼性かはユーザが選べる
    • stage-in → 計算 → stage-outの3段階 3倍の容量が必要になってしまう
    • ファイルの指定が手間
    • 計算時間が短かいとデータの移動がムダ(利用効率が落ちる)
  • ローカルはよりアプリ寄のストレージ → luster-based → アーカイブ
  • データのライフタイム、アクセスパターン
  • 1プロセスが1ファイルを読み書きするパターン、ファイルをつかってプロセス間のデータ通信するパターンが多い。
  • SSDの寿命の問題 アプリが1日にどのくらい書き込むか重要
  • intel optaneは性能はいいけど書き込み信頼性はnandと変らず。素子自体は信頼性が上がっているが回路の部分がいまいち。
  • How SSD based storage shoud be used?
    • lifetime, application's access pattern, data sharing in a job, data shareing among multiple jobs, ssd lifetime issue
  • LLIO (prototype) burst buffer nodeを用意する

[2018-10-26 15:06]

  • Q :メタデータは2nd storageをつかう?
  • A: キャッシュとしてつかうときだけ。ローカルなら

[2018-10-26 15:07]

休憩

[2018-10-26 15:16]

オブジェクトストレージ、AI+IoT+映像における利用事例
クラウディアン株式会社 取締役COO 本橋 信也

  • https://www.youtube.com/watch?v=sZCT-W_xFCo
  • 日本発だが海外の方が大きくなった。
  • オブジェクトストレージ
    • 大手の通信事業者のメールシステム NOSQL
    • amazon S3 とおなじものをつくった -> HYPERSTORE
    • ベンチャー企業として賭けに勝った
  • クラウド事業者向けに販売
  • P2P 3ノードから
  • 日本だとPBを要求する客は少ない。
  • 容量はEBくらいまでは拡張できるのを確認している。
  • replication + erasure-coding
  • バスにカメラ5台をインターネット経由で保存。
  • AI向け: メタデータとblobをまとめて扱える。
  • 実証実験: 高速道路を走る自動車をリアルタイムで識別してデジタルサイネージを出す。
  • →駐車場・ショッピングモールでつかいたいという客が。
  • GPUどうする?クラウドだとレイテンシが → AI BOXをつくった。
  • 4Kカメラ 圧縮すると意味がない エッジの処理が必要
  • 交通量の測定をAIで
  • 画角は手動で設定
  • 自動で車線を認識 車をカウント 速度 直進 右左折 CSVでデータを送る。
  • エッジで学習用の画像を切り出してクラウドに貯める。
  • 車の車種はロングテールで自動でタグ付けする必要がある。

Scalityと大規模オブジェクトストレージの運用の実際のご紹介
スキャリティ・ジャパン株式会社 セールスエンジニア 仁戸 潤一郎

  • 創業はフランス 2009
  • メールサービスのストレージからはじまった
  • 製品: RING ZENNKO
  • データはつかって価値が出る。
  • データはオンプレに置いてワークロードはクラウド。
  • object storageは容量重視、flashは速度重視、NASはあまり市場はない。
  • NASは人間のスケール。flashはオブジェクトストレージはアプリが相手。
  • RING 汎用x86 linuxで動く。ソフトのみ提供。NFS,SMBでもオブジェクトにアクセスで きる。
  • P2P CHORD
  • アプリケーション RINGコネクタサーバ ストレージサーバ スーパーバイザー
  • コネクターはブートストラップノードリストをもっていてリクエストをなげる。
  • メンテナンスタスク
    • balance ノードのつけはずしのときにデータを移動する
    • proxy
    • rebuild 最新のバージョンをもっているか定期的にチェックする
    • repair ディスク障害時にインデックス情報から再レプリカをつくる
    • purge 古いバージョンの物理削除
      • オブジェクトはコンテナファイルに保存しているのでinodeを消費しない
    • relocation
      • デフラグ
  • バックグラウンドタスクの負荷調整
  • 国内事例: KDDI iphone mailでつかっている
  • キースペースの設計が必要でシミュレーションで確認する。障害時に負荷が分散するように配置しないといけない。サポート体制が重要。
  • オジェクトストレージはアプリケーションの関する知識が必要。

[2018-10-26 16:16]

  • Q: 物理的な配置は?
  • A: データセンターをまたいでも構成できる。スプリットブレインになってもデータは アクセスできるように複製している。ラック単位・シャーシ単位でも考慮できる。

HPCI共用ストレージにおけるディザスタリカバリ、
データ二重化運用による高可用性 と災害対策の実現
国立研究開発法人理化学研究所 開発研究員 原田 浩

  • https://www.youtube.com/watch?v=9i76p_njrOc
  • 8/23 台風20号 電源障害
  • 8/31 落雷で停電
  • HPCI共用ストレージ そろそろ運用もおわるけど
    • 補足:運用が終わるのは京でHPCIは続くらしい。認証基盤だし。
  • 通信はGSI(grid security infrastructure)で暗号化している
  • 物理的には100PBくらい、二重化しているので使えるのは50PBくらい。
  • SINET5
  • メタデータサーバは東大と理研で二重化
  • フェイルオーバは自動化されてないのがつらい
  • データ破損があっても1営業日くらいで通知できる体制になっている。ユーザにはデー タは1週間くらい保存するようにいってるけど。
  • スパコンでつくるデータはお金がかかるのでデータ消失は防ぎたい。
  • 理研台風
    • 受電設備に水が入って止まった
    • 京コンピュータが止まったがストレージは止まらなかったのは幸運だった。
    • 仮復旧で停電する可能性があるので全マシンを止める必要があったのでマスターを理研から東大にフェイルオーバー。readonlyに。
  • 柏落雷
    • 東大にマスターがなかったのでたすかった。
  • 重度障害報告はしなくてすんだ。
  • IPアドレス変更・ドメイン変更のときはさすがに止めた。
  • 次の増強時は容量に余裕があるのでサイト内で二重化できそう。
  • 計算機センターに設置できるのはキャッシュメモリだけになって、ストレージは外部に、ということになりそう。場所の問題。
  • セキュリティレベルは民間レベルはむつかしいのではないか。お金の問題だとおもうけど。

[2018-10-26 17:01]

休憩

IMG_20181026_170246

[2018-10-26 17:07]

パネル:ポストムーア時代のストレージシステム

建部
  1. ポストムーア時代に想定されるストレージへの要求と問題点
  2. その問題点を解決するために必要な技術、デバイス
  3. ストレージの向かうべき方向
佐藤
  • スパコン業界からは「ストレージなんでどうでもいい」とおもわれているのではないか。
  • 高速なメモリ(HBM)をどう生かすか
  • NVDIMMをチェックポイントにどうつかうか
  • HPCコンテナ -- オールフラッシュストレージ -- オブジェトストレージ オンプレ・クラウド
  • トラディショナルなストレージだとユーザ・グループ単位の認証になるが、APIキーの ようなものも必要。
住元
  • 電力vs性能が重要
  • アメリカでは many-core と gpgpu の二種類
  • さまざまなarch
    • ノイマン型
    • アナログ型
    • ニューロ関係
    • 量子
  • こういうコンピュータとストレージをどうつなぐ?
  • なにがひつよう?
    • 移動データを抑制する
    • 主記憶の電力を抑制しながら大量データ処理
    • 蓄積型からストリーミング型のデータ処理に
本橋
  • flash hdd tape が連携
  • NBC テープアーカイブをHDD化した。トランプの若いころの映像を探すのに手間どった 。
  • メタデータ データの中身の情報のこと タグ付け 自動で
仁戸
  • ムーアの法則が終わって何がこまるのか?
  • クラウドに資本が集中する
  • データはまだサービスにくっついている
  • 個人にデータのものになるとよいのではないか。(おくすり手帳のような)
原田
  • 地理的な壁を越えたい。
  • 軽いストレージがほしい。床の耐荷重が問題になる。半分くらいしか積めない。
建部
  • まとめ
質問
  • Q: コンピューティングのためのストレージとストレージとしてのストレージ ポストムーアで分散になってストレージのブレークスルーはなに?
  • A:
    • 佐藤 スパコン屋はデータの使い方を考えてないのが問題 データの整理を自動化する 方向に。
    • 住元 ストリーミングで計算 蓄積しない方向へ
    • 本橋 GPUもストレージもひとつの箱で客に提供したい
    • 仁戸 ひとつの箱にはおさまらないのでネットワークの中にストレージがふくまれる 融合する
    • 原田 スパコンセンターはバッチスケジューラだけでいいのか? データの場所で処理 する方向に。

[2018-10-26 17:53]

懇親会は鳥元。

IMG_20181026_180251IMG_20181026_183327IMG_20181026_200219

そのあと曽田さん・白水さんとエクセルシーオルへ。

IMG_20181026_203020

tmux: cut&paste

tmuxのコピペは便利につかえるが、ひと工夫することでより便利に。

bind-key        [       copy-mode
bind-key        C-[     copy-mode
bind-key        C-]     choose-buffer "paste-buffer -p -b %%" 
bind-key        ]       choose-buffer

choose-bufferをつかうことでペーストしたいバッファをインタラクティブに選べて、不要になったバッファを消すこともできる。

paste-buffer -pオプションで(アプリがサポートしていれば)bracketed paste modeをつかって、エディタに直接ペーストできるので、たとえば普通にペーストするとインデントがずれてしまうところ、braceted paste modeをつかうとエディタが(キー入力じゃなくて)ペーストだと認識できるのでインデントがずれないし、ペーストをUNDOできる(キー入力扱いだと一発でUNDOできない)、巨大なテキストを貼り付けた場合には処理時間が短くて済む利点も。

tmux-logo-small

tmux: 画面分割

~/.tmux.confに

bind-key        /       split-window -hv
bind-key        |       split-window -h
bind-key        -       split-window -v
bind-key        _       split-window -vf

って書いておくと、縦分割横分割で、縦ってどっちだっけ?って悩む必要がなくなってよい。

tmux-logo-small

tmux: ドラッグ&ドロップでペイン入れ替え

~/.tmux.confに

bind-key -T root DoubleClick3Pane select-pane -m
bind-key -T root MouseDragEnd3Pane swap-pane -t= \; select-pane -M

というのを追加しておくと、右ボタンをダブルクリックしてドラッグするとペインの入れ替えができて便利。

tmux-logo-small

PCクラスタコンソーシアム(PCCC) 実用アプリケーション・シンポジウム2018

IMG_20180918_142901

IMG_20180918_124651

[2018-09-18 13:00]

挨拶
片桐孝洋 (名古屋大学)

  • 会場100名 参加登録100+名
  • 実用アプリケーション部会
  • 姫野さん立ち上げ アプリケーション高速化
  • 数値シミュレーション技術普及活動も
  • クラウドの提供
  • フリーソフトの普及 PCクラスタ スパコン クラウド をシームレスに
  • クラウドの提供 Azure 5件/年くらいで支援
  • 部会に登録すると連絡会に参加できる
  • 機械学習 GPU 1ノードあたりの資源量が大きくなってくる
  • そういうスケジューラは製品がほとんどない 各センターでこまっているんではないか

[2018-09-18 13:09]

HPC・AI/ビッグデータ処理の真の融合に求められるジョブスケジューリング・システ ムソフトウェア〜 産総研 ABCI・AAICの事例と将来課題
佐藤仁(産業技術総合研究所人工知能センター)

  • 8月にABCI AIのためのHPCシステム
  • AAIC aist AI cloud
  • アルゴリズム x ビッグエータ x 計算基盤 の一体的な進展が不可欠
  • NEDO NAIROBI(H28.6) -> AAIC(H29.6) -> ABCI(H30.8)
  • ABCI 簡素な建屋に 簡素な床で耐荷重をかせいで やぐらをくむ
  • 2.3MW 70kW/rack (ふつうのだと10〜30kw/rack)
  • 部屋はあつい
  • xeon 2socket NUMA IBも2枚 IOバランスを重視して
  • 34node/rack
  • ラック間は1/3 oversubscription BW
  • 大規模な分散機械学習だと精度が上がらないので、ネットワークの性能はコストを考えて落してある
  • local storeage: BeeOnd 複数ノードのSSDを1つのストレージとしてみえるようにして ある
  • Univa Grid Engine (UGE)
  • AAICでは95%が1GPUジョブ
  • コンテナ lang2rogram ACL2017 のDockerfileがそのままうごくか?
  • UGEがnativeにdockerをサポートしているのでそれをつかうか Singularityをつかう
  • ソフトウェアのデプロイがむつかしい
  • モジュールファイル(Modulefiles)を新規開発
  • サービス: Spot(バッチ;qsub)、On Demand(インタラクティブ;qrsh)、Reserved(期日指定,長期向け)
  • 資源タイプ: F,G.large,G.small,C.large,C.small
  • マルチノードジョブ、シングルノードジョブ・インタラクティブジョブ
  • 計算ノードのネットワークトポロジを考慮
  • 任意の時間を指定できるとスケジューリングがくるしくなってしまったので、時間粒度をあらくして、開始終了時間をそろえた
  • 公平性 UGEのfair shareではなくFIFO+Priority+バックフィル
  • ABCIはTSUBAMEとくらべてAI向けでネットワーク弱め
  • AI,BIO系はメイクスパン長め

[2018-09-18 13:40]

  • Q: 利用率は?
  • A: AAICはけっこう待たされる2node jobでも数日待たされる。ABCIはユーザ教育が足りてなくて(言うと暗殺されるレベル)。

[2018-09-18 13:42]

[2018-09-18 13:42]

九州大学スーパーコンピュータシステム ITOにおけるジョブスケジューリングの課題
南里豪志(九州大学情報基盤研究開発センター)

  • 資料
  • スパコンシステム ITO
  • 今年1月に稼動
  • フロントエンドを用意したのでバッチに専念できるように
  • フロントエンド: 対話型、webよやく
  • サブシステム: バッチ (ネットワークはフラットなので考慮しなくてよい)
  • 予算のでどころでグループをつくって運用
  • スケジューラ: 富士通 Technical Computing Suite
  • 月額定額制を採用 (従量制ではない)
  • 利用負担金定額制の利点・欠点
  • 利点 利用グループの予算計画が用意
  • 欠点 つかったもの勝ち (従量制の場合よりも公平性が重要になってくる)
  • フェアシェアによる優先度管理 つかったらそのぶん優先度がおちるが 月初にリセット
  • ノード固定タイプでジョブ実行待ち時間をなくすこともできる 1時間以内にジョブが流れることを保証 ただし8倍の値段 利用申請は前年度末に締め切って調整している
  • 占有タイプだとノード稼働率が落ちてしまうのでノード固定タイプにして1時間以内に 共有タイプのジョブキューを用意している
  • バックフィルスケジューリング: 他のジョブを遅らせない範囲でジョブの追い越しを認める
  • 利用者から苦情 ジョブの開始予想時刻が優先度の高いジョブにわりこまれて遅れる
  • 対策 開始12時間をきったらフェアシェアによる割り込みをしないようにする → 苦情 はなくなった(あきらめ?)
  • 苦情: 大規模ジョブがなかなか流れない
  • 対策検討中: 優先度低い小規模ジョブは12時間以内になっても後回しにできるように

[2018-09-18 14:08]

  • Q: バックフィルで苦情はきてないか?
  • A: フェアシェアとバックフィルをくみあわせると公平性がわるくなる。フェアシェア やめちゃう?
  • Q: 定額制の割合は?
  • A: ノード固定は800/2000。のこりでフェアシェアをやっている。
  • 西: ユーザにジョブの価値を決めさせて課金を変える。TSUBAMEでは2倍4倍しか用意し なかったので4倍に張り付いてしまった。青天井にすべきだった。
  • Q: シングルコアのジョブばかりになってしまわないか?
  • A: メモリ量も減るので、ユーザは必要なメモリ量からコア数を選んでいる。シングル ノードの方が通信しなくてよいぶん全体のスループットが上がるし。

[2018-09-18 14:16]

休憩

[2018-09-18 14:29]

Univa Grid Engine:マシンラーニング時代のジョブスケジューラの重要性について
ワイス・ハワード(パシフィックテック マネージングダイレクター)

  • 大学を卒業してすぐ日本に
  • gridware -> sun -> oracle -> univa
  • UGE8.5.0 GE 6.2(最後のオープンソース)にくらべてジョブのスループットが高い (倍 くらい?)
  • 1ノードあたりの資源量が増えてきている
  • TSUBAME3用の特別バージョンをUNIVAでつくった。ノード内トポロジ(numa,omnipath,gpu)を考慮する
  • docker対応 coreバインディング gpuわりつけ
  • singularityはdockerよりもHPC向け
  • BeeOND 複数のNVMeを1つのnamespeceとしてあつかえる。
  • BeeGFS

[2018-09-18 14:52]

[2018-09-18 14:53]

ハイブリッドクラウド環境を実現するPBS Works
久保 博次(アルテアエンジニア リング株式会社 ビジネス開発本部 Enterprise Computing事業部 Technical Manager)

  • 資料
  • まだ入社したとこ試用期間中なんだけど
  • それまではHPCのハードウェアベンダーにいた
  • PBS works suite = PBS access + PBS professional + PBS control
  • psb professional
    • docker root問題を緩和
    • multisched パーティションごとにポリシー設定
    • cgroups gpuはcuda7から
  • pbs access
    • gui
  • pbs control
    • workload simulator 履歴データから拡充を最適化
  • アプライアンス vs バースティング
  • PBScloud.io: PSBworksとクラウドをつなぐもの
  • デモ

[2018-09-18 15:11]

[2018-09-18 15:12]

FUJITSU Software Technical Computing Suiteのご紹介
三鴨利彰 (富士通株式会社 次世代テクニカルコンピューティング開発本部 ソフトウェア開発統括部)

  • 資料
  • TCS Technical Computing Suite
  • TCS = 運用(ジョブスケジューラを含む) + ファイスシステム(FEFS) + プログラミング環境(MPIとか)
  • 京のときに8万ノードをあつかえるスケジューラがなく開発がはじまった
  • 京はノード数では世界第2位の規模。
  • ジョブ選択ポリシーと資源選択ポリシー
  • 緊急ジョブを流す(デバッグ時とか) プロセスをスワップアウトさせる?
  • 論理スワップを利用することでデバッグジョブをはしらせる
  • JSCAPS job scheduling aware power save
  • スケジューリング情報から計算ノードの電源停止 (これまでは過去のデータをベースに電源管理するものはあった)
  • dockerイメージを管理者が用意して利用者は指定するだけで実行できる。
  • 利用者が自分のイメージを指定してリポジトリからとってくることもできる。

[2018-09-18 15:30]

  • Q: API
  • A: ジョブの状態遷移のときにフックをいれられる(課金で利用)。ジョブの中からイベ ントをつくることもできる。

[2018-09-18 15:32]

[2018-09-18 15:33]

NEC Network Queuing System V (NQSV)のご紹介
鷲尾 拓也(日本電気株式会社 AIプラットフォーム事業部)

  • 資料
  • NQSV NEC Network Queuing System V(ブイ)
  • ベクトル機SX用
  • NQSIIの後継
  • Vはベクトルだけどベクトルだけではない
  • SX-Aurora TSUBASAに向けて開発
  • 最大稼動ノード数・最小稼動ノード数を設定できる。
  • 実行: mpirun -ve 4-5 -np 2 ve.out
  • PCIeのスイッチをまたがないようにVEを選択
  • ワークフロー実行 エスカレーションもする
  • openstackやdockerの環境で実行可能
  • dockerはテンプレートを指定して実行

[2018-09-18 15:53]

  • Q: linuxならNEC以外でもうごくか?
  • A: yes

[2018-09-18 15:53]

[2018-09-18 15:54]

IBM Spectrum LSF ~分散コンピューティング環境における厳しい要求に対応するワ ークロード・マネージャー~
大澤暁(日本アイ・ビー・エム株式会社IBMシステムズ ・ハードウェア事業本部SDIテクニカル・セールス)

  • 資料
  • LSF
  • Spectrum Computing = high performance computing + cognitive and deep learning + high performance analysis
  • クラスター仮想化ソフト
  • cloud bursting: ポリシーにもとづきクラウドにジョブを転送。resource connectorで自動的にprovisioning。データのコピーはstatingで。IBM Asperaによる高速転送。GPFS もつかえる。
  • LSF&Kubernetes
  • モバイル端末からジョブの管理ができる
  • http://www.theedison.com/pdf/2014_IBM_Platform_LSF_WP.pdf
  • SGE/Torque/SlarmとくらべてLSFはやはい
  • LSFシミューレータが公開されている

[2018-09-18 16:15]

  • Q: シミュレータのデータは?
  • A: LSF以外の場合は自前で変換する必要あり。

[2018-09-18 16:16]

休憩

[2018-09-18 16:29]

パネルディスカッション

  • モデレータ 片桐
    • スケジューリングの公平性 AIが必要?
    • 電力
    • ユーザ教育
    • 分散
    • ヘテロ

[2018-09-18 16:34]

  • 佐藤
    • 共有計算環境でデータを秘匿するか 計算も秘匿?
    • セキュリティ監査もうける?
    • プライベートデータのあつかい
    • 暗号化ストレージもクライアントサイド・サーバサイドがある
    • 計算ノードだけでなくストレージのスケジューリングもやりたい
    • 資源ブローカー+スケジューリング+セキュリティ

[2018-09-18 16:40]

  • 南里
    • 省電力、パブリッククラウド、コンテナ
    • 稼働率・公平性・利便性を維持しつつ
    • ピーク電力をおさえる(契約) 電力量(料金)

[2018-09-18 16:45]

  • ハワード
    • 様々なハードウェアに対応しないといけない
    • docker imageも考慮したノード選択とか
    • ノード内ファイルシステムの連携(揮発ではなく)
    • 安定性(セキュリティとか人命がかかわるとか)

[2018-09-18 16:50]

  • 久保
    • 客:運用の希望はあるが手間はかけたくない → AIで管理者にアドバイス

[2018-09-18 16:55]

  • 三鴨
    • A64FXでは周波数以外に演算パイプライン・メモリバンド幅も操作可能
    • AIをつかうとき、何を最適化するのか? 稼働率?満足度?研究成果? システム価値とは?

[2018-09-18 17:00]

  • 鷲尾
    • どんなジョブでも自由に一時停止、実行場所の変更、再開を可能に
    • 現状緊急ジョブ(防災、おかねもち)があるのできれいにつめてもくずれてしまう。
    • チェックポイントだとユーザの手間がかかる。システムレベルでケアしたい。
    • チェックポイントファイルが巨大 それのスケジューリング

[2018-09-18 17:04]

  • 大澤
    • いろんなワークロード
    • いろんなハードウェア

[2018-09-18 17:08]

  • 秘匿データ秘匿計算
    • 病院関係
    • どうなったらいいか、聞き取り調査してもはっきりしない
    • アカウンティングはsshだけではなくポリシーベースでできるといいなぁ
    • ストレージ・ネットワークの課題の方が大きい。そのあとスケジューラかなぁ。
    • おおきなストレージにデータを置くのを嫌う客は多い。BeeONDでローカルなNVMeに置 くなら許されるかも。
    • フロントエンドにストレージをつないでバッチノードからマウントしてつかった経験 はある

[2018-09-18 17:20]

  • 東大 伊藤
    • データサイエンスの同期計算しないもの(通信しないもの)と、MPIのものをおなじバッチスケジューラにつっこむのは、充填効率がおちるか、スケジューリングが複雑になってしまう。
    • スケジューラをジョブノードでうごかしてそのなかで細粒度のスケジューリングする のはどうか
    • ジョブの投入数を抑える設定をしている。小さいジョブをたくさんなげてまる。ユー ザ教育: シェルスクリプトでbgつかう、MPIで個別プログラムを実行、gnu parallels
    • MPIでノード占有してバルクジョブを実行するものを提供したことがある。
    • システムをわけてしまう。
    • メタスケジューラ

[2018-09-18 17:34]

終了

[2018-09-18 17:35]

記事検索
月別アーカイブ
アクセスカウンター

    タグ絞り込み検索
    ギャラリー
    • 今日の練習 2018-11-15
    • 今日の練習 2018-11-15
    • 今日の練習 2018-11-13
    • 今日の練習 2018-11-11
    • 今日の練習 2018-11-11
    • 今日の練習 2018-11-10
    Amazon
    楽天市場
    adby google
    LINE読者登録QRコード
    LINE読者登録QRコード
    • ライブドアブログ