[2022-10-28 14:00]
Gfarmファイルシステムの最新機能 / 筑波大学 建部 修見
- 資料
- 2000年から開発しているので22年
- JLDG,HPCI共用ストレージ(富岳),NICTサイエンスクラウドで実運用されている
- nextcloudコンテナ gfarmを外部ストレージとしてあつかえるようになった
- gfarm-s3-minio S3互換サービス
- wsl ubuntu上でmountするとexplororからもファイルがみえるので便利
- winscpでS3アクセスするデモ
- GSI(代理証明書)はサポートがおわっている(コミュニティーベースに移行)のでOAuth/OIDCをつかうように。
- 完全性:サイレントコラプションとおもわれる事象はいくつか起きている。
[2022-10-28 14:23]
- Q: gfarmをwslでmountするとは?
- A: ubuntuにgfarmのクライアントを入れてgfarm2fsでマウントされる。
[2022-10-28 14:26]
[2022-10-28 14:27]
Delivering Supercomputing File System Performance on Oracle Cloud with WEKA / Oracle Corporation Clifford Patterson
WEKA on Oracle Cloud Infrstructure (OCI) Overview / ORACLE
- 発音: ワカ ウェカ
- Gen2 arch: L2 virtualization, RDMA, ...
- low-latencyを要求したりio-intensiveなアプリはオンプレに残っていた。
- ホワイトペーパー: weka-on-oci.pdf
- posix, nfs, smb, s3, k8sプロトコルをサポート
- single name space
- s3でデータを保存してposixでアクセスするとか
[2022-10-28 15:12]
- Q:建部さん2つ質問
- A:
- Q:住元さん MPI-IO HPC support?
- A:
[2022-10-28 15:21]
[2022-10-28 15:22]
研究データ管理のためのストレージシステム / NII RCOS 下山
- 2015年オープンサイエンスに関する検討会からスタート
- 第6期科学技術・イノベーション基本計画(2021年)
- データポリシー策定率・メタデータ付与率100% 2025年までに
- 研究者にとって余計な作業→必要な作業に転換してストレス削減
- GakuMin RDM: 研究データ管理基盤
- e-Radにひもづけ メタデータ15項目
- データを作成したコードの管理
- データ解析をjupyterでやる
- 標準ストレージだけでなく外部ストレージ(public cloud, private cloud)で研究データを保管したい。
- 外部ストレージ連携: Waterbutler
- 標準ストレージの統計: 1MB以下のファイルが全体の80%をしめる。中央が128KBくらい。
- WaterButler,Gfarm, iRODS, Globus?
[2022-10-28 15:53]
- Q: 建部さん、研究データはどういうものだとおもっているか? 素粒子とか遺伝子とか。
- A: 素粒子とか遺伝子とかはすでに必要性にせまられて整備されている。既存の管理システムと連携する必要がある。
- REST APIだから大きいデータを置こうという気にならないだけかもしれない。
- Q: 海外連携は?
- A: gakunin rdmに関していえば、利用できるのが国内の研究機関(と共同研究しているところ)のみという約款になっている。
- Q: 住元さん、さいきんつかいはじめている。mdx
- A: gakunin rdmのデータを外に公開する機能はまだない。
- オープンデータとの関係
- Q: 東大 塙
[2022-10-28 16:04]
休憩
休憩からもどったらPCのバッテリが切れてメモとれず。まさか席に電源がないとはおもわず延長ケーブルをもってきてなかった。アナログ筆記具ももってきてなかった。スマホ+HHKB+モバイルバッテリの組み合わせにしておけばよかったと後悔。
[2022-10-28 16:16]
キオクシアSSD最新テクノロジーと今後の取り組み / キオクシア株式会社 瀬戸 弘和
- 不揮発メモリはまだ実用段階にない。
- Q:容量そこそこで速いやつ・安いやつがほしい。
- A:SLCからMLCに代わる製品があるが同じ性能で安価になる。
京都大学新スーパーコンピュータシステムの構成と導入アプリ検討 / 京都大学 深沢 圭一郎
- 資料
- 絶賛トラブル中らしい。
Pegasus ビッグメモリスーパコンピュータではじまるこれからのデータ科学・ビッグデータAI / 筑波大学 建部 修見
- 資料
- CHFSをつかったキャッシュ
- 一貫性を緩和してメタデータサーバなしで性能を出す
- 入力データはジョブ実行中に変更されない
- ジョブの新規エントリ作成は成功する
- ジョブが既存ファイルを更新するときは読込んでから
- 更新はフラッシュするまで反映されない
- フラッシュはジョブ終了までには行われる
- CHFSは(メタデータサーバがないので)ファイルサイズを管理してない。分散ハッシュのレンジクエリでチャンクをかきあつめて計算するしかなく遅い(ls -lすると死ぬ)
クロージング / 塙
懇親会
ひさしぶりだぁ〜
