koie blog : いってきた: Mesos Meetup Tokyo #3

https://mesos.connpass.com/event/67877/
日時: 2017-11-01 19:00〜21:00
会場: IIJ飯田橋

[2017-11-01 19:01]

オープミング

#MUGT
もくもく会みたいなのもやりたいなぁ。
Mesos User Groups は25都市が登録。
さいしょはデータ解析でつかわれて、コンテナでつかわれるようになった、まだtensorflowなどでつかわれるように。
Kubernetes
distributed tensorflow support

Mesosを使用した分析サービス「e19(千京;せんけい)」の紹介と開発の話 / 木内満歳(きうちみつとし)

e19: 自然対数のe。10^19の意味だったが。データサイエンティストのためのサービス。 https://e19.io
開発のなりゆき
- SI企業のなやみ: 案件ごとにエンジニアをわりあてるが、エンジニアの数で売上がきまってしまう。案件ごとに難易度がちがう。エンジニアごとにスキルもちがう。
- プロダクトをつくって売ればエンジニアもお客もハッピーなのでは?
- 世の中にはデータ分析サービスはくさるほどあるが、過去の成功と遺産にとわられているのでは? Hadoopの膨大なスタックにはまってる。ちょっとパラメータをいじっただけでバランスがくずれてつかいにくという苦情。
- 技術とニーズがずれはじめてるかも?
- Hadoop スタックから Spark ひとつでシンプルに。BIはapache drillつかったりするけど。
なぜmesos?
- Sparkでつかえるクラスタ管理ソフト(Mesos,YARN,Standaalone)のひとつだったから。YARNはむつかしい、standaloneは簡単だけどマルチユーザに対応してない、他のサービスを同一フレームワークであつかえない。
- Agentは複数だが、1ZK 1Master の構成。
- e19ではクラスタを単一ホストっぽく見せる(シングルビュー)ようにしている。データサイエンティストの方々はクラスタに詳しくないため(sshシラネ、クラサバしらね)。バッチスケジューラ(Retz, Aurora)も入れてない。
- Q: DC/OSじゃないの?
- A: つかいたかったけどまだOSSになってなかった。
- データサイエンティストは分析用ライブラリにはこだわりがある。(xgboost,statsmodels,causalimpact,Bokeh,NLTK)。pip でインストールできるようにしたい。
開発体制・使用ツール (オフレコ)
- ぶっちゃけ2名
- UI=bootstrap
- アプリフレームワーク=Meteor。javascript。python:jangoをリッチにしたかんじ。
- インフラ=Ansible。難しいことをやるには面倒。chefにしたい。
- DB=MoboDB。Meteor指定。
開発方針: 無駄にがんばらない (兼業なので)
- syslogない。systemdでstdoutをジャーナルに書く。
- 環境: Fedora,Mac,CentOSでもうごいている。
- 管理はJIRA, Confluenseで。
どうなった?
- ジレンマは解決されなかったが、
- 自分達で売るものができたのはよかった。
- 使いたい人よりも売りたい人のほうが多かった。なぜかわからんが。
- チャンネル登録よろ
今後の予定
- 売りたい人のためにマイクロサービス・可搬性向上(プラットフォーム非依存)させようとしている。
- http://www.creationline.com

[2017-11-01 19:45]

crashacademy で過去の動画がみられるらしい。今回も録画しているのでそのうちみえるようになるはず。

[2017-11-01 19:46]

たいそうりっぱになったねえ。 DC/OS 1.10 / @jyoshise

https://hackmd.io/p/SyHr9e1CZ
9月に出た
事前アンケートではMesos,DC/OSにさわったことがない人が多いのでデモ
DC/OS Universe Packageのしくみ
- 設定用のjsonファイルをかくだけ
https://dcos.io, https://github.com/dcos https://dcos.io/docs
Mesosのディストリビューション的なものエンタプライズ版もある
Spartan: MesosのDNS。.localだけじゃなくドメインをつかえるようになった。
CNI(cloud native interface)対応
Universal Container Runtime (UCR) つかうように。dockerはずし現象?
kubernetesをDC/OSでうごかすメリット: かんたんにデプロイできる。DC/OS上のデータサービスとの接続が簡単。共通リソースの管理。
Marathonじゃないのは? 長いものには巻かれろ?
鉄板データサービズ(M7): Mesosphereがpackageメンテナンス。production ready。
nodeの数やgpuの数を指定するだけでてきとうにわりふってくれる。
DC/OSはVagrantで1ノードでうごくが、いろいろやるなら最低5ノード。
DC/OSのコミュニティはMesosよりも活発。
CNCFへのあゆみより。パーシステンスストレージとか。

[2017-11-01 20:11]

休憩

[2017-11-01 20:22]

Serverless w/Mesos / @kojiha_

デモしようとしたらバージョン不整合でうごかないのでトラブルシューティング中...
Mesosでつかえるserverlessツール: Gestalt, Fancatron, iron.io
iron.io: フロントエンドだけクラウドに置いて実行はオンプレミスで、ということもできる。

[2017-11-01 20:36]

[2017-11-01 20:39]

すべてのWaitingを生まれる前に消し去りたい / @kotatsu360

https://speakerdeck.com/kotatsu360/goodby-waiting-status-forever
VASILY: DC/OSはつかわず。Marathonでdockerコンテナをうごかしている。
Marathonの"Wating"を解消したい
- リソースがいつまでたっても確保できない問題
- いったいなんのリソースが不足しているのか分からない。
1: リソース不足
2: タスクの制約(Constraints. GPU必要とか1ノード1タスク(hostname:UNIQUE制約)とか)
3: リソースの利用許可がない (ポート80をつかいたい(requirePorts)がagentにresourcesオプションを追加してなかった、など)
- upgradeStrategyでminimumHealthCapacityとmaximumOverCapacityを0にすると(新規タスクのデプロイ前に既存タスクをkill) 瞬断が許される場合につかえる