koie blog : Python

https://connpass.com/event/184/
最初のタイトルは「初めてさわる! おっ!? pypy ( ゜∀゜)o彡」だったが、やはり修正しなければならなかったようだ。
http://www.ustream.tv/channel/arielarea
http://togetter.com/li/244808

朝からみぞれが降って寒い一日。

溜池山王の出口11から地上に出たがさっぱり方向がわからず、やけくそで歩きだしたらあってた。よかったよかった。でも印刷してもっていた地図上で想像していたのと実際に歩いた道がちがってたっぽい(気づいたのは帰り道でまよってから)。

会場は無線LANがつかえるとこのとだったが有線LANも使えるとあったのでつないでみたがauto ipしか設定されず、あきらめてWiMAXで。電波は弱い。電源もあり。

あいさつ井上さん

ブログに書かないと決めているもの:
- 絵文字・顔文字 (きらいだから)
- 下ネタ
なので、Pなんとか〜

まだまだ人が少ない(エントリ人数と比べて)。ざくっと40人くらい?

「次世代言語 Python による PyPy を使った次世代の処理系開発」 @shomah4a

http://www.slideshare.net/ShomaHosaka/python-pypy

PyPyといったときに2とおりの意味が:
- PythonでつくられたPythonのインタプリタ
- Pythonでつくられたフレームワーク

1000万$くらい資金があまっている

Gameboy emulatorもつくられている

5倍くらいはやくなる理由は RPython Toolchain にある。
- FlowGraph:フローチャートをつくる。データとして。
- continulet変換

デモ
- pypy-tutorial/example2.pyはいわゆる brainf*ck のインタプリタで114行
- hanoi.bをpythonで実行したらとってもおそい。
- バイナリにおとしただけでけっこう速くなる。
- JITありにするともっとはやくなるらしいが、コンパイルに失敗した。

このへん会場をみると人が増えてた。

「PyPy における静的解析」 @cocoatomo

http://www.slideshare.net/cocoatomo/py-py-ariel

test: false positiveはないが、網羅率が低い。
model checking: 状態爆発
静的実行: 記号実行:変数を変数のままあつかう。最弱事前条件(weakest precondition, WP)。網羅性が高いがfalse positiveの可能性がある。

>||

SSI: 代入するときには変数名を変える。ブロックをまたぐときも変える。解析が楽になるらしい。
- SSAという言葉はCOINSの話をきいたときに最適化ででてきたような記憶が。
- http://ja.wikipedia.org/wiki/%E9%9D%99%E7%9A%84%E5%8D%98%E4%B8%80%E4%BB%A3%E5%85%A5#SSA_.E3.81.AE.E6.8B.A1.E5.BC.B5

静的解析の敵:
- 条件分岐パターンがふえる
- ループ事後条件をもとめるのがむつかしい
- 多態継承・動的型付け
- eval 値の中身で処理がかわる

Nullableの注釈もある

型Topはなんでもはいる、型Bottomはなにもはいらない。
- 値が代入される前はBottom。

Javaの配列が共変になってるとか。
- http://www.ne.jp/asahi/hishidama/home/tech/java/array.html#h2_covariant

Listの静的解析は要素を入れたところと使うところが離れててたいへん (aliasing)
merge手続き: Bottomだった注釈をだんだんTopの方に一般化していく
- List(v)とList(w)をmergeするとvとwが同値関係にある情報が追加される。
- meta-rule:

Q: 関数型はどうなる?
A: Callableにはなる。

「PyPyとJITコンパイラ - Introduction to PyPy and JIT compile」 @chlere

以前に@chlereさんにいろいろ質問してやっぱりよくわからなかったところが、今日のでちょっとわかった気がしたのでよかった。間違った理解はしてなかったようだ。ヒントもどれに対するなんのヒントなのかもすっきりした。

帰りは赤坂見附駅から乗るつもりで歩いたが、完全に方向を間違えてて、六本木の方にでて首都高が見えた。結局、また溜池山王出口12から入った。たくさん歩いて腹へったので、橋本の電車待ち時間にマックくう。

タグ：: #pypy; #Python

FreeBSDの/usr/srcはhgsubversionでとってきていて、いまの/usr/srcは

% hg tip
changeset:   162828:8fff0f0c3911
svnrevision: 226824
tag:         tip
user:        alc@ccf9f872-aa2e-dd11-9fc8-001c23d0bc1f
date:        2011-10-27 02:52 +0000 (27 hours ago)
summary:     contigmalloc(9) and contigfree(9) are now implemented in terms of other
% hg log -r0
changeset:   0:6d11119de1ac
svnrevision: 3
user:        rgrimes@ccf9f872-aa2e-dd11-9fc8-001c23d0bc1f
date:        1993-06-12 14:49 +0000 (1993-06-12)
summary:     This commit was generated by cvs2svn to compensate for changes in r2,
%

というかんじで、最初からとってきているのでとてもでかい。途中のリビジョンからとってくればいいんだけど、せっかくなのでそのままにしてある。チェンジセットがたくさんあるせいなのか、hgコマンドはなにするにも1秒以上かかって、ちょっとイライラする。以前は数秒もかかってほんとうにイライラしたがhgsubversionなのかhgなのか改善されてましになった。

で、pypyというpythonの実装があるらしくて、素のpython(CPythonというらしい)よりも速いらしいので、じゃあためしてみるか、と。

portsにpypyがないのでFreeBSDでは動かないのかとおもったがチャレンジ。

Building from sourceをみながらpypyのインストール。

% hg clone https://bitbucket.org/pypy/pypy
% cd pypy/pypy/translator/goal
% python translate.py -Ojit  ←←まだpypyがないのでCPythonでつくる

途中コンパイルエラーも見えたような気がするがbuildはどんどん進んでいく。しばらくすると何かカラフルな模様がでてきて、なにかのプログレスバーかとおもってたら、上下対象の模様がみえだしてきてやっとマンデルブローだと気付いた。たしかにBuilding from sourceにも書いてある。で4GBのメモリが必要だとも書いてある。そのときは物理メモリは11GB載っているので問題ないぜ!とおもってた。もうかなりの時間がたつのに終わらないのでtopでみてみるとプロセスサイズが3.5GB(常駐3.0GB)になったところで頭打ちになってpageoutがはじまっていたので、できるだけ不要なプロセスを閉じて放置しといた。

夜になって終わってるかみてみたらまだ何かやっていてswapin/swapoutもおこっていた。どうやらZFSのARC(adaptive replacement cache)が3GBで下げ止まっている。しかたないのでX serverを止めたりしてみたが、ほとんどのプロセスからメモリが剥されたあとだったので効果なし。放置。

朝になったらおわっていたが、11時間ちかくかかったようだ。おそろしい。openoffice並だ。会社のpython野郎にきいてみたら自分でコンパイルしたことがないから知らんといわれた。最近の若いのはそんなんだよね。

[translation:info] usession directory: /tmp/usession-default-0
[translation:info] created: /home/koie/repo/pypy/pypy/translator/goal/pypy-c
[Timer] Timings:
[Timer] annotate                       ---  4436.3 s
[Timer] rtype_lltype                   ---  2757.3 s
[Timer] pyjitpl_lltype                 ---  4861.3 s
[Timer] backendopt_lltype              ---  2436.0 s
[Timer] stackcheckinsertion_lltype     ---   566.4 s
[Timer] database_c                     ---  5688.6 s
[Timer] source_c                       --- 13597.5 s
[Timer] compile_c                      ---  4305.5 s
[Timer] ============================================
[Timer] Total:                         --- 38649.0 s

とりあえずインストールイメージをつくってからインストール。

いろいろGNUツールやLinuxしか考えてないようなでFreeBSDではちょっと手直しが必要だった。tarはgtarに、グループrootはwheelに。linuxってgid=0はrootなんだね。はじめてしった。

diff --git a/pypy/tool/release/package.py b/pypy/tool/release/package.py
--- a/pypy/tool/release/package.py
+++ b/pypy/tool/release/package.py
@@ -124,11 +124,11 @@
         else:
             archive = str(builddir.join(name + '.tar.bz2'))
             if sys.platform == 'darwin':
-                e = os.system('tar --numeric-owner -cvjf ' + archive + " " + name)
+                e = os.system('gtar --numeric-owner -cvjf ' + archive + " " + name)
             else:
-                e = os.system('tar --owner=root --group=root --numeric-owner -cvjf ' + archive + " " + name)
+                e = os.system('gtar --owner=root --group=wheel --numeric-owner -cvjf ' + archive + " " + name)
             if e:
-                raise OSError('"tar" returned exit status %r' % e)
+                raise OSError('"gtar" returned exit status %r' % e)
     finally:
         os.chdir(old_dir)
     if copy_to_dir is not None:

% cd pypy/tool/release
% python package.py ../../.. pypy-my-own-package-name
% cd /tmp/usession-default-5/build
% mkdir ~/tmp/pypy-a2b911e61392
% tar xvf pypy-my-own-package-name.tar.bz2 -C ~/tmp/pypy-a2b911e61392
% cd ~/tmp/pypy-a2b911e61392
% ln -s pypy-a2b911e61392 pypy

次はhgのビルド。

PYTHON=$(HOME)/tmp/pypy/bin/pypy に書き換えて gmake all して、 gmake PREFIX=$HOME/tmp/hg install。

そしてついに/usr/srcで簡単にベンチマーク。「hg log --style=compact >/dev/null」の実行時間を測ってみた。