PyCon JP 2017に参加した

PyConJP 2017に参加してきた。トークを応募していたので、本当はトークできたらよかったけど、落ちてしまったので、聴講のみの参加。

聞いてある程度覚えているものを。

• 野球を科学する技術〜Pythonを用いた統計ライブラリ作成と分析基盤構築
  • slide
  • 野球の分析をするために、scrapy, Airflow, Jupiterなどを使って、分析基盤を作った話。分析基盤の話が半分、野球の話が半分だった。
  • 結構な分析基盤をちゃんと作っていてすごい。分析基盤の方に興味があったけど、思ったよりさらっと話していた。Airflowが気になったのだけど、ブログを見てという感じだった。scheduler, workerをGUIで管理できるらしくて良さそうだけど、設定はやや複雑だったり、依存ライブラリがかなり多いらしい。

• Pythonで大量データ処理！PySparkを用いたデータ分析のきほん
  • slide
  • PySparkのアーキテクチャの話や、PySparkを使う上での良いTips集だった。

• Pythonによる文章自動生成入門！Python ✖︎ 自然言語処理 ✖︎ ディープラーニング
  • 論文
  • 商品の概要文を自動で作りたいという話。マルコフ連鎖、自動要約、ディープラーニングという3つのアプローチで、自動生成したところ、自動要約の性能が良さそうだったらしい。概要文にオリジナリティが必要（SEO的に）とのことで、自動要約＋言い換えで対応するらしい。
  • 5-gramまで使って言い換えすると、元の文章から結構変わるという話だったけど、ゴールがいまいちわからなかった...

• OpenAPIを利用したPythonWebアプリケーション開発
  • slide
  • OpenAPIとツール、事例について紹介していて、Swagger使うと便利ですという話だった。bravado-core というライブラリだと、フレームワークに依存せずにOpenAPIを使えてよいとのことだった。
  • あんまりここらへんのツール使えてないから、とりあえずフレームワーク依存でもいいから、flask-restful-swagger-2.0 とかあるようなので使ってみたい。今から使うのが、2.0でいいのかはわからないけど。

• 機械学習におけるデータの再現性について
  • slide
  • 機械学習タスクを複数人で取り組むと、再現性が問題になる。実験の再現性はデータの再現性に縛られるので、ちゃんとデータの再現性を担保したい。そのためにはコードでデータの取得ができるようにしておけるとよさそうなので、そのためのツールを作ったという話。ツール部分はサブで、メインは問題提起をしたいとのことだった。
  • 問題にしている部分はすごく共感できる。データのバージョン管理とかしてるのかと思ったけど、その部分はこれからみたいだった。

• SREエンジニアがJupyter＋BigQueryでデータ分析基盤をDev＆Opsする話
  • slide
  • データ分析基盤とデータ分析の文化についての話。いろんな要望に応えていったら、システムが複雑になり、エンジニアチームの負荷も大きくなってしまったので、モデルとビューをちゃんと分離して、分析基盤を作った。ビューは部署ごとに適切なものを用意。
  • 今回のPyConJPで自分が聞いたなかでは一番面白い発表だった。現実と向き合いつつ、着実に分析基盤とそれを活用する文化を作っていくすごくいい話だった。

PyConJPは3年ぶり2度目の参加。思ってたより初心者向けの解説的な発表が多かった気がする。