認知心理学の本を読んだ
最近、認知心理学について少し興味が出てきたのでいくつか読んでみた。
自然言語処理の研究をしていたけど、認知科学のことは勉強するタイミングなかったせいか、全然知らなかった。けど、言語処理してるんだから、認知科学のこと多少は知っておいてもよいのではという気になった。ただ、どれを読んだらいいかわからないのだけど、適当に探して読んでみた。
- 作者: 苫米地英人
- 出版社/メーカー: サイゾー
- 発売日: 2014/01/27
- メディア: 単行本
- この商品を含むブログ (2件) を見る
- 作者: 日本認知心理学会,楠見孝
- 出版社/メーカー: 北大路書房
- 発売日: 2010/07
- メディア: 単行本
- クリック: 1回
- この商品を含むブログを見る
- 作者: 川崎惠里子
- 出版社/メーカー: 誠信書房
- 発売日: 2014/09/20
- メディア: 単行本
- この商品を含むブログを見る
とりあえずいくつか読んでみたけど、認知科学が思っていた以上に工学的な印象があることに驚いた。もちろんそうでない部分もあるけど、結構コンピュータで実現できるかどうかも重要な要素っぽかった。まだ研究対象が単語や短文のものが多いので、長文、文章に対する研究も進んでいって欲しいと感じた。
あと、最近読んだWSDM(Web Search and Data Mining) 2015のSarcasm Detection on Twitter: A Behavioral Modeling Approachという論文がおもしろかった。Twitterから皮肉を見つける問題で、これまで言語的な手がかりのみを利用していたものに対して、心理行動科学?(psychological and behavioral sciences)からの知見を活かすことで性能を向上したというもの。あまりこういう論文を見たことなかったので、おもしろかった。言語処理系の学会にもこういう論文あるのかな。
長単位解析器Comainu 0.71をリリースしました
中・長単位解析器Comainuのバージョン0.71をリリースしました。
機能的な変更点はなく、unidic2 (unidic.db) の公開への対応が主な変更です。
unidic2を近日リリース予定としてから1年たってしまいました(すいません...)が、unidic2の一般配布に関する確認がとれた(BCCWJの成果DVDにはunidic2が含まれているので一部の人には既に配布されていた)ので、Comainu用にunidic2をコンパイルしたunidic.dbの配布とその対応を含めたComainu 0.71をリリースしました。これで誰でもComainuを正しく動作させることができるようになります。
リリース comainu 0.71 - 中・長単位解析器 Comainu - SourceForge.JP
リリース comainu-unidic2 0.10 - 中・長単位解析器 Comainu - SourceForge.JP
unidic2(unidic.db)の有無による違い
これまでのComainuでも長単位解析はほぼできており、unidic.dbがなくても長単位の境界推定結果は変わりません。
ただし、unidic.dbがないと、長単位の語彙素、語彙素読みを正しく生成できない場合があります。長単位の語彙素、語彙素読み生成には短単位の語形代表表記や語形基本形などを利用しており、現状ではこれらの情報がunidic2にしかないため、一部の活用がある長単位では語彙素、語彙素読みが正しく生成できていませんでした。
Linux版について
Comainu-0.70をご利用の場合は、Comainu-unidic2 をダウンロードしていただき、適当な場所 (/usr/local/unidic2/share/unidic.db など) に置いてもらえば正しく動作するようになります。
Comainu-0.71を利用する場合は、ソースファイルに含まれるセットアップ用のスクリプトでunidic.dbを含めた関連ツールをインストールするようにしてあるので、ご利用ください。詳しくはこちら
言語処理学会に参加した
今年は京都(京大)であったということもあって、言語処理学会第21回年次大会に参加してきた。
16~21日でチュートリアル、本会議、ワークショップとあったけど、本会議の1,2日目とワークショップの計4日間参加。
本会議で発表を聞いたものの中から覚えている/気になったものをメモ程度に。
- 素性に重みを付けるSelf-training手法を用いた文書分類の領域適応
- ドメイン適応にself-trainingを適用し、素性の重み付けも少し従来と変えるアプローチ
- 重み付けのところの有効性はあまりよくわからなかった
- self-training、勝手に98, 99%とかすごい高い精度じゃないとうまくいかないと思ってたのだけど、性能向上していたので意外だった
- 議論文生成における文抽象化のための固有表現抽象化
- 聞きたかったけど、人気だったのであんまりちゃんと聞けなかった
- 固有表現と固有表現の抽象化候補が与えられた場合に、適切な抽象化先を選択するためのアプローチ
- 抽象化候補は予め辞書で用意しているけど、抽象化候補の自動取得できないかどうかのほうが気になっている
- 意見文の対象読者を限定する条件の抽出
- レビューを読むべき条件を抽出する手法
- 「女性には」や「子連れの家族旅行なので」などの意見に付随する条件部分を認識する
- 顔文字のパーツの種類と表情の強弱に着目した顔文字表情推定
- 顔文字のパーツの種類(口、右目、左手など)を推定し、パーツごとに素性の重みを変えて学習することで顔文字の表情を推定。
- 8種類の表情(泣く、驚く、笑う、怒る、困る、恥じる、不満、無表情)と6種類の感情(怒り、嫌悪、恐れ、喜び、悲しみ、驚き)を利用
- 表情の強弱をみて、強い表情(泣く、驚く、笑う、怒る)と弱い表情(困る、恥じる、不満、無表情)では感情の分布傾向が違うというのはおもしろかった
- 時系列文書を対象としたグラフに基づく文書要約への取り組み
- Paragraph Vectorを用いたウェブ上のユーザー行動のモデリング
- A Japanese Word Dependency Corpus
- 完全に見逃してた...すごい聞きたかった
あとは参加しなかった3日目の発表で気になったけど聞けなかったもの
エラー分析ワークショップにも参加。
色々なエラーや分析が聞けたので楽しかった。
今年は実際にすぐに応用できそうかという視点で発表を聞いてたことが多かった気がするけど、ちょっと失敗だったかな。もう少し単純に言語処理研究への興味という感じで聞けたほうが楽しかった気がする。
来年は東北大学らしいので、ふらっとはいけないのが残念。
論文紹介:HEADY: News headline abstraction through event pattern clustering
2週間くらい前になるけど、社内輪読会があって論文紹介をした。
今回はACL2013の HEADY: News headline abstraction through event pattern clustering を紹介した。
内容
同じ内容のニュースの集合に対してヘッドラインを生成する話。固有表現を汎化してパターン抽出し、そのパターンをNosiy-OR Baysian Networkで学習することで、固有表現の種類に応じてヘッドラインに使われやすいパターンを推論する。
感想・疑問
- 抜粋的(extractive)ではなく、要約的(abstractive)なアプローチを取った手法として、そこそこ良い性能がでていそう。
- HEADYの圧縮率はどの程度なのか。文ごと取得する手法ではあるが、TopicSumが良い性能をだしているので、短くする必要がないならTopicSumでよさそうに見える。目的としては短めのヘッドラインを作りたいという話なので、HEADYによって生成されるヘッドラインがどの程度の長さなのかが気になった。例として表4に出しているものだと、他のとそんなに長さ変わらないように見えるけど、何かしてるんだろうか。
- どの程度抜粋的なアプローチではできないヘッドラインが作られたか。要約的(abstructive)なアプローチということだったが、結構抜粋的(extractive)な結果になり得そうなので、その差はどのくらいあるんだろ。
- Noisy-OR Baysian Networkを用いないベースラインのMost freq. patternとは有意差がないようなので、ある程度は抜粋的なアプローチでできてしまうということなんだろうか。
- ヘッドラインの生成に成功したのはどの程度か。手法的に固有表現が含まれていないとヘッドラインを生成できないようなのだけど、固有表現が含まないニュースコレクションはどのくらいあるんだろ。ニュース記事だと新商品とか固有表現辞書に含まれてないものが結構でてきそうなので、結構取りこぼすものが多いとなると、実際に使うのは難しそう。もちろん固有表現抽出を辞書ベースじゃなくて学習ベースにすればいいのかもしれないけど。
これはちょうどはてなブックマークのトピック機能を作っていたときにトピックのタイトル生成をする際に参考にしようと思って読んだもの。
日本語WordNet-Affect構築のnltk3対応
前に作った、日本語WordNet-Affect作るためのスクリプトが動かないとコメントをもらったので修正した。
python2、nltk2系だと動いていたけど、バージョンを固定しないとnltk3が入るようになっていつの間にか動かなくなってた。python2系使ってたらnltk2を入れて欲しいものだけど、特にそういうことは考慮してくれないようだ。
なので、python3系、nltk3系で動くように修正した。
ただ、その際にsqliteのDriverに使ってた pysqlite2 はpython3 対応されてないのでどうしようかという感じだったけど、python3系ではsqlite3がデフォルトで入っていてそちらを使うのが正しいようだったのでこれも修正。
http://docs.sqlalchemy.org/en/rel_0_9/dialects/sqlite.html#driver
masterブランチはpython3, nltk3で動くようになった。python2使いたい人はpython2-nltk2ブランチ使えば動くはず。
https://github.com/skozawa/japanese-wordnet-affect
日本語WordNet-Affectの話、2,3人から質問されたんだけど、わざわざ新規にTwitterアカウントとったりして素性隠して質問してくるのはなんでなんだろう。まあ、別に回答はするんだけど、どうせならどこでどうやって使われたか知りたいのになーと思うのでちょっと残念。
2015年目標
もう2015年も半月たとうとしてるけど、今年の目標を考えた。
毎年1月はいつの間にか過ぎてるみたいな感じになってる気がする。
考えた今年の目標は以下の3つ。
- 何か発表する
- 去年はあまり発表とかしてなかったので、今年はなにか発表したい。特に今ネタがあるわけではないので何か作らないと。
- 本読む
- 去年も目標にしてたけど、達成できなかったので引き続き。非技術書を1ヶ月に1冊くらいは読みたい。とはいえ、他の目標のほうを優先しそう。
- 中・長期的な計画を立てる
- 3~5年くらい継続してできるようなことを探したい。最近あんまりそういうことできてないから、ひとつの方向性を見据えて積み重ねていけると良いな。
去年色々考えたけど、ここ3年くらい基本的な考えは変わってなかったことがわかったので、とりあえず今のままやっていこうと思う。
2014年振り返り
年末なので2014年を振り返る。
目標
2014年の目標何にしてたかというと、下の3つだった。
2014年 - skozawa's blog
- 技術を深める
- できたようなできてないような。もう少し深堀したかった気はするけど、それなりにはできたんじゃないかな。
- 本を読む
- 1ヶ月に1冊は非技術書を読みたいと思ってたけど、全然達成できなかった。結局4冊くらいしか読んでない。
- 京都散策
- 特に数えてないけど、とりあえず色々行けたかな。
どれも何もやってなかったわけではないけど、完璧に達成できたと思える感じではないかな。
振り返り
1~3月
1月はなにやってたかあまり覚えてない。2、3月には仕事で新しいチームに入って新しい言語(ScalaやGo)を使うようになった。ただ、2、3月は言語処理学会の発表準備などで忙しくなることが分かりきっていたので、この判断は自分としては間違いだったなあと感じる。忙しくてもなんとかなるだろうと思ってたけど、実際にはあんまりなんとかなっていないことが多くて、新しい言語を学びたくても時間はとれない、とはいえ、タスクはあるので新しい言語を学びつつこなす必要があるという感じであんまり良くなかった。自分の場合、新しいことやるときにはある程度時間をかけられる状況にして取り組まないとだめだなーと反省。なんかそのあとしばらく低調な感じだった。
ともあれ、言語処理学会の発表はちゃんとできたし、その前に書いていた論文誌も発行された。そのあと、共著ではあるけど他の論文もでて、学生以来の論文に多く関わった年だった。
4~6月
社内で論文輪読会が始まったこともあって、このころから論文を読む機会が前より少し増えた。あと機械学習とかをちゃんと勉強したいと思って、大阪PRML読書会に参加したりもした。結局2回しか行けてないけど、PRMLまだ4章までしか読めてないし、来年機会があればまた参加したい。
7~9月
データ分析とかビジネスにおけるデータ活用みたいないわゆるデータサイエンティストに興味がでてきたので、そのあたりの本を読んだり、東京ウェブマイニングに参加したりしてた。あとは新しい言語juliaを少しかじったけど、結局ちゃんと使えるように書くまでは使ってない。他にはScala Matsuri 2014、テキストマイニングシンポジウム、PyCon JP 2014といったカンファレンスにも参加した。テキストマイニングシンポジウムはともかく、Scala Matsuri、PyCon JPみたいなエンジニア系のカンファレンスに参加するのは初めてだった。
10~12月
普段の業務や開発合宿など、これまでより論文を活用する機会が増えたことで、論文を探す、読む機会も増えた。そのせいか研究室にいるような生活になってた気がする。
全体
1年を通してみると、良くも悪くもない1年だったかなーという感じだけど、色々なことを考えた1年ではあった。まあ、ある程度明確にしておきたかったことは明確にできたのでよかったかな。とはいえ、年末にインフルエンザにかかるという最悪の終わり方の1年だった。