11/5(木)-11/7(土)に東京大学生産技術研究所(駒場)で開催された第13回情報論的学習理論ワークショップ(電子情報通信学会 情報論的学習理論と機械学習研究会と統計数理研究所の共催)に参加した。学園祭の準備などもあり、最初の2日間だけの参加となった。それでは蚊帳の外になると思い、私なりに議論に積極的に参加するよう心がけた。 今回は、統数研の福水先生、産業技術総合研究所の赤穂先生のご尽力で、会場の準備や懇親会など、すべてが完璧といえるくらい整っていた。
Opper先生による招待講演
プログラム的にいえば、プログラム委員長の持橋氏からのリーダーシップによるものであったと聞いているが、企画セッションは、理論的な内容のものが大部分を占めていた。機械学習でも、応用的な研究会はいくらでもある。基礎ができていないと、思いつきで研究の方針を立てたり、流行の変化に追従できないなどの弊害は否めない。
データ生成過程の学習: 因果推論・特徴選択へのアプローチ: テーマ的に清水先生(阪大)の独自のものであって、関連する研究を数件集めてセッションとしてオーガナイズするというのは、大変だったかもしれない。ただ、人選のよさ、講演者の力量で、充実したものとなった。
- 清水先生の非ガウス性に関するご講演: 素人にわかるように非常にシンプルな構成となっていたので、参加者の多くが了解したものと思われる。応用に関して質問があったが、Bayesianネットワークの構造学習など、無数にあるように思われる。ただ、今後の一般化に関しての見通しがあってもよかった。非ガウス性が必要十分条件なのか、線形方程式で表現されないDAG(離散のBayesianネットワークなど)に関してはどうなのかなどである。
- 河原先生の劣モジュラ性に関するご講演: 連続に緩和する場合の理論をわかりやすく説明されていた。ただ、このような一般論と個別の応用とは別である。劣モジュラ性の適用は、相撲の決まり手のようなもので、あざやかに決まる(計算量が大きく低減できる)場合、論文もハッピーにまとまる。しかし、いつも適用できるものではない。特徴量の集合を見出すという今回の問題であれば、具体的にどのような定式化で、どのようなアルゴリズムなのか。今後の柳の下のどじょうは、どういうところに潜んでいるかなどについて、もう少し踏み込んでもよかった。
- 鈴木大慈先生のマルチカーネルに関するご講演: Lassoを無限次元に拡張したマルチカーネルで、L1正則化ではなく、L1とL2,の中間的な正則化が実験的によいということを受けて、elasticnet型の正則化やLpノルムなどについての誤差収束レートの上界を評価している。サンプル数nに対して、カーネルの個数Mを増やしていく速度にもよるが、そのレートの主要項が別のものになるという。証明など、書いたものがあれば、綿密に追ってみたい。
IBIS2010のポスター会場
- 葛岡先生の多端子情報理論に関するご講演: 多端子の(成果を出しているレベルの)研究者が少ないことを十分認識されていたようで、達成可能領域の定義、前提条件、Slepian-Wolfの論文の意義、E(R)関数やR(D)関数との関係、研究分野の特色など、内容がごく最低限のことがらにしぼられていたので、理解が容易であったと思われる。
- 和田山先生の圧縮センシングに関するご講演: まず、正しく復号される確率の下界を説明されていた。短い時間ではあったが、式の導出などの細かいところまでよくわかるような配慮がなされていた。多端子などの周辺分野との対応など、若干マユツバと言えなくもないが、聞いていた誰もがこの分野を始めてみたいと思わせる、刺激を与えるような内容であった。
- 松嶋先生の補助情報を用いた情報源符号化のご講演: 補助情報がある場合(X|Yの場合)、無い場合(Xの場合)と比較して問題がどのように(証明が)難しくなるのか、最適性を満足する事前確率がオリジナルのClarke-Barronからどのように異なってくるのかなどの説明があってもよかった。X|Yではなく、Markovの場合、最適な事前確率がiidとは同じにはならない(九大 竹内先生)。また、この分野の最近の研究動向なども、教えていただきたかった。
- 松本先生の情報理論的セキュリティに関するご講演: RSA暗号などの計算量的な困難さをもつ暗号と比べて、安全性が保証できる(京大 田中先生の突っ込みに、「ガードマンがいれば」という追加の仮定がついたが)ということはわかってもらえたのではないか。安全性が増幅するという仕組みや最近の林先生(東北大)の成果など、興味深い内容であった。
原先生によるマルコフ基底に関するご講演
- 藤澤先生のロバスト性に関するご講演: ロバストな推定方法の開発は、理論として優れていても、異常値などへの対応として、使えないと意味がないという視点で、どうしても実用的な研究にかたよりがちであるという。ダイバージェンスという計量を構成し、性能を数学的に証明されていた。
- 西山先生の中心極限定理に関するご講演: IBISのコミュニティで中心極限定理の証明を(有限次元でiidであっても)すべて追った人は少ないと思われる(最初から最後まで書いてる統計のテキストは少ない)。 特性関数の収束以外にtightnessの条件がなぜ必要か(初心者がわかる説明)、中心極限定理の証明の一般論(エッセンスのみ)、ご自身の成果とIBISのコミュニティとの関係(Vapnikのbracket entropyなど)などについて、ニーズが高かったのではないだろうか。ただ、この分野の一人者としてこのような方がいらっしゃるということを知って、私自身は大変刺激を受け、ためになった。
懇親会
ポスターの発表も充実していた。また、件数も増えていた。懇親会(11/6(金)の19:00から)は、非常に充実していた。私も話に没頭していて、20:30に懇親会を出た後、東大生研から代々木上原駅までの道に迷い、21:20発の東京駅発の最終の新大阪行きの新幹線に間に合うことができなかった。
次年度(IBIS 2011)は、鷲尾先生(阪大)が中心となって、関西地区で開催されるということであった。
今回は、話題として何も提供していないにもかかわらず、参加された方から数多くのことを学ばせていただいた。また、世話をしていただいた実行委員、プログラム委員の皆さんに感謝したい。