こんにちは。レトリバのリサーチャーの木村@big_wingです。 レトリバでは、研究動向・業界動向の把握のため、リサーチャーは積極的に国内学会に参加しています。 今回は第23回情報論的学習理論ワークショップ (IBIS2020)に参加しました。
概要
情報理論的学習理論ワークショップ (IBIS)は機械学習分野の国内最大規模の学会であり、毎年秋頃開催されています。 IBISは機械学習に関わる全般的なトピックを扱っており、学会の名前にあるような学習理論から実世界における応用的なものまでその発表内容は多岐にわたります。 また様々な分野の方が参加されるため人材交流にも力を入れており、特にプログラム委員長の「IBISの主役は学生さんです。」という言葉が印象に残っています。
今年はつくば国際会議場で開催予定でしたが、COVID-19の影響で完全オンライン形式での開催となりました。 すべての一般発表と一部の講演は事前に発表者が録画したものが期間中公開されており、セッション中は録画動画を流し、Slack上で質疑応答を行うという形式でした。 私はこのような形式のオンライン学会は初めてでしたが、聴講者の立場から多くの利点を感じました。 私が感じた最大の利点は録画動画による発表のため、発表中においても質疑応答が可能であるという点です。発表中に質問が投稿され、それに対し発表者が直ちに回答できることから多くの質疑応答が行われ、むしろオフライン形式よりも多くの情報が得られたと感じるほどでした。プログラム委員の方々は学会中を通して気軽に質問できるような雰囲気生成に尽力されており、学会中のSlack上では非常に活発な議論が行われていました。
以下に気になった講演、発表を紹介します。
無限次元勾配ランジュバン動力学による深層学習の最適化と汎化誤差解析
深層学習の理論解析についての講演でした。 従来の深層学習の解析手法である平均場理論やニューラルタンジェントカーネル (NTK) の枠組みにおいては、ニューラルネットワークの横幅を訓練データの数とともに無限大に漸近させる必要がありますが、現実のニューラルネットワークの横幅は有限です。そのため横幅が有限である場合にも解析が可能な枠組みとして無限次元ランジュバン動力学を導入するといったものでした。 私は深層学習の解析については全くの専門外ですが、そのような人が聞いていてもわかった気持ちにさせてくれるような講演でした。また概要に記載したように、発表中に基礎的な質問からプロによる専門的な質問まで多くの質疑応答があり、それらを通して得られる情報も多かったです。
kaggle・実践データ解析入門
機械学習コンペであるkaggleについてのチュートリアル講演でした。kaggleについてのチュートリアルがIBISで開催されるのは初めてだったようです。 現在第一線で活躍されているKaggle Grandmasterである大越さんによる、各種データ (表形式、自然言語、画像)ごとに最初に試すベンチマーク手法や特徴の作り方、さらには評価指標に対するテクニックなど、普段なかなか知ることができないノウハウとテクニックを知ることができ、とても有益でした。 またコンペ中にトップカンファレンスの最新論文をチェックしてその手法を実装して実験するサイクルの速さにはとても驚きました。
マルチモーダルデータを用いた革新的情報協働栽培への期待
機械学習技術の農業分野への応用に関する講演でした。 具体的には匠の農家のKKD (経験、勘、度胸)によって行われているトマト栽培を、各種センサーデータ (湿度、日射量など)とカメラによる画像データのマルチモーダルデータを用いたEnd-to-endなニューラルネットワークで自動灌水制御可能なクラウド型・エッジ型システムを構築するというものでした。このシステムによって作られたトマトは匠によるトマトと同等以上の糖度のあるおいしいものができたとのことでした。 ドメイン知識のある匠の皆さんと協力して進めていく過程で、匠の中で共通する考えもあるが異なる考えも多いというお話で、この辺りはPoCを進めていく際にも同様の状況に遭遇することがよくあるなぁと思いました。
Do We Need Zero Training Loss After Achieving Zero Training Error?
深層学習の過学習を防ぐための正則化についての発表でした。学習を始めると最初は訓練ロスとテストロスが共に減少していきますが、しだいに訓練ロスは依然として減少する一方でテストロスは増加してしまうとう状況が起こります。この発表では後者の状態を防ぐために「洪水法」という正則化手法を導入しています。 手法としてはとてもシンプルで、訓練ロスが一定以上下がらない「洪水レベル」をハイパーパラメータとして導入して目的関数を修正します。これは実験のコードに一行追加するだけで実現することができます。また洪水法を用いた場合、用いない場合よりもMSE が小さくなるという理論解析が行われていました。 シンプルかつ他の正則化手法との組み合わせて使用できるのがよいと思いました。
終わりに
今年のIBISは完全オンライン形式での開催でしたが、得られるものが多くとても楽しかったです。 レトリバ研究グループでは自社製品の研究開発を行うだけではなく、学会イベントなどのスポンサー・大学との共同研究の遂行・研究成果の対外発表など、学術コミュニティへの貢献を積極的に行っています。∪・ω・∪
