こんにちは。レトリバのリサーチャーの木村@big_wingです。 レトリバでは、研究動向・業界動向の把握のため、リサーチャーは積極的に国内学会に参加しています。 今回は第24回情報論的学習理論ワークショップ (IBIS2021)に参加しました。
概要
情報理論的学習理論ワークショップ (IBIS)は機械学習分野の国内最大規模の学会であり、毎年秋頃開催されています。 IBISは機械学習に関わる全般的なトピックを扱っており、学会の名前にあるような学習理論から実世界における応用的なものまでその発表内容は多岐にわたります。
今年は北九州国際会議場で開催予定でしたが、COVID-19の影響で昨年に引き続き完全オンライン形式での開催となりました。 昨年と同様に、一般発表は事前に発表者が録画したものが期間中公開されており、Slack上で質疑応答を行う形式でした。発表ごとに別のセッションへの移動が容易であったり、どうしても参加できない時間帯の発表や質疑応答も後日確認することができたりとオンライン形式の利点を感じました。また今年は参加者間の交流の場としてGather.Townが公開されており、私も最近お会いできていない人たちと久しぶりに話すことができました。
また今回のIBISでは招待講演、企画セッション、チュートリアルで共通するテーマが多かったです。これは様々なテーマを幅広く聞くということとトレードオフになっていると思いますが、個人的には専門外の分野は一度だけ聞いても理解するのが困難であり、IBISを通じて同じテーマを複数回聞くことでそれぞれのテーマについてなんとなく分かったような気持ちになれてよかったと思います。運営、講演者の皆様ありがとうございました。
以下に気になった講演、発表を紹介します。
講演
新型コロナウイルス感染症のデータサイエンス
世界中で猛威をふるっている新型コロナウイルスについての企画セッションでした。IBISということもあり、感染症の数理モデルとそれに基づいた流行予測に関するものが中心でした。 従来の数理モデルに加えて周期性や異なるコミュニティなどの現実の現象を、どのように数理モデルに取り入れるかといった工夫や苦心を感じました。現場で活動されている医療従事者の方々はもちろんですが、それ以外にも流行のモデル化、予測などに取り組んでいる方々の日々の努力によって今の生活が支えられているということを実感する企画セッションでした。
量子計算と機械学習
量子コンピュータの機械学習への応用に関する企画セッションでした。 私自身は普段量子コンピュータについてはニュースやプレスリリースなどで目にする機会があるくらいで全くの素人ですが、量子計算の数学的な枠組みを天下りに導入するところから始まり、以降は主に数学の言葉で講演が進んだためなんとかついていくことができました。量子機械学習の文脈においても従来のカーネル法の考え方を用いることができたり、深い変分量子回路において学習におけるパラメータの変化が小さくなるといったニューラルタンジェントカーネルと似たような現象が現れるといった内容は興味深かったです。
一般発表
Fenchel-Young Losses with Skewed Entropies
データ不均衡の状況下における一般化線形モデルを用いた2値分類問題に対し、パラメータの推定バイアスを小さくする研究でした。 最も一般的なロジスティクス回帰ではリンク関数が対称であるため、データが不均衡な状況では推定バイアスが大きくなります。そのため非対称なリンク関数が提案されていますが、これらの最尤推定は一般的に非凸最適化となってしまいます。この問題に対し、リンク関数を出発点としてFenchel-Young損失の枠組みを用いて凸な損失関数を導出していました。Legendre変換による双対構造を利用しており、聞いていてきれいな枠組みだなぁと感じました。多値分類への拡張は自明ではないとのことでした。
ベイズモデル選択による深層学習アルゴリズムの勾配ベースハイパーパラメータ最適化について
深層学習におけるハイパーパラメータの最適化を評価データなしで勾配ベースで行う研究でした。具体的にはベイズモデル選択を利用し周辺尤度が最大になるようにハイパーパラメータを最適化します。提案手法では (
はヘッセ行列)を多項式近似や確率的Lanczos求積法で直接推定するアプローチをとっていました。計算量としてはパラメータ数の線形オーダーで計算できます。実験では損失関数のハイパーパラメータを最適化していましたが、ニューラルネットワークの隠れ層数やユニット数などへの最適化にも拡張できるかもしれないとのことでした。
Top-k決定リストとその最適化
決定リストを一般化したTop-k決定リストを提案した研究でした。既存の決定リストでは予測の際に用いるルールが一つのため、解釈性は高い一方で予測性能は低くなります。このルールをTop-kに拡張し、解釈性と予測性能のトレードオフを利用者が決定できる枠組みを提案していました。目的関数として予測誤差にルール数の正則化項を加えたものを提案し、線形計画問題への変換を経由した最適化手法を導出していました。Top-kのルールの中での重み付けや最適化アルゴリズムの高速化などのさらなる拡張があるとのことです。
終わりに
COVID-19の影響で対面形式の学会が開催できなくなって久しいですが、オンライン・オフラインに関わらず学会に参加するとモチベーションの高まりを感じます！ レトリバ研究グループでは自社製品の研究開発を行うだけではなく、学会イベントなどのスポンサー・大学との共同研究の遂行・研究成果の対外発表など、学術コミュニティへの貢献を積極的に行っています。∪・ω・∪
