Graph Neural Network

こんにちは、西鳥羽 Jiro Nishitoba (@jnishi) | Twitter です。5/15の全体セミナーでGraph Neural Networkの話をしました。これはそのフォローアップ記事になります。

動画はこちらです。

www.youtube.com

スライドはこちらになります。

www.slideshare.net

大学生の頃に「複雑ネットワーク」がブームになってきた時代で少し調べたことがあり、修士時代は離散数学アルゴリズム系の研究室にいてグラフに関する研究をしていたことがあるので元々グラフには興味を持っていました。その後紆余曲折を経て機械学習特に長い系列のDeep Learningにふれるようになってグラフからは離れていました。最近Graph Convolution Networkの話がちらほら見受けられるようになったので「Deep Learningとグラフがつながるときでは」と少し気合を入れて調べて見たのが今回のセミナーの経緯となります。

Graph Neural Networkについては手法がいっぱい出てきたのはもちろんですが、なぜか去年辺りからサーベイ論文もいっぱい出てきました。 今回読んでいたのは以下の2つです。

[1901.00596] A Comprehensive Survey on Graph Neural Networks

[1812.08434] Graph Neural Networks: A Review of Methods and Applications

はじめのサーベイ論文のほうが取り上げられている手法が多いですのでとにかくいろんな手法が知りたい人にはおすすめです。ただ、2つ目の方は数多くある手法の一般化についても触れられいて、より俯瞰してみることができます。 そして更に何故かGraph Kernelに関してもサーベイ論文がこの1,2ヶ月で複数出てきました。今回のGraph Kernel部分については1つ目の方を参考にしています。後者の方はセミナー準備中にでてきて時間が取れず読めませんでしたが、よりしっかり説明していそうな雰囲気です。自分でセミナーしておいて言うのもなんですがGraphでの機械学習はブームなのでしょうか。

[1903.11835] A Survey on Graph Kernels

[1904.12218] Graph Kernels: A Survey

今回調べてて一番面白かったのはGraph Neural Networkの一般化とその性能解析が進んでいたことです。今回のセミナーで主に取り上げたのは以下の2つの論文です。

How Powerful are Graph Neural Networks? | OpenReview

[1810.02244] Weisfeiler and Leman Go Neural: Higher-order Graph Neural Networks

元々理論屋だったのもあってこういう「意外と強くないのではないか」というのをきっちり示しているというのは面白いと思っています。もちろん、だからGraph Neural Networkが全部ダメということはなくてスライドの最後に取り上げた

  • WL subtree kernelとGNN構築の計算量の比較
  • Non local Neural Networkの性能 -- Graph Attention Network -- Transformer内のself-attention
  • グラフの構造+αを組み合わせるマルチモーダルなことで性能が上がるか

のあたりでもしGraph Neural Networkの性能が良ければ実用として強いのではないかと思っています。まだまだホットな分野だと思います。