CTO武井です。
今回は2018/10/02にセミナーでお話した、文字列検索の話をブログにしようと思います。
セミナーでは時間の都合もあって、スライドにコードを載せてもなぁ、という感じで詳細は省いたのですが、 ブログではコードが載せられますので、コードを載せつつ説明していこうと思います。
ブログの文量が毎回とんでもないことになってしまうので (参考: 前回(33654文字) 前々回(27624文字))、 今回は3～4回ぐらいに分けて、月1ぐらいのペースで書いていこうかなと思っています。
初回の今回は、インデックスを作らない検索、つまり、ナイーブな検索と、クエリを前処理する検索(KMP法とBM法)について説明します。
次回以降は、インデックスを作る検索やより複雑な検索の話、セミナーでは話せなかったAho-Corasickの話などをできればと思っています。 3/25にパッケージ版をリリースしました、 高速塩基配列検索ソフトウェアGGGenomeでも使われているFM-Indexの話もする予定です！
こんにちは。2020年度に新卒でレトリバにエンジニアとして入社した野本です。
私は今、7 月にリリース予定の YOSHINA という製品の開発に、主に細々とした要素を実装していく担当の枝葉チームとして携わっています。 今回は入社から今日までの約１ヶ月間に私がレトリバでどんなことをしてきたのかをご紹介させていただきます。
続きを読む
こんにちは。レトリバのChief Research Officerの西鳥羽です。
レトリバでは、研究動向・業界動向の把握のため、研究グループの人間は積極的に国内学会に参加しており、今回は、自然言語処理国内最大級のカンファレンスである言語処理年次大会に参加しました。 レトリバとしてもここ数年スポンサーとして支援させていただいており、今年もゴールドスポンサーとして支援させていただいております。
言語処理年次大会は自然言語処理に関する様々なトピックにおける発表があります。固有表現抽出や係り受け解析などの基礎的な研究から文書分類・機械要約・機械翻訳などの応用に近い研究、或いは企業の製品やサービスの裏で用いている技術の説明のような応用面での発表とデータセットの作成及び公開に関する発表などもあり、日本における自然言語処理分野の発展には無くてはならない存在です。
今年は茨城大学での開催予定でしたが、言語処理年次大会初のオンライン開催となりました。各口頭・ポスター発表に対してZoom のMeeting IDが発行され、ポスターやスライドを画面に映しながら発表者が個別に話す形式でした。急遽オンライン開催に変更し、あれだけの数の発表だったにも関わらず聴講者としてはほとんどトラブルを感じることはありませんでした。これもひとえに関係者の皆様の御尽力の賜物です。 私は現地開催でのフル参加は難しかったのですが、オンライン開催になったことにより、ピンポイントで発表を聞くことができました。この時期は年度末ということもあり多忙な方も多いかと思うので、今後もこのようなオンラインによる配信があると多くの方にとって非常に嬉しいかと思います。オンライン開催の会議の参加は初めてでしたがポスター発表において周りの議論や説明の声が入らないため、とても聞きやすかったです。そして質問する方としても大声を張り上げる必要がないので負担が非常に少なくて良かったです。
以下に面白かった発表のうち3件紹介します。
この発表では単語の上位下位概念を双極空間での埋め込みに反映させていました。どうしても上位下位関係については教師データが不足しがちですが、大規模コーパスから作成する Poincaré Gloveで作成した埋め込みベクトルをベースにWordNetによる階層構造を埋め込んだPoincaré embeddingによって改善したというものです。これら2つの埋め込みベクトルを合わせる方法としてはレトロフィッティングを用いていました。
個人的には自然言語処理タスクをやっていると、単語の上位下位関係を用いたくなるときが多々ありますので興味ありました。
文書における単語誤りというと色々ありますが、その中でOCRに特有のものも幾つかあります。一つは部首を取り違えるというものです。例えば「注文書」が「往文書」となるものです。もう一つは漢字が分解されてしまうというものです。例えば「会計」が「会言十」となるものです。どちらも漢字をより細かい単位の偏や旁り(これらを総称して偏旁冠脚といいます)に分解すると同じパーツが出てきていることに着目し、パーツも含めて辞書から探索しています。偏旁冠脚の情報を持つために、漢字及び偏旁冠脚を子ノードで持つ木構造によって単語を表します。単語と単語の類似度を木編集距離で計算して辞書内でもっとも似ているものに訂正するアプローチを取っています。
個人的には偏旁冠脚による木構造で表すことと木編集距離を用いたアイデアが面白かったです。
Universal Dependencies(UD)に沿ってアノテーションされたデータである Japanese GSDの再整備を行ったというものです。ライセンスの修正、データの復元作業、文節係り受け情報の付与、分節係り受けからUDへの変換を行ったとのことでした。日本語のアノテーションデータは貴重なので、こういったデータの整備には頭の下がる思いです。近いうちに公開及びspaCyとの連携も含めて出されるとのことで楽しみです。
レトリバ研究グループでは自社製品の研究開発を行うだけではなく、学会イベントなどのスポンサー・大学との共同研究の遂行・研究成果の対外発表など、学術コミュニティへの貢献を積極的に行っています。∪・ω・∪
こんにちは。レトリバの飯田です。カスタマーサクセス部 研究チームに所属しており、論文調査やそのアルゴリズムを実行するスクリプトの実装などを行なっています。 今回は、Bag of Words(BoW)表現に於いて、これがTopicModelの最終形態ではないか？と私が思っているStructured Topic Modelの紹介と再現実装をpythonで行なったので、その紹介をします。
https://github.com/retrieva/python_stm
続きを読む
レトリバ製品企画部の田村(@masatam81)です。
1/15にレトリバセミナーにて「Functional CNN in Elixir」というタイトルでお話しました。
セミナーの内容としては、趣味や20％ルールで書いていたElixirでのDeep LearningフレームワークでConvolution2D/MaxPooling2Dまで使えるようになったので、関数型言語ならではの苦労や工夫・学びの共有といった感じでした。本記事は、そのフォローアップ記事です。当日はDeep LearningやElixirに詳しくない人もいたため、それらの簡単な説明も含めて、なるべく伝わるように話しました。
本記事ではDNNやCNN、Elixirの簡単な説明やConvolution2D、MaxPooling2D以外のレイヤーの話は省きます。その辺りの話は下記のYouTubeや関連書籍を見て下さい。動画ではNIFやMatrexに関しても少しだけ話しています。
スライドはこちらになります。
www.slideshare.net
また、本記事ではConvolution2D, MaxPooling2DのElixirでの実装で工夫した点にフォーカスして書きたいと思います。
セミナーでは最初に defstruct で構造体を作り、 defprotocol を利用して各レイヤーをLayerモジュールの継承関係のように扱う例を説明してから、それを関数型らしく修正した話をしましたが、今回の引用コードは修正後のコードを示します。
実装のベースになっている知識はオライリー・ジャパンの「ゼロから作るDeep Learning」です。元の処理に関する詳細な説明は、そちらをご覧下さい。