検索の評価指標

こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。

皆さんは、検索エンジンの評価をどのように行なっていますか?検索エンジンの評価は、実はユーザが求めていることによって変わってきます。今回は、ユーザが求めていること=ユーザモデルと検索評価指標の関係について、書いていきます。なお、以下の内容は酒井先生の書籍に記載されておりますので、詳細が気になる方は、こちらも読んでみてください。

続きを読む

音声認識エンジンの深層学習フレームワークをChainerからPyTorchに移行しました

音声認識チームのソフトウェアエンジニアの西岡 @ysk24ok です。

弊社では音声認識エンジンを開発しており、これまでChainerを使って音声認識モデルの訓練・精度評価をおこなってきましたが、Chainer v7を最後に開発がストップすることが発表されたため、今回ChainerからPyTorchへの移行をおこないました。

本記事では、移行にあたってぶつかった問題や工夫した点について紹介します。

  • 音声認識エンジンのシステム構成
  • PyTorch移行にあたってぶつかった問題
    • 問題1: LSTMが受け取る入力の仕様の違い
    • 問題2: PyTorchではモデルをhdf5形式で保存できない
    • 問題3: LSTMのパラメータの持ち方がChainerとPyTorchで異なる
  • まとめ
続きを読む

簡潔データ構造第2回: ビットベクトルに対する簡潔データ構造

こんにちは。レトリバのリサーチャーの木村@big_wingです。COVID-19の影響でテレワークが推進されていますが、現在私も奈良県生駒市からフルリモートで業務を行っています。 今回は簡潔データ構造について2回目の記事で、あらゆる簡潔データ構造の基本となるビットベクトルに対する簡潔データ構造を紹介します。 1回目の記事はこちらです。

簡潔データ構造をさらに詳しく知りたい方向けの紹介として、Navarro氏の本、日本語で書かれたものとしては定兼氏の本岡野原氏の本があります。

続きを読む

MLFlowと他ツールの組み合わせ

こんにちは。カスタマーサクセス部 リサーチャーの坂田です。
レトリバでは、固有表現抽出、分類、PoC用ツール作成に取り組んでいます。
PoC用ツール作成は、研究成果をより迅速にPoCで試せることを狙いとしています。 実験結果の可視化UIが充実しているMLFlow を中心に、足りないところを補うため、その他のツールとの組み合わせについて考えていきます。

続きを読む

wikiHowから日本語要約データを作成してみた

こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。

今回の記事ではKoupaee and Wang[^1]によって作成された英語要約データセットを参考に、日本語でも同様の要約データセットを作成した話をします。

続きを読む

2020年度 人工知能学会全国大会(第34回)に参加しました

こんにちは。カスタマーサクセス部研究チーム リサーチャーの坂田です。

レトリバでは、研究動向・業界動向の把握のため、積極的に学会参加をしています。6/9~12にオンラインで開催された 第34回人工知能学会全国大会にも、リサーチャー5名が聴講参加しました。

  • 人工知能学会参加
  • 個別の発表の紹介
    • Data-to-Textモデルにおけるトピック系列を用いた一貫性の制御
    • 未知語に対応可能な言語と動作の統合表現獲得モデル
    • マルチモーダル深層学習を用いた画像とテキストの意味理解に基づく整合性判定
  • 終わりに
続きを読む

社Dへの道 ~社会人博士課程に入学しました~

社Dへの道 ~社会人博士課程に入学しました~

こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。

この4月から、東京工業大学(東工大)の岡崎研究室に社会人博士課程で所属しており、動機・受験・会社の支援など書いていきたいと思います。

続きを読む

文字列アルゴリズムは世界を救う?Suffix Array と Longest Common Substrings

レトリバのCTOの武井です。

https://twitter.com/goth_wrist_cut

新型コロナウィルスが世界で猛威を振るっていますが、皆様安全に過ごせておりますでしょうか。 レトリバでは フルリモート化 や、 交流なども オンライン飲み会 にするなど、工夫して過ごしています。

さて、今回はそんな新型コロナウィルス、COVID-19の遺伝子配列をターゲットに、 Longest Common Substring(最長共通部分文字列)を求めたり、そのアルゴリズムの解説をしてみようと思います。

アルゴリズムの説明自体は William Fiset さんという方が動画で説明しており、 非常に分かりやすい図示がありますので、是非ご覧になって下さい。

https://www.youtube.com/watch?v=Ic80xQFWevc

https://www.youtube.com/watch?v=DTLjHSToxmo

このブログでは日本語での解説と、実際の実装まで踏み込んで紹介しています。

  • はじめに
  • Longest Common Substrings(最長共通部分文字列)とは
  • Suffix Array と LCS
    • LCSの制約条件
    • 共通部分文字列の長さ
    • Slide Window
  • 道具立て
    • CardinarityQueue(異なり数カウントキュー)
    • MinQueue(最小値キュー)
    • SlidingWindow
  • コードと解説
  • まとめ

続きを読む