CTC 誤差関数を完全に理解したい（前編）

音声認識

こんにちは、リサーチャーの古谷（@kk_fry_）です。 私は普段、音声認識の研究開発をしています。 今回は、End-to-End 音声認識で用いられる Connectionist Temporal Classification (CTC) 誤差関数の計算式と微分について数式を追ってみたので、細かく書いてみようと思います。

記事が長くなったので、前後編に分けています。前編の今回は CTC 誤差関数の定義と計算方法を解説し、その偏導関数を導出します。 後編では、勾配の計算について解説し、解釈を考えてみる予定です。

続きを読む

事前学習モデルBARTを使って日本語文書要約をやってみた

自然言語処理 機械学習・深層学習

こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。

今回の記事では、事前学習モデルであるBARTを使って日本語文書要約を行った話を紹介します。

続きを読む

ベロシティー導入までの道のりと効果

開発手法

こんにちは、YOSHINA分析チームエンジニア兼スクラムマスターの野本です。分析AI「YOSHINA」の開発・運用を担当しているこのチームでは、生産性を維持・向上するために日々さまざまな取り組みを行っています。その取り組みの一つに「ベロシティーの導入」があり、最近良い効果が実感できてきたのでご紹介いたします。

続きを読む

日本語話し言葉BERTを作成、公開します！

機械学習・深層学習 自然言語処理

こんにちは。 カスタマーサクセス部リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。

今回の記事では、国立国語研究所様との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。

続きを読む

ESPnet による音声認識入門 ～AN4データセットによる学習・評価～

音声認識

こんにちは、製品企画部リサーチャーの古谷（@kk_fry_）です。 レトリバでは、主に音声認識の研究開発を行っています。

前回に引き続き、音声認識が実行できるオープンソースのツールキット ESPnet を触ってみる記事を書いていこうと思います。

前回は ESPnet Model Zoo を用いて、学習済みモデルを用いての推論を行いましたが、今回は ESPnet 本体を用いて音声認識の学習と評価をしてみたいと思います。

前回の最後に「学習済みモデルを用いた推論」と書きましたが、せっかくなので学習もやってみます。

続きを読む

検索の評価指標 その３

機械学習・深層学習

検索の評価指標

こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。

前回は、検索結果にグレードをつけられる場合の検索エンジンの評価についてご紹介しました。今回は、未評価データがある場合等の修正方法についてご紹介します。なお、以下の内容は酒井先生の書籍やこちらの論文に記載されておりますので、詳細が気になる方は、こちらも読んでみてください。

続きを読む

AACL-IJCNLP2020で発表してきました

自然言語処理 機械学習・深層学習

こんにちは。 カスタマーサクセス部リサーチャーの勝又です。

レトリバでは、研究動向・業界動向の把握のため、積極的に学会参加をしています。 先日開催された AACL-IJCNLP2020 にも参加、私が学生時代に行った研究について発表しました。 今回の記事ではAACL-IJCNLP2020での参加、発表報告をします。

続きを読む

ESPnet による音声認識入門 ～ESPnet Model Zoo 編～

音声認識

こんにちは、製品企画部リサーチャーの古谷（@kk_fry_）です。 レトリバでは、主に音声認識の研究開発を行っています。

今回から、音声認識が実行できるオープンソースのツールキット ESPnet を触ってみる記事を書いていこうと思います。 私も初めて触ります。

初回は手始めに、学習済みモデルを用いた音声認識が手軽にできる ESPnet Model Zoo を試してみたいと思います。

OS は Ubuntu 18.04 、cuda バージョンは 11.0 で実行しています。

続きを読む