レトリバのリサーチャーが、先日オンラインで開催された音響学会の研究発表会の参加報告と一部の発表の紹介をします。
東北大BERTに対して固有表現抽出タスクでFine-Tuningを行いTransformersのPipelinesで日本語固有表現抽出を行う方法をご紹介します。
今回の記事では、先日開催された自然言語処理のトップカンファレンスである、ACL-IJCNLP2021でBest Paperとなった、VOLTを日本語文書分類で試してみた話をします。
こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回は今年のICML2021で発表されたSparseBERT: Rethinking the Importance Analysis in Self-attentionを紹介します。
deepspeedの紹介です。 これであなたも大きなモデルを学習できる!!
クエリも文書もベクトル表現にして計算してしまえ！ということで近年研究が盛んに行われており、BERT[^1]が提案されて以降、教師データがあれば、うまく行くことがわかってきています。さらに、近年、最近傍アルゴリズムが進歩し、内積計算が高速化したこと…
End-to-End音声認識で用いられるCTC誤差関数について解説する記事の前編です。
今回の記事では、事前学習モデルであるBARTを使って日本語文書要約を行った話を紹介します。
こんにちは、YOSHINA分析チームエンジニア兼スクラムマスターの野本です。分析AI「YOSHINA」の開発・運用を担当しているこのチームでは、生産性を維持・向上するために日々さまざまな取り組みを行っています。その取り組みの一つに「ベロシティーの導入」が…
昨年のNeurIPSで発表されたBig Birdという手法の紹介です。
今回の記事では、国立国語研究所との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。日本語話し言葉BERTを使ってみたい方はぜひご覧ください。
ESPnetを用いて音声認識の学習と評価を試します。評価結果の見方についても解説します。
微分可能重み付き有限状態トランスデューサー(Differentiable Weighted Finite-State Transducers)の紹介をします。
検索の評価指標 こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 前回は、検索結果にグレードをつけられる場合の検索エンジンの評価についてご紹…
今回の記事では、昨年12月にオンラインで開催されたAACL-IJCNLP2020の参加報告をしています。
ESPnet Model Zoo を利用して、学習済みを用いて音声認識をやってみる記事です。
こんにちは。レトリバのリサーチャーの木村@big_wingです。 レトリバでは、研究動向・業界動向の把握のため、リサーチャーは積極的に国内学会に参加しています。 今回は第23回情報論的学習理論ワークショップ (IBIS2020)に参加しました。 概要 情報理論的学…
BERTの言語モデルの学習は、どの程度上手くいっているのかを数行のPythonコードで確かめる方法をご紹介します。
今回は、前回の続きとして、複数の適合度に対応したランク付き検索評価指標を紹介します。
今回の記事では、先日参加したYANS2020での参加、発表報告をしています。
ESPnet上のCTC Segmentationについて紹介します。
こんにちは。レトリバのリサーチャーの木村@big_wingです。 前回の2回目の記事ではビットベクトルに対するrank演算を実現する簡潔データ構造を紹介しましたが、今回はselect演算を実現する簡潔データ構造を紹介します。 1回目の記事はこちらです。 2回目の記…
レトリバのリサーチャーが、先日オンラインで開催された音響学会の研究発表会の参加報告と一部の発表の紹介をします。
今回の記事では、前回作成した日本語要約データに対してBERTを用いた要約手法を試しました。
皆さんは、検索エンジンの評価をどのように行なっていますか？検索エンジンの評価は、実はユーザが求めていることによって変わってきます。今回は、ユーザが求めていること=ユーザモデルと検索評価指標の関係について、書いていきます。なお、以下の内容は[…
音声認識チームのソフトウェアエンジニアの西岡 @ysk24ok です。 弊社では音声認識エンジンを開発しており、これまでChainerを使って音声認識モデルの訓練・精度評価をおこなってきましたが、Chainer v7を最後に開発がストップすることが発表されたため、今…
OpenFSTというライブラリにおけるN-shortest path 探索アルゴリズムを紹介します
こんにちは。レトリバのリサーチャーの木村@big_wingです。COVID-19の影響でテレワークが推進されていますが、現在私も奈良県の生駒市からフルリモートで業務を行っています。 今回は簡潔データ構造について2回目の記事で、あらゆる簡潔データ構造の基本とな…
研究チームの成果を迅速にPoC環境で試すための基盤作りを行っています。今回は、実験管理ツールMLFlowと他のツールの組み合わせについてご紹介します。
今回の記事では、先日オンラインで開催されたACL2020の参加報告をしています。
