SparseBERTの紹介

こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回は今年のICML2021で発表されたSparseBERT: Rethinking the Importance Analysis in Self-attentionを紹介します。

DeepSpeedの紹介

deepspeedの紹介です。 これであなたも大きなモデルを学習できる!!

文脈化された転置インデックス

クエリも文書もベクトル表現にして計算してしまえ!ということで近年研究が盛んに行われており、BERT[^1]が提案されて以降、教師データがあれば、うまく行くことがわかってきています。さらに、近年、最近傍アルゴリズムが進歩し、内積計算が高速化したこと…

CTC 誤差関数を完全に理解したい(前編)

End-to-End音声認識で用いられるCTC誤差関数について解説する記事の前編です。

事前学習モデルBARTを使って日本語文書要約をやってみた

今回の記事では、事前学習モデルであるBARTを使って日本語文書要約を行った話を紹介します。

ベロシティー導入までの道のりと効果

こんにちは、YOSHINA分析チームエンジニア兼スクラムマスターの野本です。分析AI「YOSHINA」の開発・運用を担当しているこのチームでは、生産性を維持・向上するために日々さまざまな取り組みを行っています。その取り組みの一つに「ベロシティーの導入」が…

Big Birdの紹介

昨年のNeurIPSで発表されたBig Birdという手法の紹介です。

日本語話し言葉BERTを作成、公開します!

今回の記事では、国立国語研究所との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。日本語話し言葉BERTを使ってみたい方はぜひご覧ください。

ESPnet による音声認識入門 ~AN4データセットによる学習・評価~

ESPnetを用いて音声認識の学習と評価を試します。評価結果の見方についても解説します。

微分可能重み付き有限状態トランスデューサーの紹介

微分可能重み付き有限状態トランスデューサー(Differentiable Weighted Finite-State Transducers)の紹介をします。

検索の評価指標 その3

検索の評価指標 こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 前回は、検索結果にグレードをつけられる場合の検索エンジンの評価についてご紹…

AACL-IJCNLP2020で発表してきました

今回の記事では、昨年12月にオンラインで開催されたAACL-IJCNLP2020の参加報告をしています。

ESPnet による音声認識入門 ~ESPnet Model Zoo 編~

ESPnet Model Zoo を利用して、学習済みを用いて音声認識をやってみる記事です。

IBIS2020に参加しました

こんにちは。レトリバのリサーチャーの木村@big_wingです。 レトリバでは、研究動向・業界動向の把握のため、リサーチャーは積極的に国内学会に参加しています。 今回は第23回情報論的学習理論ワークショップ (IBIS2020)に参加しました。 概要 情報理論的学…

とりあえず動かしてみる自然言語処理入門 ~ BERT MLM 編 ~

BERTの言語モデルの学習は、どの程度上手くいっているのかを数行のPythonコードで確かめる方法をご紹介します。

検索の評価指標その2

今回は、前回の続きとして、複数の適合度に対応したランク付き検索評価指標を紹介します。

NLP若手の会(YANS2020)で発表してきました

今回の記事では、先日参加したYANS2020での参加、発表報告をしています。

CTC Segmentationの紹介

ESPnet上のCTC Segmentationについて紹介します。

簡潔データ構造第2.5回: ビットベクトルに対する簡潔データ構造 (select編)

こんにちは。レトリバのリサーチャーの木村@big_wingです。 前回の2回目の記事ではビットベクトルに対するrank演算を実現する簡潔データ構造を紹介しましたが、今回はselect演算を実現する簡潔データ構造を紹介します。 1回目の記事はこちらです。 2回目の記…

音響学会2020年秋季研究発表会に参加しました

レトリバのリサーチャーが、先日オンラインで開催された音響学会の研究発表会の参加報告と一部の発表の紹介をします。

BERTを利用した日本語文書要約をやってみた

今回の記事では、前回作成した日本語要約データに対してBERTを用いた要約手法を試しました。

検索の評価指標

皆さんは、検索エンジンの評価をどのように行なっていますか?検索エンジンの評価は、実はユーザが求めていることによって変わってきます。今回は、ユーザが求めていること=ユーザモデルと検索評価指標の関係について、書いていきます。なお、以下の内容は[…

音声認識エンジンの深層学習フレームワークをChainerからPyTorchに移行しました

音声認識チームのソフトウェアエンジニアの西岡 @ysk24ok です。 弊社では音声認識エンジンを開発しており、これまでChainerを使って音声認識モデルの訓練・精度評価をおこなってきましたが、Chainer v7を最後に開発がストップすることが発表されたため、今…

OpenFST における N-shortest path アルゴリズムの紹介

OpenFSTというライブラリにおけるN-shortest path 探索アルゴリズムを紹介します

簡潔データ構造第2回: ビットベクトルに対する簡潔データ構造

こんにちは。レトリバのリサーチャーの木村@big_wingです。COVID-19の影響でテレワークが推進されていますが、現在私も奈良県の生駒市からフルリモートで業務を行っています。 今回は簡潔データ構造について2回目の記事で、あらゆる簡潔データ構造の基本とな…

MLFlowと他ツールの組み合わせ

研究チームの成果を迅速にPoC環境で試すための基盤作りを行っています。今回は、実験管理ツールMLFlowと他のツールの組み合わせについてご紹介します。

ACL2020に参加しました

今回の記事では、先日オンラインで開催されたACL2020の参加報告をしています。

wikiHowから日本語要約データを作成してみた

今回の記事では、とある英語要約データセットを参考に、日本語要約のデータセットを作成した話をしています。

2020年度 人工知能学会全国大会(第34回)に参加しました

こんにちは。カスタマーサクセス部研究チーム リサーチャーの坂田です。 レトリバでは、研究動向・業界動向の把握のため、積極的に学会参加をしています。6/9~12にオンラインで開催された 第34回人工知能学会全国大会にも、リサーチャー5名が聴講参加しまし…

社Dへの道 ~社会人博士課程に入学しました~

社Dへの道 -社会人博士課程に入学しました- こんにちは。レトリバの飯田です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 この4月から、東京工業大学(東工大)の岡崎研究室に社会人博士課程…