OpenPromptを用いてpromptを試してみよう

few shot learningの手法として最近研究が活発になってきているPromptingと呼ばれる手法とその手法を手軽に扱えるフレームワークのOpenPromptについて紹介します。

音声認識の雰囲気を掴もう

レトリバのリサーチャーが非技術者向けに音声認識について解説します。

深層学習の量子化に入門してみた 〜BERTをIntel Neural CompressorでStatic Quantization〜

リサーチャーの勝又です。 前回のONNX Runtimeを用いたStatic Quantizationに引き続き、今回はIntel Neural Compressorを用いたStatic Quantizationを試してみました。

深層学習の量子化に入門してみた 〜BERTをStatic Quantization〜

リサーチャーの勝又です。 前々回の深層学習の量子化について簡単な解説記事、前回のDynamic Quantizationを試した記事に引き続き、今回はStatic Quantizationを試してみました。

簡潔データ構造第3回: 順序木に対する簡潔データ構造 (導入編)

こんにちは。レトリバのリサーチャーの木村@big_wingです。 4月から静岡県の浜松市に引っ越しをして、引き続きフルリモートで働いています。 ずいぶん久しぶりになってしまいましたが、今回は簡潔データ構造シリーズの続きで順序木に対する簡潔データ構造に…

Transformerモデルの高速化

ONNX Runtimeのニューラルネットワークの推論をTensorRTやOpenVINOなどのライブラリを通じて高速化できるか実験しています。

社Dへの道 ~折り返し地点~

こんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 2020年4月から、東京工業大学(東工大)の岡崎研究室に社会人博士課程で所属しており、論文が一本出せた段…

音響学会2022年春季研究発表会に参加しました

音響学会2022年春季研究発表会で気になった音声認識分野の発表を紹介します

深層学習の量子化に入門してみた 〜BERTをDynamic Quantization〜

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 前回、深層学習の量子化について簡単な解説記事を公開しました。 今回は、深層学習の量…

Huggingface transformersモデルのONNX runtimeによる推論の高速化

Huggingface transformersモデルのONNXによる高速化の紹介です。

深層学習の量子化に入門してみた 〜理論編〜

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 最近、深層学習の量子化について勉強する機会があったので、この記事では量子化の理論的…

BERTでの語彙追加~add_tokenに気をつけろ!~

こんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 みなさんは、BERTなどの学習済み言語モデルに対して語彙を追加したくなることはありませんか? 諸々の論…

CTC 誤差関数を完全に理解したい(後編)

End-to-End音声認識で用いられるCTC誤差関数について解説する記事の後編です。

事前学習モデルT5とTransformersを使ってお手軽日本語文書要約をやってみた

カスタマーサクセス部リサーチャーの勝又です。今回の記事では、事前学習モデルであるT5とTransformersを使って日本語文書要約を行った話を紹介します。

IBIS2021に参加しました

こんにちは。レトリバのリサーチャーの木村@big_wingです。 レトリバでは、研究動向・業界動向の把握のため、リサーチャーは積極的に国内学会に参加しています。 今回は第24回情報論的学習理論ワークショップ (IBIS2021)に参加しました。

再訪: 極大部分文字列

こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回は業務で久しぶりに触れる機会があったこともあり、極大部分文字列について紹介したいと思います。 極大部分文字列については、有志の方のブログやスライドが公開されています。私も今回久しぶ…

BERTを用いた教師なし文表現

こんにちは。レトリバの飯田[(@meshidenn)](https://twitter.com/meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。今回は、教師なしの文表現作成手法[SimCSE](https://arxiv.org/abs/21…

ラベルなしデータだけでも高い精度で文法誤り訂正ができるLM-Criticの紹介

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、LM-Critic: Language Models for Unsupervised Grammatical Error Corr…

音響学会2021年秋季研究発表会に参加しました

レトリバのリサーチャーが、先日オンラインで開催された音響学会の研究発表会の参加報告と一部の発表の紹介をします。

TransformersのPipelinesで日本語固有表現抽出

東北大BERTに対して固有表現抽出タスクでFine-Tuningを行いTransformersのPipelinesで日本語固有表現抽出を行う方法をご紹介します。

ACL2021のBest PaperのVOLTを日本語文書分類で試してみた結果...!

今回の記事では、先日開催された自然言語処理のトップカンファレンスである、ACL-IJCNLP2021でBest Paperとなった、VOLTを日本語文書分類で試してみた話をします。

SparseBERTの紹介

こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回は今年のICML2021で発表されたSparseBERT: Rethinking the Importance Analysis in Self-attentionを紹介します。

DeepSpeedの紹介

deepspeedの紹介です。 これであなたも大きなモデルを学習できる!!

文脈化された転置インデックス

クエリも文書もベクトル表現にして計算してしまえ!ということで近年研究が盛んに行われており、BERT[^1]が提案されて以降、教師データがあれば、うまく行くことがわかってきています。さらに、近年、最近傍アルゴリズムが進歩し、内積計算が高速化したこと…

CTC 誤差関数を完全に理解したい(前編)

End-to-End音声認識で用いられるCTC誤差関数について解説する記事の前編です。

事前学習モデルBARTを使って日本語文書要約をやってみた

今回の記事では、事前学習モデルであるBARTを使って日本語文書要約を行った話を紹介します。

ベロシティー導入までの道のりと効果

こんにちは、YOSHINA分析チームエンジニア兼スクラムマスターの野本です。分析AI「YOSHINA」の開発・運用を担当しているこのチームでは、生産性を維持・向上するために日々さまざまな取り組みを行っています。その取り組みの一つに「ベロシティーの導入」が…

Big Birdの紹介

昨年のNeurIPSで発表されたBig Birdという手法の紹介です。

日本語話し言葉BERTを作成、公開します!

今回の記事では、国立国語研究所との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。日本語話し言葉BERTを使ってみたい方はぜひご覧ください。

ESPnet による音声認識入門 ~AN4データセットによる学習・評価~

ESPnetを用いて音声認識の学習と評価を試します。評価結果の見方についても解説します。