こんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。今回は、教師なしの文表現作成手法SimCSEを紹介します。
続きを読むラベルなしデータだけでも高い精度で文法誤り訂正ができるLM-Criticの紹介
こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。
今回の記事では、LM-Critic: Language Models for Unsupervised Grammatical Error Correction.を紹介します。 この論文では、提案手法を用いることで、ラベルなしデータだけで文法誤り訂正が高い精度で達成できることが報告されています。
続きを読む音響学会2021年秋季研究発表会に参加しました
こんにちは。リサーチャーの古谷（@kk_fry_）です。
レトリバでは、研究動向・業界動向の把握のため、積極的に学会参加をしています。9/7～9にオンラインで開催された日本音響学会2021年秋季研究発表会にも参加しました。
今回の記事では、気になった発表をいくつかピックアップして紹介しようと思います。
各項目に講演番号を記載しているので、研究発表会のページで公開されている講演要旨を確認することができます。
続きを読むTransformersのPipelinesで日本語固有表現抽出
こんにちは。TSUNADE事業部研究チームリサーチャーの坂田です。
本記事では、Hugging Face 社が開発しているTransformersのPipelinesという仕組みを使って日本語の固有表現抽出を行う方法をご紹介します。
続きを読むSparseBERTの紹介
こんにちは。レトリバのリサーチャーの木村@big_wingです。
今回は今年のICML2021で発表されたSparseBERT: Rethinking the Importance Analysis in Self-attentionを紹介します。
続きを読むDeepSpeedの紹介
Chief Research Officerの西鳥羽 (Jiro Nishitoba (@jnishi) | Twitter) です。
前回のブログでBigBirdを触ってみたを予告してましたが、BigBirdのような巨大なモデルを学習するために有用なライブラリがあったので、先にそちらを紹介したいと思います。
皆様は最近のモデルをみて、「お、いいな」と思うものの学習環境で16GPUとか64GPUなどの記述を見つけてしまい、遠い目をしながらそっ閉じした経験などありませんでしょうか。
今回紹介するDeepSpeed というライブラリは、物理メモリや外部SSDなどを活用してより大きなモデルを学習できるようにするものです。
実際GPUメモリ24GBのGeForce TitanRTX 2台でbaseサイズのBERTがほぼ同等の条件で学習できます。
文脈化された転置インデックス
こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。
続きを読む