こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。
最近、深層学習の量子化について勉強する機会があったので、この記事では量子化の理論的な話をまとめてみようと思います。
続きを読むこんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。
みなさんは、BERTなどの学習済み言語モデルに対して語彙を追加したくなることはありませんか? 諸々の論文(こちらやこちらやこちら)により、特定ドメインやrare-wordの語彙を追加することによって、性能が上がることが知られています。
そこで、語彙を追加しようと思い、TransformersのTokenizerの仕様を見ると、add_tokens
という関数があります。これを使えば、tokenizerに語彙を追加できるので、あとはembedding側にも新しい語彙を受け取れるようにすれば万事解決です!
とは、うまくいかないので、今回はこの辺りについて、ちょっとした解説をします。
続きを読むこんにちは。レトリバのリサーチャーの木村@big_wingです。 レトリバでは、研究動向・業界動向の把握のため、リサーチャーは積極的に国内学会に参加しています。 今回は第24回情報論的学習理論ワークショップ (IBIS2021)に参加しました。
続きを読むこんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。今回は、教師なしの文表現作成手法SimCSEを紹介します。
続きを読むこんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。
今回の記事では、LM-Critic: Language Models for Unsupervised Grammatical Error Correction.を紹介します。 この論文では、提案手法を用いることで、ラベルなしデータだけで文法誤り訂正が高い精度で達成できることが報告されています。
続きを読むこんにちは。リサーチャーの古谷(@kk_fry_)です。
レトリバでは、研究動向・業界動向の把握のため、積極的に学会参加をしています。9/7~9にオンラインで開催された日本音響学会2021年秋季研究発表会にも参加しました。
今回の記事では、気になった発表をいくつかピックアップして紹介しようと思います。
各項目に講演番号を記載しているので、研究発表会のページで公開されている講演要旨を確認することができます。
続きを読むこんにちは。TSUNADE事業部研究チームリサーチャーの坂田です。
本記事では、Hugging Face 社が開発しているTransformersのPipelinesという仕組みを使って日本語の固有表現抽出を行う方法をご紹介します。
続きを読む