自然言語処理

BERTを用いた教師なし文表現

こんにちは。レトリバの飯田[(@meshidenn)](https://twitter.com/meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。今回は、教師なしの文表現作成手法[SimCSE](https://arxiv.org/abs/21…

ラベルなしデータだけでも高い精度で文法誤り訂正ができるLM-Criticの紹介

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、LM-Critic: Language Models for Unsupervised Grammatical Error Corr…

ACL2021のBest PaperのVOLTを日本語文書分類で試してみた結果...!

今回の記事では、先日開催された自然言語処理のトップカンファレンスである、ACL-IJCNLP2021でBest Paperとなった、VOLTを日本語文書分類で試してみた話をします。

SparseBERTの紹介

こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回は今年のICML2021で発表されたSparseBERT: Rethinking the Importance Analysis in Self-attentionを紹介します。

文脈化された転置インデックス

クエリも文書もベクトル表現にして計算してしまえ!ということで近年研究が盛んに行われており、BERT[^1]が提案されて以降、教師データがあれば、うまく行くことがわかってきています。さらに、近年、最近傍アルゴリズムが進歩し、内積計算が高速化したこと…

事前学習モデルBARTを使って日本語文書要約をやってみた

今回の記事では、事前学習モデルであるBARTを使って日本語文書要約を行った話を紹介します。

日本語話し言葉BERTを作成、公開します!

今回の記事では、国立国語研究所との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。日本語話し言葉BERTを使ってみたい方はぜひご覧ください。

AACL-IJCNLP2020で発表してきました

今回の記事では、昨年12月にオンラインで開催されたAACL-IJCNLP2020の参加報告をしています。

とりあえず動かしてみる自然言語処理入門 ~ BERT MLM 編 ~

BERTの言語モデルの学習は、どの程度上手くいっているのかを数行のPythonコードで確かめる方法をご紹介します。

検索の評価指標その2

今回は、前回の続きとして、複数の適合度に対応したランク付き検索評価指標を紹介します。

NLP若手の会(YANS2020)で発表してきました

今回の記事では、先日参加したYANS2020での参加、発表報告をしています。

BERTを利用した日本語文書要約をやってみた

今回の記事では、前回作成した日本語要約データに対してBERTを用いた要約手法を試しました。

ACL2020に参加しました

今回の記事では、先日オンラインで開催されたACL2020の参加報告をしています。

wikiHowから日本語要約データを作成してみた

今回の記事では、とある英語要約データセットを参考に、日本語要約のデータセットを作成した話をしています。