リサーチャーの勝又です。 今回の記事では、特定のドメインのテキストから同義語候補取り出そうと色々試みた結果をまとめています。

DeepSpeedを用いてHuggingface Transformersの複数ノードでの学習をする方法を紹介します。

こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回はNeurIPS2022で発表されたSignRFF: Sign Random Fourier Featuresを紹介します。

ニューラルネットワークモデルの軽量化や推論高速化手法として、蒸留を利用した小さいモデル作成が挙げられます。 今回はtask-specific BERTの蒸留をDeepSpeed Compressionで試してみようと思います。

こんにちは。レトリバの飯田(@HIROKIIIDA7)です。TSUNADE事業部 研究チームのリーダーをしており、分類エンジンの開発・マネジメント、検索分野の研究、チームマネジメントを行っています。今回は、教師なしの文表現作成手法DiffCSEを紹介します。なお、日本…

few shot learningの手法として最近研究が活発になってきているPromptingと呼ばれる手法とその手法を手軽に扱えるフレームワークのOpenPromptについて紹介します。

リサーチャーの勝又です。 前回のONNX Runtimeを用いたStatic Quantizationに引き続き、今回はIntel Neural Compressorを用いたStatic Quantizationを試してみました。

リサーチャーの勝又です。 前々回の深層学習の量子化について簡単な解説記事、前回のDynamic Quantizationを試した記事に引き続き、今回はStatic Quantizationを試してみました。

ONNX Runtimeのニューラルネットワークの推論をTensorRTやOpenVINOなどのライブラリを通じて高速化できるか実験しています。

こんにちは。レトリバの飯田(@meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 2020年4月から、東京工業大学(東工大)の岡崎研究室に社会人博士課程で所属しており、論文が一本出せた段…

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 前回、深層学習の量子化について簡単な解説記事を公開しました。 今回は、深層学習の量…

Huggingface transformersモデルのONNXによる高速化の紹介です。

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 最近、深層学習の量子化について勉強する機会があったので、この記事では量子化の理論的…

カスタマーサクセス部リサーチャーの勝又です。今回の記事では、事前学習モデルであるT5とTransformersを使って日本語文書要約を行った話を紹介します。

こんにちは。レトリバのリサーチャーの木村@big_wingです。 レトリバでは、研究動向・業界動向の把握のため、リサーチャーは積極的に国内学会に参加しています。 今回は第24回情報論的学習理論ワークショップ (IBIS2021)に参加しました。

こんにちは。レトリバの飯田[(@meshidenn)](https://twitter.com/meshidenn)です。TSUNADE事業部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。今回は、教師なしの文表現作成手法[SimCSE](https://arxiv.org/abs/21…

こんにちは。 リサーチャーの勝又です。 私はレトリバで自然言語処理、とくに要約や文法誤り訂正に関する研究の最新動向の調査・キャッチアップなどを行っております。 今回の記事では、LM-Critic: Language Models for Unsupervised Grammatical Error Corr…

東北大BERTに対して固有表現抽出タスクでFine-Tuningを行いTransformersのPipelinesで日本語固有表現抽出を行う方法をご紹介します。

今回の記事では、先日開催された自然言語処理のトップカンファレンスである、ACL-IJCNLP2021でBest Paperとなった、VOLTを日本語文書分類で試してみた話をします。

こんにちは。レトリバのリサーチャーの木村@big_wingです。 今回は今年のICML2021で発表されたSparseBERT: Rethinking the Importance Analysis in Self-attentionを紹介します。

deepspeedの紹介です。 これであなたも大きなモデルを学習できる!!

クエリも文書もベクトル表現にして計算してしまえ！ということで近年研究が盛んに行われており、BERT[^1]が提案されて以降、教師データがあれば、うまく行くことがわかってきています。さらに、近年、最近傍アルゴリズムが進歩し、内積計算が高速化したこと…

今回の記事では、事前学習モデルであるBARTを使って日本語文書要約を行った話を紹介します。

昨年のNeurIPSで発表されたBig Birdという手法の紹介です。

今回の記事では、国立国語研究所との共同研究で作成した日本語話し言葉BERTとその利用方法について紹介します。日本語話し言葉BERTを使ってみたい方はぜひご覧ください。

検索の評価指標 こんにちは。レトリバの飯田(@meshidenn)です。カスタマーサクセス部 研究チームのリーダーをしており、マネジメントや論文調査、受託のPOCを行なっています。 前回は、検索結果にグレードをつけられる場合の検索エンジンの評価についてご紹…

今回の記事では、昨年12月にオンラインで開催されたAACL-IJCNLP2020の参加報告をしています。

こんにちは。レトリバのリサーチャーの木村@big_wingです。 レトリバでは、研究動向・業界動向の把握のため、リサーチャーは積極的に国内学会に参加しています。 今回は第23回情報論的学習理論ワークショップ (IBIS2020)に参加しました。 概要 情報理論的学…

今回は、前回の続きとして、複数の適合度に対応したランク付き検索評価指標を紹介します。

皆さんは、検索エンジンの評価をどのように行なっていますか？検索エンジンの評価は、実はユーザが求めていることによって変わってきます。今回は、ユーザが求めていること=ユーザモデルと検索評価指標の関係について、書いていきます。なお、以下の内容は[…