nakamrnk https://blog.hatena.ne.jp/nakamrnk/ ML Over the Horizon https://nakamrnk.hatenablog.com/ はじめに 前回まではRAGについて調査し、 学習に必要なデータを準備した。 今回はRAG学習に必要なDPRの学習を行う。 DPR Dense Passage Retrieval1 (DPR)はある質問に回答するために必要な知識文(passage)を 文章群から推定するためのモデルである。 質問文を入力として、知識群の各文章に対してその文に対する関連度を出力する。 ネットワークは質問文を入力するBERTと知識文を入力するBERTの2つのBERTからなり、 それらの出力のドット積を文章間の関連度として、最適化を行っている。 DPRの学習 DPRはtransformers2にも実装されているが学習機… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fnakamrnk.hatenablog.com%2Fentry%2F2020%2F10%2F22%2F152526" title="制御可能な文章生成RAG - DPR - ML Over the Horizon" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2020-10-22 15:25:26 rich https://nakamrnk.hatenablog.com/entry/2020/10/22/152526 1.0 100%