bwgift https://blog.hatena.ne.jp/bwgift/ 地平線まで行ってくる。 https://bwgift.hatenadiary.jp/ LLMをファインチューニングするためのデータセットをLLM準備をしたところ、結構使えそうな印象がありました。面白いので、もう少しほかのデータで試したくなりました。 bwgift.hatenadiary.jp 前提 データセットの利用 データセットの対象 対象の論文を読み込む 学習 返答例 まとめ 前提 LLMを使ったことによるデータセット作成では、間違いや不正確な表現・情報の類の歪は一定量あると考えられます。しかし、個人で大量のデータを準備するには敷居が高い。そこで、ある程度の間違いや不正確な表現は許すという前提で進めます。使ったLLMは上記の記事と同様で割愛します。 論文を入手する手段として… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fbwgift.hatenadiary.jp%2Fentry%2F2024%2F09%2F23%2F220903" title="ArXivから論文を参照してLLMをColabでファインチューニングしてみる。 - 地平線まで行ってくる。" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-09-23 22:09:03 rich https://bwgift.hatenadiary.jp/entry/2024/09/23/220903 1.0 100%