itstaffing https://blog.hatena.ne.jp/itstaffing/ itstaffing エンジニアスタイル https://www.r-staffing.co.jp/engineer/ サクッとわかるITトレンド ChatGPTをはじめとする、AIチャット。この背景にあるのがLLMで、日本語では、大規模言語モデルと呼ばれています。どのような仕組みで、テキストの意味を理解して、テキストを生成しているのか。LLMに関する用語を中心に解説します。 LLMとNLP（自然言語処理）の関係 人間が使う言語をコンピュータに理解させるための技術として「NLP（自然言語処理）」があります。 たとえば、日本語や英語などで書かれた文章が与えられたとき、その質問に答えたり、翻訳したり、要約したりすることが該当します。これらの処理をするためには、与えられた文章の文法的な構文を把握しなければなりません。 英語であれば、スペースで区… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.r-staffing.co.jp%2Fengineer%2Fentry%2F20240426_1" title="LLMとは？ AIチャットは何を学習している？ - itstaffing エンジニアスタイル" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/i/itstaffing/20240409/20240409114437.jpg Hatena Blog https://hatena.blog 2024-04-26 08:00:00 rich https://www.r-staffing.co.jp/engineer/entry/20240426_1 1.0 100%