akihiro_tomita_legalscape https://blog.hatena.ne.jp/akihiro_tomita_legalscape/ Legalscapeテックブログ https://tech.legalscape.co.jp/ AI LLM はじめに こんにちは、LegalscapeでAIエンジニア/データサイエンティストをしている富田です。 皆さんは各LLMの本当のコストを測ったことがありますか？ 1Mtokenあたり○ドルという料金表は確認されていると思いますが、実は各LLMの日本語に対するトークン効率は大きく異なっており、全く同じ文字数の入出力でも、消費されるトークン数＝コストは大きく変わります。 そこで今回は、代表的なLLM（GPT-5、Claude Sonnet 4.5、Gemini 2.5 Pro、PLaMo 2.1 Prime）のトークナイザーの考え方を概観したのち、弊社が直面している「日本語の法律文書」におけるトー… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.legalscape.co.jp%2Fentry%2F2025%2F10%2F28%2F150459" title="LLMコストの盲点: 日本語トークナイザー効率で変わる実質コスト比較(GPT-5, Claude Sonnet 4.5, Gemini 2.5 Pro, PLaMo 2.1 Prime) - Legalscapeテックブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2025-10-28 15:04:59 rich https://tech.legalscape.co.jp/entry/2025/10/28/150459 1.0 100%