Kazuhira https://blog.hatena.ne.jp/Kazuhira/ CLOVER🍀 https://kazuhira-r.hatenablog.com/ OpenAI これは、なにをしたくて書いたもの？ こちらのエントリーを書いた時に、OpenAI APIにおける主要な概念をまとめてみました。 OpenAI Python APIライブラリーからllama-cpp-pythonで立てたOpenAI API互換のサーバーへアクセスしてみる - CLOVER🍀 このうち、トークンの数え方が気になるというか、tiktokenを使うと自分でも文字列をトークンとして数えられるようなので試しておこうかなと 思いまして。 トークン あらためて、こちらを確認します。 Introduction トークンとは、以下の概念です。 テキスト生成モデルおよび埋め込みにおける処理単位で、… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkazuhira-r.hatenablog.com%2Fentry%2F2023%2F12%2F04%2F230304" title="tiktokenを使ってテキストをトークンに変換してみる - CLOVER🍀" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/K/Kazuhira/20231204/20231204172402.png Hatena Blog https://hatena.blog 2023-12-04 23:03:04 rich https://kazuhira-r.hatenablog.com/entry/2023/12/04/230304 1.0 100%