sato_susumu https://blog.hatena.ne.jp/sato_susumu/ 佐藤百貨店 https://www.sato-susumu.com/ LangChainでテキストを分割するとき、ライブラリに含まれるRecursiveCharacterTextSplitterをそのまま使っても問題ないんだけど、なんとなく素人考えで、分割したテキストも読みやすい方がいいかなーと思って、句読点で分割してくれるTextSplitterを作ってみました。 ソースコード "\n\n"で分割して、長過ぎたら"\n"で分割して、それでも長過ぎたら句読点で分割してと繰り返して適切な長さになるまで分割します。 from typing import Any from langchain.text_splitter import RecursiveCharacte… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fwww.sato-susumu.com%2Fentry%2F2023%2F04%2F30%2F131338" title="LangChain用に句読点で分割してくれるTextSplitterを作ってみた - 佐藤百貨店" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2023-04-30 13:13:38 rich https://www.sato-susumu.com/entry/2023/04/30/131338 1.0 100%