Hironsan https://blog.hatena.ne.jp/Hironsan/ Ahogrammer https://hironsan.hatenablog.com/ 自然言語処理 情報検索 RAGで使われる検索システムでは、テキストデータを対象とすることが多いですが、実際の文書には画像として重要な情報が含まれることも多くあります。これを踏まえ、LLMを用いて画像をテキスト化し検索できるようにする試みがありますが、人物写真や背景画像など本文との関連性が低い画像まで対象にするとノイズとなる課題がありました。以下、パワポなどに含まれる関連性の低い画像の例です。 UnsplashのMapboxが撮影した写真 そこで、本記事ではドメインに関連する画像（今回はグラフとワークフローとする）だけを選別するために、ラベル付きデータがなくても活用可能なゼロショット画像分類を導入し、分類後にLLMによ… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fhironsan.hatenablog.com%2Fentry%2Fzero-shot-image-classification-and-convert-to-text" title="ゼロショットで画像を分類し、種類ごとにLLMでテキスト化・構造化する - Ahogrammer" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/H/Hironsan/20250513/20250513162437.jpg Hatena Blog https://hatena.blog 2025-05-13 17:35:27 rich https://hironsan.hatenablog.com/entry/zero-shot-image-classification-and-convert-to-text 1.0 100%