ryki https://blog.hatena.ne.jp/ryki/ memork https://memork.hateblo.jp/ LLM プロダクト開発 性能評価 実験管理 顧客最適化 本記事では、Wordsmiththがプロダクトのライフサイクルの各段階でLangSmithを活用して、LLMの性能を評価・改善している事例が紹介されている。プロトタイピングや開発、性能測定、運用監視といった各局面で、LangSmithのトレーシング機能や評価セット、フィルタリング機能が有効に活用されている。今後はさらにLangSmithとの連携を深め、顧客ごとの最適化を行うことで、LLMの性能をより高度に管理していくことが示唆されている。 Wordsmiththがプロダクトの様々な局面でLangSmithを活用し、LLMの性能向上に取り組んでいる事例は非常に示唆的である。特に、明確な評価基準の… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fmemork.hateblo.jp%2Fentry%2F2024%2F07%2F10%2F100212" title="LangSmithを活用したLLMの性能評価と改善 - memork" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2024-07-10 10:02:12 rich https://memork.hateblo.jp/entry/2024/07/10/100212 1.0 100%