et-okazaki https://blog.hatena.ne.jp/et-okazaki/ EmotionTechテックブログ https://tech.emotion-tech.co.jp/ はじめに こんにちは、 SREのおかざきです。 エモーションテックでは、Azure OpenAI Serviceを活用したテキストAI分析サービス「TopicScan®︎」の開発を進めています。 本記事では、Azure OpenAI Serviceの負荷分散を実現するために設計したアーキテクチャと、その1年間の運用を踏まえての感想をご紹介します。 課題：増え続けるAzure OpenAI Serviceリソースへのアクセス方法 Azure OpenAI Service (以下、Azure OpenAI)には、TPM (Tokens-per-Minute) という利用制限(*1)があり、サブスク… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.emotion-tech.co.jp%2Fentry%2F2024%2F10%2F31%2F120000" title="1年間運用したAzure OpenAI Serviceの負荷分散構成の紹介 - EmotionTechテックブログ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/e/et-okazaki/20241024/20241024160000.jpg Hatena Blog https://hatena.blog 2024-10-31 12:00:00 rich https://tech.emotion-tech.co.jp/entry/2024/10/31/120000 1.0 100%