okia_atamak https://blog.hatena.ne.jp/okia_atamak/ MicroAd Developers Blog https://developers.microad.co.jp/ Apache Hive Apache Hadoop マイクロアドではデータ基盤に Hive が使われています。 データ基盤について、以下の記事をご確認ください。 MicroAdのデータ基盤 より使いやすいデータ分析基盤にするために この一年間、Hive を使う機会が増えましたのでクエリパフォーマンスを改善する為に Hive 設定を試行錯誤しましたので、その中からいくつか紹介します。 前提条件 1. Vectorization 2. Cost-based Optimization (CBO) 3. 並列実行 4. MapJoin 参考リンク 前提条件 Hive 1.1.0-cdh5.14.0 まず基本ですが SET; を実行すると、以下が表示され… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdevelopers.microad.co.jp%2Fentry%2F2020%2F04%2F13%2F063000" title="Hive パフォーマンスを改善する設定の紹介 - MicroAd Developers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/m/microad-developers/20240208/20240208135253.png Hatena Blog https://hatena.blog 2020-04-13 06:30:00 rich https://developers.microad.co.jp/entry/2020/04/13/063000 1.0 100%