developer-blog https://blog.hatena.ne.jp/developer-blog/ MicroAd Developers Blog https://developers.microad.co.jp/ Apache Hive Cloudera Impala Parquet Apache Hadoop データ基盤 京都研究所・TechLabの田中です。 今回は、データ分析基盤をより使いやすくするために実施した取り組みをご紹介します。 この記事では、結論だけでなくそこに至るまでの過程も一緒に紹介しているので、実務の雰囲気の一端も感じ取っていただければ幸いです。 １．ことの始まり ２．状況の整理 2-1 Hive on MR 2-2 Complex型のカラムに対する pushdown が機能しない ３．対策を考える 3-1 Hive on MR 以外の選択肢 3-2 ネストしたカラムへのpushdown 3-3 必要なアクションは？ ４．つまづきポイント 4-1 HDFSファイルが圧縮できていない 4-2 … 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fdevelopers.microad.co.jp%2Fentry%2Fdata-analytics-platform-query-speed-tuning" title="より使いやすいデータ分析基盤にするために - MicroAd Developers Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/d/developer-blog/20200205/20200205172902.png Hatena Blog https://hatena.blog 2020-02-10 06:30:00 rich https://developers.microad.co.jp/entry/data-analytics-platform-query-speed-tuning 1.0 100%