yohei-a https://blog.hatena.ne.jp/yohei-a/ ablog https://yohei-a.hatenablog.jp/ Presto Parquet Presto から見ると (parquetの)page単位で IO して、HDFS の API を叩いて、HDFS は DSDataInputStream とかで読んで、OSレイヤーからみると sendfile(2) で xfs などのファイルシステムのファイルを読んでということになってるのではないかと推察。— yohei.az (@yoheia) 2018年10月9日 1)flame graphでhdfsのioシステムコールを発行元コールスタックを特定2)straceでioを発行したファイルとioサイズ、シーケンシャルorランダムを確認3)blktrace+bttでio範囲(bno)を確認4… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fyohei-a.hatenablog.jp%2Fentry%2F20181020%2F1540064600" title="Presto で Parquet にクエリするとファイル中の必要な Column chunk のみを読んでいるか - ablog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/y/yohei-a/20181021/20181021053908.jpg Hatena Blog https://hatena.blog 2018-10-20 04:43:20 rich https://yohei-a.hatenablog.jp/entry/20181020/1540064600 1.0 100%