kaigai https://blog.hatena.ne.jp/kaigai/ KaiGaiの俺メモ https://kaigai.hatenablog.com/ 今回のエントリは、ここ１年ほど取り組んでいた PG-Strom による大量データのスキャン・集計処理性能改善の取り組みが、当面の目標であったシングルノード10GB/sを達成したという完結編です。（長かった） 要素技術：SSD-to-GPUダイレクトSQL 先ず、PG-Stromのストレージ関連機能について軽くおさらい。RDBMSに限らず一般論として、GPUなど並列プロセッサの処理性能を稼ぐには、プロセッサコアの数や動作クロック以上に、処理すべきデータをできるだけ大量に供給するかという点が重要。 これは、ハードウェアレベルではキャッシュ階層や容量の設計、あるいはメモリデバイスのデータ転送レートと… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fkaigai.hatenablog.com%2Fentry%2F2018%2F09%2F09%2F151922" title="スキャン速度10GB/sへの挑戦～その④ 完結編～ - KaiGaiの俺メモ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/k/kaigai/20180909/20180909141057.png Hatena Blog https://hatena.blog 2018-09-09 15:19:22 rich https://kaigai.hatenablog.com/entry/2018/09/09/151922 1.0 100%