AntiBayesian https://blog.hatena.ne.jp/AntiBayesian/ あんちべ！ https://antibayesian.hateblo.jp/ 概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろう… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fantibayesian.hateblo.jp%2Fentry%2F2013%2F12%2F17%2F213608" title="SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2013-12-17 21:36:08 rich https://antibayesian.hateblo.jp/entry/2013/12/17/213608 1.0 100%