masashi-sato-flect https://blog.hatena.ne.jp/masashi-sato-flect/ フレクトのクラウドblog https://cloud.flect.co.jp/ みなさんこんにちは。エンジニアの佐藤です。今回はIoTの話題をご紹介させていただきたいと思います。 重複データの蠢き 先日、とあるIoTシステムのログデータをETL(Extract, transform, load)処理によりDWHに収めました。このシステムは運用暦約1年で、利用量は右肩上がりで上昇してきました。蓄積データの活用が企画され、数億件のデータがDWHに集積されました。多数のデバイスが毎日送信して積み上げてきたものです。 ですが、およそコンピュータと名の付く物、何事も疑いの目で見なければなりません。筆者がまず気になったのは、「まともなデータなのか」という点です。数億レコードともなると… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Fcloud.flect.co.jp%2Fentry%2F2018%2F06%2F28%2F191637" title="あなたの身近にもあるかもしれない『ダブりデータ』 - フレクトのクラウドblog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> Hatena Blog https://hatena.blog 2018-06-28 19:16:37 rich https://cloud.flect.co.jp/entry/2018/06/28/191637 1.0 100%