tkgwy https://blog.hatena.ne.jp/tkgwy/ SMARTCAMP Engineer Blog https://tech.smartcamp.co.jp/ GCP Golang バックエンド 今週末から北海道オフィスに出張でワクワクしている瀧川です。 私はデータ分析基盤の構築をする機会がよくあり、FluentdやEmbulk、Digdag、BigQueryを好んで使っています。 構築する際に気をつけることというと、冪等性やログ欠損(リカバリ)などいろいろあるかと思いますが、その中でも重要になるのが 個人情報などの見せられないデータ(機密情報) の扱いかな思っています。 構造化されたデータの個人情報であれば、そもそも分析基盤に転送しないことや、マスキングして送るなど対策は容易*1ですが、例えば「バグでログの可変な箇所に個人情報が入ってしまった」とか「アンケートの集計をしたいが電話番号… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Ftech.smartcamp.co.jp%2Fentry%2F2019%2F06%2F06%2F213802" title="Cloud DLPをGolangで叩いて見せられないデータを抽出し秘匿化してみる - SMARTCAMP Engineer Blog" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> https://cdn-ak.f.st-hatena.com/images/fotolife/t/tkgwy/20190606/20190606213734.png Hatena Blog https://hatena.blog 2019-06-06 21:38:02 rich https://tech.smartcamp.co.jp/entry/2019/06/06/213802 1.0 100%