avalon1982 https://blog.hatena.ne.jp/avalon1982/ ロボットのいる生活（digest）＋　バナナ https://avalon1982.hatenadiary.org/ ★ Twitter （続き）取得したhomeのタイムライン（普段見ているタイムライン）をそのまま保存しておくのは、いかにも冗長です。これをマージして重複を削除するにはどうしたらいいでしょうか？ ■元データ（毎時200件取得しているので、5/4のデータだけでも1200件近くあります。） ■マージ方法（マージすると約450件に減ります。） マージするのには、Yahoo! pipesを使います。日時がファイル名になっているのでちょっと面倒くさいことになっていますが、時間だけにすれば、割と簡単にできそうです。（エラー処理をきちんと考えるとちょっと大変ですが、オリジナルデータを残すのであれば、あまり厳密にやる必要はないと思… 190 <iframe src="https://hatenablog-parts.com/embed?url=https%3A%2F%2Favalon1982.hatenadiary.org%2Fentry%2F20100504%2F1272924000" title="記録したTwitter のタイムラインをマージする方法 - ロボットのいる生活（digest）＋　バナナ" class="embed-card embed-blogcard" scrolling="no" frameborder="0" style="display: block; width: 100%; height: 190px; max-width: 500px; margin: 10px 0px;"></iframe> http://capture.heartrails.com/300x300/shadow/delay=10?http://b1.robot.am/2010/05/twitter_2.html Hatena Blog https://hatena.blog 2010-05-04 07:00:00 rich https://avalon1982.hatenadiary.org/entry/20100504/1272924000 1.0 100%