https://twitter.com/ccc_privacy_bot

作った経緯

1. Tカードが個人情報を提携企業に提供開始

   • 個人情報提供の停止 手続きガイド｜CCC カルチュア・コンビニエンス・クラブ株式会社
   • ツタヤTカード、勝手に個人情報を第三者へ提供？規約改定炎上騒動の真相　CCCに聞く | ビジネスジャーナル

2. 個人情報提供の中止はいつでもできるが、「提供先企業は随時増える」「提供先企業が増えてもCCCからは通知は来ない」「新規企業は何もしないとデフォルトで個人情報提供する設定」というユーザフレンドリーじゃない仕様

   • 

3. 毎日PDFをチェックしにいくほど暇じゃないのでボット作るか

という感じ

ボット自体は半月くらい前にはできてたのですが、2回目以降のCCCの更新が取得できるまで公開を控えていました。

【追記】「個人情報」について

語弊あったようなので捕捉

• 「個人情報」とは言っても、個人情報そのもの（メールアドレスや電話番号など）を提携先企業に丸渡しではなく分析や運営用に必要最低限しか提供されないです
• 参考
  • T会員規約の解説（2014年11月1日）｜CCC カルチュア・コンビニエンス・クラブ株式会社
  • CCCから提供先へ提供する個人情報の項目を教えてください。 | Tサイト[Tポイント/Tカード] -よくあるご質問・お問い合わせ
• アンチCCC目的でのボット作成とかではなく、PDFでしか提供されていない情報の取得を自動化することだけが目的なので個人情報云々について議論するつもりはないです

ボットでやっていること

• 30分に1回、提供先企業一覧のPDFをダウンロードできるページにいく
  • http://qa.tsite.jp/faq/show/2512
• PDFをダウンロードして提供先企業一覧を取得
  • スクレイピングだけでいけると思ったらPDFで提供されていたのでparseするのが大変だったｗ
• 新着があればボットでつぶやく

技術的な話

ソースコード

https://github.com/sue445/ccc_privacy_crawler

使ってる技術

• ruby 2.1.5
• padrino
• Heroku

Herokuでも無料で1日1回以上cronを動かす方法

Herokuで30分に1回ボットを動かしているというと有料のHeroku Scheduler*1を思い浮かべると思いますが、このボットではsidekiq-cronで自前でcron処理を行いwebのDynoを落とすことで無料でも30分に1回の定期実行を実現しています。webのDynoを落とすとURLでアクセスできなくなりますが、ボットということで割り切ってますｗ

sidekiqが立ち上がっている時はDynoはずっと立ち上がったままですが、1 Dynoをずっと動かす分には無料枠で大丈夫です。

ブコメレス

id:tmd45

crawler Dynoっていうのがあるのか…

crawlerはProcfileで指定しているDyno名ですねhttps://github.com/sue445/ccc_privacy_crawler/blob/master/Procfile

web dynoがhttpにroutingされること以外は特にルールはなかったはず。

Twitterでの質問

@ka_ sidekiqが動く時は同一プロセス内でスレッド立ち上がってcron処理するのでworkerのプロセスしか使いません

— sue445 (@sue445)2014, 11月 18

resque はプロセスでworkerを処理する仕組みだけどsidekiq はスレッドでworkerを処理するのでcrawler dyno内で完結します