関連記事

大規模データを確実にMySQL/Redshiftに入れる—Treasure Dataのクエリ結果書き出し機能の実装 - Qiita

こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14...概要を表示こんにちは。古橋です。今日はいつものはてなブログから趣向を変えて、QiitaでTDアドベントカレンダー14日目の投稿です。 Hiveのクエリ結果をRDBに書き出したいMapReduceはメモリに収まりきらないデータをJOINしたり集計したりできる信頼性の高いアーキテクチャですが、どうしても1発のクエリを実行するのに時間がかかるので、人間がいじりながら使う可視化ツールに直接繋ぎ込むには向いていません。 そこで Prestoを使って集計する 方法もありますが、やはりMapReduceの方が向いているケースもあります。例えば、 Webサイトに一度は来てくれたのに、その後１週間アクセスのない人が、最後に見ていったページはどこだろう？ 過去にアイテムAを買った人が良く買っている別のアイテムは何だろう？ （バスケット分析のクエリ例） といった、巨大テーブル同士のJOINや自己結合が必要なケースは、や

• RedShift
• mysql
• treasure data
• treasuredata
• hive

ブックマークしたユーザー

• y_uuki2018/04/08
• michael262016/10/29
• nishidy2015/10/19
• atty2014/12/16
• muddydixon2014/12/16
• masa21kik2014/12/16
• abe_hn2014/12/15
• mzi2014/12/15
• nabinno2014/12/15
• E_Portsnl2014/12/15
• nashibao2014/12/15
• dshimizu2014/12/15
• mapk0y2014/12/15
• sfujiwara2014/12/15
• bluele2014/12/15
• motchang2014/12/15
• toyama09192014/12/15
• codeout2014/12/15