DynamoDBジャンプスタートプログラムEMRを使った運用方法 アマゾン データ サービス ジャパン 株式会社 このセッションの目的EMRを使ったDynamoDBの運用方法についてハEMRの起動方法 Hive経由でのDynamoDB連携 DynamoDBのImport/Export Copyright © 2012Amazon Web Services アジェンダEMRとDynamoDB連携の概要EMRとHiveの概要 連携の概要 ハンズオン 環境設定 Hive Job Flowの起動 DynamoDBのバックアップ、リカバリ バッチ Copyright © 2012Amazon Web Services Copyright © 2012Amazon Web ServicesAWSのサービス お客様のアプリケーション ライブラリ & SDKsJava,PHP,
今年のテーマの一つはビッグデータということで、そろそろ本格的にMapReduceに手を出そうと思います。 手軽にMapReduceを試してみるのであれば、やはりAWSでしょう。今回はAmazon ElasticMapReduce(AmazonEMR)を動かす方法を簡単にまとめておきます。 実行する処理の例としては、Hadoopのチュートリアルにある処理をそのまま使わせてもらいましょう。与えられたテキスト(英文)に出現する単語を数えるというものです。 実行する処理 与えられたテキストに出現する単語を数える 実行の手順AmazonEMRにはApache Hadoopが使われています。本来Hadoopを使うためには、Hadoopの環境そのものをセットアップする必要があるのですが、そこをAWSが既にやってくれているわけです。 そのため、手順としては Hadoopのジョブとなるjarファイル
自前でHadoopをインストールせずとも、AmazonWebService(AWS)で手軽にHadoopを利用する事ができるということで、 ElasticMapReduce(EMR)環境でHiveを利用してみました。 ここでは、以下のような手順でHiveを利用する手順を示します。 S3にHive用のbucketを作成Amazon ElasticMapReduceRuby ClientのセットアップS3にデータを配置HiveインタラクティブモードでElasticMapReduceを起動作成したHiveスクリプトをバッチ処理で実行S3にHive用のbucketを作成Hive用のデータを保存するため、S3にbucketを作ります。 「AWS Management Console」でS3を選び、 「Buckets」の「Create Bucket」を選択して、 「Bucket Name」を

というわけで冬休み最後の自由研究として、Amazon ElasticMapReduce(EMR)を使ってみました。今なら公式ページもほぼ日本語化していて楽チンです。Amazon Web Services (日本語)Amazon ElasticMapReduceとはAmazonEMRは、Amazonのインフラ上で動作する仮想サーバーを使ったHadoopクラスタを時間単価で貸し出すサービスです。少々わかりにくいので、Amazon Web Service(AWS)の関連する製品群について整理しておきます。EC2 (Elastic Compute Cloud) EC2は、仮想マシンを時間単価で貸し出すサービスです。EMRを使わずに、EC2に自前でHadoopをインストールして使うやり方もあります(EMRが出来る以前はそれしかなかった)。EMRを使う場合でも、バックグラウンドでは自動的に
1リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く