サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
The New York Times Archives + Amazon Web Services = TimesMachineNot long ago I posted about a little trip we took through the world of self-service prorated super computing in order to scale out our digitalarchives. Well, we had so much fun the first time around, we decided to have anothergo. This time, we’ve generated a browsable interface to the mounds and mounds of interesting data that lay in ourarchives. TimesMachine is a collection of full-page image
Apache Hadoop The Apache® Hadoop® project develops open-source software for reliable,scalable, distributed computing. The Apache Hadoop software library is a framework that allows for the distributed processing of large data sets across clusters of computers usingsimpleprogramming models.It is designed to scale up from single servers to thousands ofmachines, each offering local computation an
あいかわらずHadoopStreamingが楽しくてやっているんですが、そろそろ自宅サーバ1台だけで処理するのは限界っぽいので、AmazonEC2上でHadoopStreamingにチャレンジしてみました。AmazonEC2の導入に関しては、以下のまとめ記事からのリンクを参照しまくりさせてもらいました。多謝。m(_ _)m →Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - 元RX-7乗りの適当な日々 そして、AmazonEC2上でのHadoopStreamingの動かし方に関しては、以下の記事を参考にさせてもらいました。 →hadoop-ec2でアクセス解析してみたよ！ - soffritto::journal 階層的クラスタリングをEC2上で動かしてみる とりあえずテストという事で、前回の記事で作成した階層的クラスタリ
"MapReduce" はGoogle のバックエンドで利用されている並列計算システムです。検索エンジンのインデックス作成をはじめとする、大規模な入力データに対するバッチ処理を想定して作られたシステムです。MapReduce の面白いところは、map() と reduce() という二つの関数の組み合わせを定義するだけで、大規模データに対する様々な計算問題を解決することができる点です。MapReduce の計算モデルmap() にはその計算問題のデータとしての key-value ペアが次々に渡ってきます。map() では key-value 値のペアを異なる複数の key-value ペアに変換します。reduce() には、map() で作った key-value ペアを同一の key で束ねたものが順番に渡ってきます。その key-values ペアを任意の形式に変換すること
Amazon Elastic MapReduceを使ってみた - moratoriumAmazon ElasticMapReduceを使ってみた 2009-04-03 (Fri) 3:06Amazon EC2 連日のEC2ネタです。本日、AmazonからElasticMapReduceというサービスがリリースされました。大規模データ処理技術が一気に民間の手に下りてくる、まさに革命的なサービスだと思います。Amazon ElasticMapReduceAmazon ElasticMapReduce 紹介ビデオ With Hadoop,Amazon Adds A Web-Scale Data Processing Engine ToIts Cloud Computer bytechcrunch.com ElasticMapReduceは、Googleの基盤技術の一つであるMapReduceを時間単位課金で実行できるサービスです。MapReduceについては以
先日、隅田川の屋形船で花見と洒落込んだのですが、その日はまだ一分咲きも行ってなくて悲しい思いをしたmikioです。今回はTokyo Tyrant（TT）に格納したデータを対象としてMapReduceのモデルに基づく計算をする方法について述べます。MapReduceとはGoogleが使っているという分散処理の計算モデルおよびその実装のことだそうですが、詳しいことはググってください。Googleによる出自の論文やApacheプロジェクトによるHadoopなどのオープンソース実装にあたるのもよいでしょう（私は両者とも詳しく見ていませんが）。 今回の趣旨は、CouchDBがMapReduceと称してJavaScriptで実現しているデータ集計方法をTTとTCとLuaでやってみようじゃないかということです。簡単に言えば、以下の処理を実装します。 ユーザから計算開始が指示されると、TTは、DB内の
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
1リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Big Data Platform - Amazon EMR - AWS
https://jp.techcrunch.com/2009/04/03/20090402with-hadoop-amazon-adds-a-web-scale-file-system-to-its-cloud-computer/
8maki.jp
