【第26回Elasticsearch勉強会】Logstashとともに振り返る、やっちまった事例ごった煮
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
ふつうのKVSだと、シンプルなput/get/deleteの3種類のオペレーションがあって、あとはせいぜいリッチなやつだとスキャンができたり、分散してないやつだとインデックスが張れたりトランザクションぽいものができたりするようになっている。しかしSQLのようなクエリを書けるものはドキュメント指向DBと呼ばれる一部のものだけだ。 まずは準備として、どこでもよいのでRiakをひとつ立ち上げる。コンソールから手書きでMapReduceを書いてもよいのだがエスケープやJSONの括弧を閉めるのが大変なのでオモチャのようなGUIを作ったので、まずはこれをbrowser.htmlという名前でダウンロードしていただきたい。ええいHTML/CSSがダサいのは分かっておるわ! ではそのファイルをRiakに入れよう。 $curl -X PUT http://localhost:8098/buckets/sta

Riakは、オープンソースの分散キー・バリュー・ストアでゴニョゴニョ、ライセンスはApache2.0というのはおいといて、とりあえず入れてみよう。 ソースから入れる ソースから入れるときは、準備としてErlang/OTPが必要。いろいろ方法があるのだけど、今では大抵のOSのパッケージ管理システムからインストールすることができるので、その方法に従ってください。ErlangのバージョンはR14B03以上がオススメです。R15B02は公式にはサポートされていないけど、まあぶっちゃけ僕もR15B02を使っている。 $ escript escript: Missing filename $ erl Erlang R15B02 (erts-5.9.2) [source] [64-bit] [smp:4:4] [async-threads:0] [hipe] [kernel-poll:false] こん

序 章 ビッグデータの時代 第1章 NOSQLとは何か? 第2章 NOSQLのデータモデル 第3章 アーキテクチャの基本概念と技術 第4章 HadoopはNOSQL? 第5章 主なNOSQLデータベース製品 第6章 NOSQLデータベースの選択基準 第7章 NOSQLを使うビジネス本連載は書籍『NOSQLの基礎知識』(リックテレコム刊、ISBN:978-4897978871)で解説されている内容から一部を抜粋し、本連載向けに一部再編集して掲載したものです。 書籍では、一般にNoSQLと呼ばれている各種データベース技術について、基本概念から主要なプロダクトの特性、ベンチマーク結果までを紹介しています。データモデルやアーキテクチャの違いといった基本概念から、各プロダクトの特徴を理解できる内容になっています。本連載では、この書籍の内容から、主要プロダクトを紹介している第5章を抜粋し、そのエッ

Riak is a Dynamo-inspireddatabase that is being used in production by companies like Mozilla and Comcast. Riak scales predictably and easily andsimplifies development by giving users the ability to quickly prototype, test, and deploy their applications. A truly fault-tolerant system, Riak has no single point of failure. Nomachines are special or central in Riak, so developers and operations pro
We are pleased today to announce with Mesosphere, the launch of DC/OS 1.9 and a major upgrade of the integration… Read More
1リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く