Impalaにファイルで投入したデータはいつから検索可能になるの？

こんにちは。kimukimu(@kimutansk)です。このエントリはSpark, SQL on Hadoop etc. Advent Calendar 2014 - Qiitaの12/14分です。多くの人がSQLなら書けるということで、 開発者でなくても自在に検索を定義可能なSQL on Hadoopが今非常に広まりつつあります…

Hadoopのデザインパターン本を紹介。

どうもはじめまして、上田です。 今年も残すところ後2週間をきり、何か遣り残したことがないか気になる今日この頃。 年末に何か洋書の技術書を読んでみるのもいいのでは、と思っています。最近は大量データ処理周りの本が目に付く気がします。 あまり大量デ…

Hadoop MapReduce Job の History ログの見方

今日は。 落合です。ひしだまさんに引き続き、 2012年12月20日のHadoopアドベントカレンダー2012 #hadoopAC12jp投稿ということで、 Hadoop MapReduce Job の History ログの見方と、 Job実行状況のExcel表示例をご紹介します。HadoopのMapReduce Jobを実行す…

インターンシップにて、「オープンソースコーディングサマー」を開催

こんばんは、ishidaです。当社では、夏のインターンシップで 「オープンソースコーディングサマー」を開催します。オープンソースコーディングサマーでは、現在話題となっている BigDataを操るHadoopを、当社のWGPを用いることで 可視化させてしまおう、とい…

Flume＋Hadoopを用いた「分散ログ収集ソリューション」の提供を開始

当社Acroquest Technologyは、Flume＋Hadoopを用いた「分散ログ収集ソリューション」の提供を開始しました。プレスリリースページ http://www.acroquest.co.jp/company/press/2012/0329p1.htmlログ収集を効率的に行うオープンソース・プロダクト Flume に、 …

Hadoopソースコードリーディング第8回に参加しました

Hadoopソースコードリーディング第8回に参加しました。 会場提供、準備等、@hamakenさんを始め、 NTTデータの方々ありがとうございました。以下、報告です。(1)『オレオレMultipleInputを作る方法（仮）』 - @muddydixon さん (2)『MapRってどうよ？ - 実際…

Flumeでセキュアな通信を

Hadoopアドベントカレンダーの14日目。 阪本です。セキュア通信でFlumeを使う方法について書こうと思います。 現行のFlumeには、セキュア通信を行うための仕組みは用意されていません。 完全ローカルで使用するのであれば、それでもよいかもしれませんが、 …

RHadoop を動かしてみました（Hadoopアドベントカレンダー2011 12/4）

こんにちは。 落合です。Hadoopアドベントカレンダー2011 12/4 の担当と言うことで、 Hadoop World NYC 2011 の Hadoop World 2011: The Powerful Marriage of R and Hadoop - David Champagne, Revolution Analytics View more presentations from Cloudera…

Hadoopソースコードリーディング 第7回 でしゃべってきました

こんにちは。 落合です。11/28(月)に開かれた「Hadoopソースコードリーディング 第7回」 で、 「Hadoop World NYC 2011 参加レポート」 という形で 阪本、落合が発表してきました。会場提供、準備、当日の運営、ピザ・ビール(！)で、 濱野さんを始め、データ…

Hadoop World 2011 New York に行ってきます！

こんにちは。 落合です。11/8(火)、11/9(水) にニューヨークで開催される、 Hadoop World 2011 に行ってきます！時差が14時間なので、 日本時間の11/8(火)22:30 から講演開始です。Acroquest社員は、 @taro_x と @frutescens が参加します。「ハッシュタグ #…

Hadoop Conference Japan 2011 Fall に参加しました

Hadoop Conference Japan 2011 Fall に参加したので、 報告を書こうと思います。これだけのイベントを開催してくださった、 運営のリクルートさん、主催のHadoopユーザ会のみなさんに感謝です。 昨日も深夜まで準備をしていたと聞きました。ありがとうござい…

Hadoop × リアルタイムストリーミング＝ Storm？

こんばんは、kimukimuです。今日はいつものAndroidではなくて、Hadoopで最近調べていることを書きます！ 1. 最近Hadoopは熱いんです！ 最近、Hadoopを用いたビジネスがひたすら熱いです。『Big Data』を扱う新たな情報分析プラットフォームとして、 破壊的な…

Hadoopの環境にあると便利なツール(parallel-ssh)

こんばんは、はじめまして、 Skipperです。今日は、Hadoopに関連して、 Hadoopの環境にあると便利なツールの1つを紹介します。 #他にもKickStart、puppet、WOLなどあるのですが、書ききれないので #1つに絞りました。 parallel-ssh Hadoopで性能出すためには…

MRUnitでHadoop MapReduceの試験を

こんにちは。 落合です。MRUnit を使った、 Hadoop MapReduce のテスト方法をご紹介します。 MRUnitとは MRUnitは、Hadoop MapReduce のテストのためのライブラリです。 これを使うと、Hadoop MapReduce の JUnitテストを行うことができます。 Context を自…

Hadoop座談会(第5回）に参加しました

こんにちは。落合です。Hadoopを中心とした分散環境での開発方法論・モデリング・設計手法等についての座談会(第5回） に参加してきました。関係者の方々、ありがとうございました。 Togetter： 2011/06/29_Hadoop〜座談会(第5回） #hadoopmodeling 講演内容…

Hbase勉強会（第二回）に参加してきました

こんにちは。 落合です。昨日、HBase勉強会（第二回）に参加しました。コアな話が聞けて非常におもしろかったです。 特に、業務系システムへの適用に関する議論の盛り上がりがすごい。 HBase、アツいです。 私自身も最近、 仕事でHBaseのクラスタも組み始め…