Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System(GFS)」を模した「Hadoop Distributed File System(HD FS)」と、データ処理機構「MapReduce」を模した「HadoopMapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ

しかし、アメリカでは既に次世代に注目がシフトしている。注目の的は、“女ザッカーバーグ”と呼ばれるジェシカ・マーである。9歳からプログラミングを始め、12歳で会社を立ち上げ、15歳で高校を卒業。18歳で名門カリフォルニア大学バークレー校(コンピューターサイエンス専攻)を卒業した。現在20歳である。 彼女の事業はソーシャルメディアではない。なんともそれが一見地味なビジネスなのだ。ベンチャー創業者たちの財務管理ソリューションビジネスだ。シリコンバレーのベンチャー創業者は、技術にはやたら詳しいが、財務には弱い創業者が多い。技術は素晴らしいものの、財務の健全性が維持できず廃業してしまう小企業が多いのも特徴だ。財務担当者を雇うステージにまでたどり着けない企業も多い。 老練なビジネスモデル それらの企業が口座情報を入力するだけで、経費分析から資金繰りまで分析し、簡素で見やすいグラフにしてくれる。財務の「

公開されたのは2009年のようですが、ブログ「森崎修司の「どうやってはかるの?」」のエントリ「ギーク・スーツ」で一昨日その存在を知り、読んでみました。 ネット上では以前から、技術側の「ギーク」とビジネス側の「スーツ」の関係がよく話題になっています。ギークが幸せになるには技術を理解したスーツが欠かせず、またスーツがビジネスを成功させるためにはギークがビジネスを理解する必要がある、というのが多くのそうした議論の着地点であると思うのですが、ではそのような状況をどうやったら実現できるのか? についてはなかなか具体的な提案がなかったのではないかと理解しています。 野村総研のこの論文では、外国ではどのようにして技術とビジネスを理解した「ギーク・スーツ」を育成しているかを軸に、日本での問題点とそれを解決するための提案をしています。 日本はギーク・スーツが生まれにくい 論文の冒頭にある要約で内容を把握でき

前回に引き続き、井上が書かせていただきます。GREE Studio 2010 5日目の講義内容はデータマイニングエンジニア、moritaさんによる「データマイニング」。業務のログ解析において用いられるデータマイニングの内容です。前回はレポート形式でしたが、今回はもう少しエンジニアリングブログに近い形で書こうと思って頑張りました。宜しくお願いします。今回のブログの内容は、 データマイニングの基礎知識 大規模データへの挑戦 になります。後で定義しますが、ここでの「データマイニング」とはデータを取得し、集計する作業も含めてこの言葉を指すことにしています。また、解析者とはデータマイニングを行う人のことを指します。(GREEではデータマイニングエンジニアと呼ばれています。)moritaさんの講義で学んだことを自分なりに膨らましてみました。色々誤りがあると思いますが、そういった部分は(優しく)指摘し

インターネットのインフラ化と運用現場の疲弊 インターネットの急速な普及および発展により、インターネットを含むIT情報基盤は、社会基盤(インフラ)としての性格を色濃く帯びてきています。 しかし、これらのシステムやサービスを運用している現場では、メンバーに対する恒常的な高負荷、属人的な運用、トラブルの多発に悩まされるなど、事業継続面でのリスクを抱え、コストや効率面での課題に追われながらも、現場の個々人の過大な努力によって日々の運用を維持しているのが現状です。 なお、システムやサービスを「運用している現場」とは、例えば組織や企業において社内向け、対外向けなどを問わず「ユーザーや相手に対して何らかのサービスを提供している人たち」をイメージしています。本連載では、従来であれば「現場ごとの個別事情に応じて、やり方が異なるため、標準化が難しい」と言われてきた「運用」について、「運用設計」という観点から
新入生や新社会人として組織に入ったり、他の組織から畑違いの場所に異動すると、ゼロからのスタートになるときがあります。 そのときに、先輩からいかにして技術を「盗む」かが重要な要素になると思われます。 ここでは、自分の養分として吸収するために、先輩から技術を引き出す一手法を紹介したいと思います。 先輩から見て教え易い後輩や、ついつい必要以上に色々教えてしまう後輩などがいます。 今回は、そのような人の特徴を考えたり、過去の私が失敗したと思われる点を思い出しながら書いてみました。 ここで紹介する方法は、あくまで方法の一つであり偏っています。 性格によって向き不向きがあると思います。 また、あまりに露骨にやり過ぎると嫌われてしまう場合もあるのでご注意下さい。 あまり参考にはならないかも知れませんが、まあ、許してください。 やる気を見せる 非常にやる気があって、色々やっている人を見るとついつい応援した
2007年05月08日14:15 カテゴリArtBlogosphere 勝手に添削 -技術の盗み方 盗まれることが年々増えてきた立場から。 Geekなぺーじ:技術の盗み方 やる気を見せる 礼儀正しく 先輩と一緒に飯を食べる 不思議に思う 「それ知ってます」は禁句技術を持たない人を軽視しない 必ずしも技術が全てではない これ、見事に 小野和俊のブログ:「アドバイス」について考える 自慢 注意する側にまわる喜び 負けていないことのアピール 俺流の押し売り への対策になっている。 はっきり言おう。この程度で盗める技術なら、先輩から盗むよりぐぐれ、と。この程度で盗める技術しか持たぬ先輩は、先輩の名に値しないと。 以下、添削結果。 やった結果を見せる やる気は添削できない。やった結果なら添削できる。 敬意を払う 礼儀はマニュアルに書ける。嘘だと思うならファーストフード屋でバイトしてみるといい。し

現在、あなたがお使いのブラウザは、Cookie(クッキー)をブロックする設定になっています。 リクナビNEXTでは、個人情報保護と利便性の観点からクッキーの使用をお願いしています(個人情報収集等の目的では使用しておりません)。お手数ですが、ブラウザの設定を変更してください。
伸びるエンジニアについて という日記を見た。面白かったので私の知っている条件を書いてみる。 自腹で技術書を買っていること これは私も同意する。 別に会社の金で買っても構わないが、会社の金で買うという事は、 資料を欲しいと思った瞬間に入手しその内容を一気に理解する、 という瞬発力に欠けるということだ。 あと、技術書と言うのははっきり言って暗記するものではない。 覚えられないのだから手元においておく必要があるのだが、 移動などで本と切り離される可能性は高い。 結果、本は自分で買ったほうが後々有利である。 例外は「入門書」と言われるものと、 ごく一過性の技術に関するもの。 入門書はどうせ一度しか読まないし、 読み終わって後輩が必要になったらそいつに押し付けるものだ。 それは会社のものにしておいたほうが良い。 一過性の技術は本と離別する前に技術が廃れるし、 そんな技術を身に付けてもしょうがない事の
これまでSPHによる流体シミュレータなどを手掛けてきたThiago Costa氏が新たに開発を手掛ける物理エンジン「Lagoa Multiphysics」ver1のティザー映像が公開され、あまりのクオリティの高さに大きな注目を集めています。(※ 参考リンク:SPHが使用されたスプライトのCM映像)ゲームとは直接関係の無い話ではありますが、GPGPUの高性能化などもあり、いずれこういった品質のゲームが登場する時代が来るかもしれないと考えると非常に夢が膨らむ映像と言えそうです。 Lagoa Multiphysicsでは粒状マテリアルでのクオリティの高い摩擦演算が可能になっており、体積を保つ流体に、弾性構造、塑性変形なども実現されているとの事で、技術世代的な意味でも信じられない程のどえらい事がしれっと実現されています。 さらにレンダラには10年ほど前に革新的なGIレンダラとして注目を集めたAr
EfficientJavaScript - Dev.Opera - 効率的なJavaScript 目次 この文書について 効率的なJavaScript ECMAScript eval や Function のコンストラクタを使うのはやめよう eval を書き換えよう 関数を使いたいなら function を使おう with を使うのはやめよう 性能を決める関数で try-catch-finally を使うのはやめよう eval と with は隔離しよう グローバル変数を使うのはやめよう 暗黙のオブジェクト変換に気をつけよう 性能を決める関数で for-in を使うのはやめよう 文字列は累積スタイルで使おう プリミティブの操作は関数呼び出しより速い setTimeout() や setInterval() には文字列でなく関数を渡そう DOM 再描画と再フロー 再フローの回数をでき
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1~5ms程度で応答しなければならない。Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
1リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く