Airbnb is a fast growing, data informed company. Our data teams and data volume are growing quickly, and accordingly, so does the complexity of the challenges we take on. Our growing workforce of data engineers, data scientists and analysts are usingAirflow, a platform we built to allow us to move fast, keep our momentum as we author, monitor and retrofit data pipelines. Today, we are proud to an
Native Navigation DISCLAIMER This project is currently in beta. Many of the coreAPIs are subject to change, and we do not consider this project "Production Ready" untilit hits a 1.0 release. We encourage people to try this library out and provide us feedback as we getit to a stable state we are confident in, but not to rely onit for production use until then. Read more about our Roadmap to 1.0
Recently I had the opportunity to do a collaborativeblog post with Maxime Beauchemin about ApacheAirflow and the future of data engineering. Maxime is a data engineer atAirbnb andcreator of their data pipeline framework, ApacheAirflow. This framework is used by numerous companies and several of the biggest unicorns — Spotify, Lyft,Airbnb,Stripe, and others to power data engineering at massi
How doesAirbnb ensureits massive site operates without failure or interruption? We learn the secrets directly from someone on the Site Reliability team. As part of the CXOTALK series of conversations with innovators, I recently interviewed Cameron Tuckerman-Lee, a site reliability engineer atAirbnb. I caught up with Cameron at New Relic's FutureStack16 conference. Site reliability is moretechn
Chronos is our replacement forcron.It is a distributed and fault-tolerant scheduler which runs ontop of Mesos.It’s a framework and supports custom mesos executors as well as the default command executor. Thus by default, Chronos executes SH (on most systems BASH) scripts. Chronos can be used to interact with systems such as Hadoop (incl.EMR), even if the mesos slaves on which execution happen
スタートアップが失敗する確率は93%「僕らはゆっくり40年間働く代わりに、4年間限りなくハードに働く」イラスト:リーディング&カンパニー 不況が深刻になればなるほど、安定的な仕事を求めて大学に進学する傾向が強く、アメリカの名門校、プリンストン大学、ハーバード大学、そしてイェール大学などへの申し込みは過去最高になっているそうですが、大手企業でただ毎日、エクセルのファイルを見ているだけのホワイトカラーの仕事は、どんどん無くなっていくのは間違いありません。 ペイパルの共同創業者で億万長者のピーター・ティールは、20歳以下の起業家20人に対して、もし自分のアイデアを追求するために大学を辞めれば、約1000万円の助成金を与えるという制度を設立しましたが、イェール大学在学中にKikoというサービスを立ち上げ、eBayへの売却に成功したジャスティス・カンは、「大学で身に付けた知識とスキルのうち、現在I
新しい年が始まった。皆さんはいかがお過ごしですか。 昨年2014年は日本ではUberやAirbnbなどの共有経済サービスが広がり始めたり、自動車業界に革新をもたらすテスラモーターズが上陸して話題を集めた。アメリカでは次の分野で新たなサービスが台頭して盛り上がった。 Wunwun / Washio / Homejoyなど生活を楽にしてくれるオンデマンド/デリバリーサービス Yo / Slingshot /Whisperなどの簡略/短命/匿名メッセージングアプリ Spire / Electric Objects / Atlas Whearablesなど物とインターネットをつなげるIoTサービス 3Dプリントやビックデータ分野でも研究開発が進み、一般ユーザーに向けたデバイスやサービスが徐々にリリースされ始めている。また、アメリカやサンフランシスコ/シリコンバレー以外から生まれたサービスも目立っ
By Igor Serebryany & Martin Rhoads What is SmartStack?SmartStack is an automated service discovery and registration framework.It makes the lives of engineers easier by transparently handlingcreation, deletion, failure, and maintenance work of themachines running code within your organization. We believe that our approach to this problem is among the best possible:simpler conceptually, easier t
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く