概要本稿は、クラウド内の仮想マシン (VM) サービスに対する潜在的な攻撃ベクトルを特定・緩和するための戦略について解説します。組織はこの情報を使って、VM サービスに関連する潜在的リスクを理解し、防御メカニズムを強化できます。この調査では、Amazon Web Services (AWS)、Azure、Google Cloud Platform (GCP) という 3 つの主要クラウド サービス プロバイダー (CSP) が提供する VM サービスを中心に取り上げます。 VM はあらゆるクラウド環境で最も利用数の多いリソースの 1 つで、その多さがゆえに、攻撃者らの主要な標的にされています。私たちの研究からは、インターネットに公開されているクラウドホストの 11% には、深刻度が「緊急 (Critical)」または「重要 (High)」と評価される脆弱性があることがわかっています。 V
Google Cloud で何かアプリケーションを動かしたい時、いつも App Engine (GAE) を第一の選択肢として挙げています。 なのにみ〜んな Cloud Run に行ってしまう。なぜなのか?? 確かに Cloud Run のほうが新しくて公式に露出が多いし、GAE はこういうランディングページからの言及も消えているので無理もない。Google Cloud 的にもあんまり使って欲しくない雰囲気が漂っている。 cloud.google.com App Engine はGCP 最初期からあるサービスで今年で 14 年目になるらしい。 当時学生だった僕はすげーのが出たぞと聞いて GAE を触っていた記憶がある。その頃はGoogle App Engine 単体で出ていて、他のサービスが続いてGoogle Cloud Platform になったような気がする1。 そんな歴史あるサ

前から気になっていた Litestream を Cloud Run で使ってみたので、そのメモです。 Litestream とは? サンプルコード 手順 動作確認してみる 制限事項 おまけ まとめ 参考 Litestream とは? Litestream は、SQLite のデータベースファイルをAmazon S3 やGoogle Cloud Storage などのオブジェクトストレージにリアルタイムでレプリケートすることができるオープンソースのツールです。 例えば通常 Cloud Run でDB エンジンとしてSQLite を使用しようとしても、コンテナが破棄されると同時に毎回SQLite のデータベースファイルも消えてしまうため、データを永続化することができません。 しかし Litestream を使用すれば、SQLite のデータベースファイルをオブジェクトストレージに

はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか? 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅

人気の「スプラトゥーン3」を通して、最新の通信技術の基本を学んでしまおうというこの特集。今回は実際にスプラトゥーン3のパケットをWiresharkでキャプチャーして、UDPの通信やNAT越えの仕組みを見ていきます。 なお記載内容については、実際の通信をキャプチャーした結果に基づいた筆者の考察や推測によるものであり、任天堂の公式見解ではないことを記しておきます。 任天堂が開発した汎用ゲームプラットフォーム「NPLN」スプラトゥーン3では、「NPLN」という、任天堂がスクラッチから開発をした任天堂プラットフォーム向け汎用ゲームサーバーが使われ始めました。従来のプラットフォームである「NEX」はニンテンドー3DS/Wii Uからの世代で使われてきて、NPLNはそこでのノウハウを基に2021年から「Google Cloud Platform(GCP)」で稼働しているようです。オンライン対戦のマッ

※この投稿は米国時間2022 年 6 月 28 日に、Google Cloudblog に投稿されたものの抄訳です。 編集者注:Twitter はデータの宝庫と言われています。しかし、世の中で何が起きているのか、人々は今何を話しているのか、その情報をどのようにビジネスのユースケースに活かすのかを理解するために、ツイートを分析する作業には、これまで高度な技術と時間が必要でした。今はそうではありません。Twitter は最近、Google Cloud 向けのAPI ツールキットを発表し、デベロッパーが数分以内にツイートから大規模にインサイトを獲得できるよう支援しています。このブログは、これを実現したTwitter チームとの対話をもとに書かれています。このブログに貢献してくだった、Twitter の Prasanna Selvaraj 氏と NikkiGolding 氏に謝意を表し

はじめに inspired mogaさんのブラウザで動くサービスを作るときの技術選定が素晴らしい記事だったので、自分も書いてみる事にしました。 幸いにも技術選定からのお仕事をする機会が多くて、自分の中でパターンが大体決まってきているので言語化してみます。前提が同じサービスは無いので絶対的な正解は無いですが、なんかしらの参考になれば幸いです。 ※2022/02時点 私/よくあるお仕事について Web系のサービスなんかいい感じにするマンとして、フリーランスとして働いています。 準委任という形でスタートアップ企業をお手伝いする事が多いです。 MVPを作りたい、もしくはMVPは行けたのでちゃんと作り直したい、という要望があって参画して、まるっと作ってそのまま運用をします。作って終わりではなくて、運用や拡張性を考えてやってます(サービスに必要なのはもちろん、運用する自分が楽だから)。 前提 エンジニ

はじめまして。JX通信社でデータアナリストをしている @nrtaking です。 弊社では、7/23〜8/8に行われた東京オリンピック、8/25〜9/5に行われた東京パラリンピックにあわせて関連した日本語ツイートを全量収集し、Twitter Japanなど各社に提供していました。 内容に関する簡単な分析についてはプレスリリースでお伝えしているので、そちらもあわせてご覧ください。 prtimes.jp 実はこのツイート収集システムは、2週間ほどでほぼゼロから立ち上げたものでした。 今回は五輪関連のツイート収集を支えた技術について紹介します。 叶えたかった要件 五輪に関するツイートを、NTTデータの提供するAPIからストリームで受け取り続ける ツイート量などの統計情報やRTが多いツイート情報をダッシュボードの形で見ることができる 上記を(ほぼ)リアルタイムで実現できる 実はこの取り組みにあたり

みんなの銀行:日本初の「デジタルバンク」としてGoogle Cloud に勘定系を構築。CloudSpanner で銀行基幹システムで求められる可用性を実現 2021 年 5 月にサービス提供を開始した「みんなの銀行」は、デジタル ネイティブ世代をターゲットとしたスマートフォン専業銀行。金融にまつわる煩わしさを排除し、ゼロベースでこれからの銀行に求められる機能を開発・提供していくと打ち出しています。そんな同行の大きな技術的トピックの 1 つが、勘定系システムにパブリッククラウドを採用したこと。これはもちろん国内初*の試みです。ここではサービス開始後の手応えをシステム構築をリードしてきた皆さんにお伺いしました。 利用しているGoogle Cloud ソリューション:Google CloudDatabases、Stream Analytics 利用しているGoogle Cloud

Kaggle Advent Calendar 13日目の投稿です。 初めまして、Lain(@lain_m21)と申します。Qiita初投稿です! 今回はKaggle関連のトピックで何か短いのを一本書こうと思い、私が普段行なっているコンペ用の環境構築についていくつか良いなと思ったtipsをシェアしたいです。 先に結論からまとめておくと、 ローカルPCよりクラウドの計算資源をうまく使おうAWSもいいけど、GCPの方が目的に応じてインスタンススペックを細かくチューニングできるので良いぞ 今後のクラウドの環境構築をスムーズにするためにdockerを使おう といった感じです。昨今のコンペの規模を考えるとクラウドで計算することが増えると思うのですが、いちいちコンペごとに環境構築したりめんどくさいと思うので、できるだけdockerで自動化して楽しよう!というのが趣旨になります。 一応順を追って説明しま

株式会社バンダイナムコスタジオ様の導入事例動画:Google App Engine の活用で、ゲームリリース後のトラブルとは無縁の「平和な日々」という驚きを体験ゲームアプリ「アイドルマスター ミリオンライブ! シアターデイズ」(配信元:株式会社バンダイナムコエンターテインメント)の開発にあたり、株式会社バンダイナムコスタジオはGoogle Cloud Platform(GCP)の導入を決断します。Google App Engine(GAE) は、スケーリングが極めて高速であり、突発的なアクセス数増加にも柔軟に対応することが可能です。この GAE を活用し、大きなメリットを生み出した同社の事例をご紹介します。 ■ 利用しているGoogle Cloud Platform サービスGoogle App Engine、GoogleKubernetes Engine、Cloud Dat

TensorFlowのためのGPU環境をGCPのGoogle Compute Engine (GCE)で構築するには、GPUの割り当て申請(初回のみ。所要時間は約5分) CUDAやcuDNNをインストール(NVIDIAのサイトからダウンロードしたりインストールしたりなんだりでスゲー時間かかって面倒) TensorFlowをインストール(所要時間は約5分) って手順が必要。しかし最近、Cloud DatalabのGPUインスタンスが利用可能になったおかげで、この手順がぐんと簡単になった。GPUの割り当て申請(初回のみ。所要時間は約5分) Cloud Datalabインスタンスを作成(コマンド一発、待ち時間は15分ほど) これでOK。DatalabインスタンスにはTensorFlowだけじゃなくて、scikit-learnとかpandas、matplotlib等の定番ツールも入ってるので、

日本国内で圧倒的なシェアを誇り、今や知らない人はいないというほど認知度を増した「メルカリ」。その勢いは国内だけに留まらず、2014 年 9 月には米国に、2017 年 3 月には英国でのサービスを開始しています(世界累計 1 億ダウンロード。2017 年 12 月 16 日時点)。海外展開に消極的と言われる国内サービス事業者ですが、同社に関してはその常識は通用しないようです。今回は、そんなメルカリの米国における最新の取り組みについて、今春 CTO に就任した名村 卓さんと、SRE 中島 大一さんにお話をお伺いしました。 ■ 写真左から 執行役員 CTO 名村 卓氏 SRE 中島 大一氏 ■ 利用しているGoogle Cloud Platform サービスGoogleKubernetes Engine、CloudDataflowなど ■ 株式会社メルカリ 2013 年 2 月 1 日

Cloud ML Engineへ学習JobをJupyterから簡単に投げたいなぁと思い、そんなJupyter用 Magic Command Extensionを作りました。 Jupyterで書いたモデルを、Runすればクラウド上で実行することができます。 こんな感じ。 Cloud ML Engineとは 簡単に言えばTensorFlowの学習や予測JobをCloud上で実行できるマネージドな環境です。一般的にはDistributed TensorFlowで大規模に学習をさせるケースが多いかと思いますが、私のようにメインマシンがMacBookでGPUも使えない環境の場合は、GPUを気軽に使えるリモートの環境として重宝しています。 また、GCEとは違ってJobが終われば自動で立ち下がるため、インスタンス落とし忘れで課金が大変な事になる心配もありません。 準備Google Cloud SDKの

GCP Cloud MLを使ってハイパーパラメータチューニングをやる方法です。 普段の開発環境にはGPU付いてないので、ここぞという時はGCP(Tesla K80)使ってます。お値段は1時間使って約1.5ドル(160円)ほどです。 ※ちなみにTesla K80のお値段って80マンもするんですね。たかっ! ハイパーパラメータチューニングみたいにPCぶん回さないといけない場合も、CPUだと厳しいのでGCPを使います。 CloudMLを使ってトレーニングができる環境が構築済みという前提で話を進めていきます。 準備 まずは、CloudML上でハイパーパラメータチューニングを行うためにいくつか準備が必要です。 1.パラメータを実行時オプションから指定出来るようにソースコードを書き換える チューニング対象のパラメータをプログラム実行時のオプションで指定できるように書き換えます。 例えば、下記のように学
Google CloudMachine Learning がパブリック・ベータになった旨のお知らせを頂きましたのでさっそく試してみました。サービスの概要は以下に記されています :Google Cloud Big Data andMachine LearningBlog 要約すれば、Google CloudMachine Learning はGCP (Google Cloud Platform) と統合され、Google CloudDataflow、BigQuery、Cloud Storage そして Cloud Datalab のようなクラウド・コンピューティング・ツールと TensorFlow に渡るリッチな環境をスケールして作成可能なフルマネージドサービスになります。 また、新しい特徴として HyperTune があります。これは自動的に予測精度を改善します。モデルのため
これはTensorFlow Advent Calendar 2017の22日目の記事です。 12/12にGoogleからTFGANがリリースされた。TFGANはTensorFlowでGenerative AdversarialNetworks (GAN)を手軽に使えるライブラリ。さっそく触ってみたので、お手軽に試す手順を紹介したい。おそらく30〜60分ほどでこんなふうにFashion MNISTの画像が徐々に生成されていく様子が確認できるはず。 TFGANで生成したFashion MNIST画像 GANって何? GANについては、アイドル顔画像生成やいらすとや画像生成などの事例で目にしたことのある人も多いはず。いわゆる生成モデルに分類される技法で、既存のデータを投入して学習すると、そのデータの特徴を捉えた新しいデータの生成を行える。2014年にIanGoodfellow他が考案したモデ

こんにちは.たんごです.ニュースを読んでいたら常時無料プランができたらしいですね.AWSは1年間無料枠があるのとバイト先で利用しているので慣れ親しんでいますし,さくらのクラウドはよくクーポンをもらっていたのでそれで楽しんでいました.またAzureに関しても昨年のISUCONで使ってみてWebUIはハゲるほど使いづらいなぁという印象を受けていましたがGCPだけは使っていませんでした. しかし jp.techcrunch.com の記事にあるようにGCPのCompute Engine (AWSのEC2に相当)にも常時無料枠が登場したとのことなのでせっかくですが試してみます. 残念ながら私にはないのですが初めて利用する方には12ヶ月有効の300ドルクレジットがもらえるらしいですよ 始め方プロジェクトを作成する. IAMの画面にあるプロジェクト作成を選択して適当な名前で. アカウントに課金を有

リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く