サクサク読めて、
アプリ限定の機能も多数！
アプリで開く
背景AWSでVPC作ったりしたことあるけど、GCPやったことないって人は色々違いに戸惑う アカウントの関係性、ネットワークの概念の違いなどを理解したのでまとめたAWSとGCPのアカウントの考え方の違いAWSの場合、ある人間に対して色々なAWSアカウントが付与される。 (人間) -> 個人で発行されたアカウント -> 会社で発行されたアカウントGCPの場合、ある人間は色々なプロジェクトというものに属することができる。 そして、その人間が使うアカウントはGmailとかで使ってるようなGoogleアカウントである。 (人間 withGoogleアカウント) ->プロジェクト 会社のやつ ->プロジェクト 何の関係もない個人のやつGCPの方が始めるのはすごく簡単な気がする。アカウント管理もGoogleアカウントさえやっときゃいいみたいな感じなので、Googleにロックインされる感は
Anomaly Detection Using AWS IoT and AWS Lambda | Amazon Web ServicesThe Internet of Things onAWS – OfficialBlog Anomaly Detection UsingAWS IoT andAWSLambda September 8, 2021:Amazon Elasticsearch Service has been renamed toAmazon OpenSearch Service. See details. One of the biggest benefits of the Internet of Things (IoT) is the ability to get contextual insight from sensor data. Before you analyze sensor data, you may want to remove anomalies. Sometimes, tho
続いてテーブルを作ります。 CloudFront のログはタブ区切りの TSV 形式で、フィールドは全部で 24 個あります。 アクセスログ - ログファイル形式 TSV のフィールド名を小文字のアンダースコア区切りにして、テーブルのカラム名にしました。CREATE EXTERNAL TABLE IF NOT EXISTSblog_manabusakai_com ( date DATE, time STRING, x_edge_location STRING, sc_bytes INT, c_ip STRING, cs_method STRING, cs_host STRING, cs_uri_stem STRING, sc_status INT, cs_referer STRING, cs_user_agent STRING, cs_uri_query STRING, cs_cook
こんにちは、データ分析部の阿部です。 作業中音楽は聞かない派ですが、ホワイトノイズを聞いていると集中できるという噂を聞いたことがあるので少し気になっています。 今回は、re:Invent2016で発表されたばかりのAthenaを紹介します。 Athenaとは データの準備 テーブル作成 速度測定 まとめ Athenaとは本日、AWSのre:Invent中で、RedshiftやEMRに続くビッグデータサービスとして、Athenaというサービスがリリースされました。 Athenaは、S3上のデータ（CSV, JSON, その他フラットファイル）に対して、インタラクティブにSQLを実行することができます。 RedshiftやEMRに比べて、クラスタの構築や運用を必要とせず、シンプルにクエリを実行できるというメリットがあります。 課金形態も、クエリ&読み込んだデータ量に応じて課金という点で、Go
最大の GPU を使用するクラウド上の仮想マシン、Amazon EC2 P2 インスタンスをリリースP2 インスタンスのご利用が可能になりました。これは高パフォーマンスのGPU プロセッサと大規模な並列浮動小数点パフォーマンスを必要とする計算処理能力を集中的に使用するアプリケーション向けに設計した新しいインスタンスタイプです。P2 インスタンスは詳細な学習、計算流体力学、金融工学、耐震解析、分子モデリング、ゲノム、レンダリングなどのワークロードに最適です。DirectX と OpenGL を必要とするグラフィックスワークでは、引き続き G2 インスタンスを使用することができます。 P2 インスタンスはクラウド上でもっとも高機能なGPU 仮想マシンであり、16 NVIDIA Tesla® K80GPU、合計 192GB のビデオメモリ、そして 4 万の並列処理コアが単精度浮動小数点パフォーマンスの 70 テラフロップスを提供、倍精度浮動小数点パフォーマンスでは 23 テラフロップスを
User Defined Functions for Amazon Redshift | Amazon Web ServicesAWS NewsBlog User Defined Functions forAmazon Redshift TheAmazon Redshift team is on a tear. They are listening to customer feedback and rolling out new features all the time! Below you will find an announcement of another powerful and highly anticipated new feature. — Jeff;Amazon Redshift makesit easy to launch a petabyte-scale data warehouse. For less than $1,000/Terabyte/year, you can focu
こんにちは＠oko_cangです。 前回のブログでPackerをとりあえず使ってみましたが、今回はもう少し作成するAMIに手を加える部分をまとめておきます。 前回の内容に付け加えるもの ルートデバイスのEBSを拡張してAMIを作るAmazonLinuxに簡単な初期設定を加える 公式で提供されているAmazonLinuxはルートボリュームのサイズが8GBのEBSを使用するので、これをもっと大きなEBSにします。 また、拡張したEBSをファイルシステムからも認識させたり、タイムゾーンを設定したりなど簡単な初期設定もした状態でAMIにします。 設定ファイル 実際に出来上がった、設定ファイルは以下の通りです。 作成するAMI名が前回と同じもにになっているので、適宜書き換えます。 ※access_keyとsecret_keyはそれぞれ自分のものに置き換えて下さい。 $ cat ~/.packe
Amazon Machine Learning – Make Data-Driven Decisions at Scale | Amazon Web ServicesAWS NewsBlogAmazonMachine Learning – Make Data-Driven Decisions at Scale Today,it is relatively straightforward and inexpensive toobserve and collect vast amounts of operational data about a system, product, or process. Not surprisingly, there can be tremendous amounts of information buried within gigabytes of customer purchase data, web site navigation trails, or responses toemail campaigns
情けない話ですが、自分の大チョンボでAWS の個人アカウントが第三者にアクセスされた結果 190万円相当のリソースが使われ、最終的にAWS さんに免除を頂きました。反省込みで本件のまとめを書きます。 自分が馬鹿を幾つも重ねた結果であって、AWS 自体は怖くないというのが伝われば幸いです はじめにまとめ S3 実験してた時に SECRET KEY を見える場所に貼っていた事があり、第三者がそれでアクセスし大量の高性能インスタンスを全力で回す (恐らくBitCoin採掘)AWS さんから不正アクセスの連絡があり、急いで ACCESS KEY 無効＆パスワード変更、インスタンス全停止、イメージ削除、ネットワーク削除 免除の承認フェーズを進めて、クレジットカードの引き落とし前に完了して助かるAWS さんのサポートAWS さんは最大限サポートしてくれました 承認フェーズが進まない時もあまり
どうも私です。久しぶりにやらかしてしまいました。AWSの請求額、普段は子供のお小遣いレベルだったのですが。4万円という高額の請求がやってきました。 冗長な構成を試しに試したあと、インスタンスを消去せずに放置したらこのザマです。 しかしながら世の中には不正アクセスで何百万も請求されている方もいるようですので、4万円なんてカワイイ物なのでしょうけど。 というわけで今回はAWSの請求金額の監視とアラームをやってみたいと思います。AWS Billing and Cost Management アラートをオンにするにはAWS Management Console にサインインして、Billing and Cost Management コンソールを開きます（https://console.aws.amazon.com/billing/home#/）。 左ナビゲーションペインで [Prefere
AWSでは新規にアカウントを取得してから1年間、サービスごとに無料枠が用意されています。 私のような貧乏エンジニアはその枠を大いに利用させてもらって勉強したいと思うのですが、AWSは従量課金のサービスなので、気づかぬ間に無料枠を超えてしまわないか心配です。 そんな人のためにAWSでは請求金額が一定金額に達した際にメールで通知される仕組みが用意されています。AWSのアカウントをとった人はまず最初にこの設定をしておくことをオススメします。 設定手順 まずAWSにログインし、メニューバーの右の方にある自分のアカウント名をクリックし、 『Billing & Cost Management』を選択します。 画像の赤丸で囲った『Enable Now』をクリックします。 左メニューの『Preferences』でも大丈夫です。 画像にあるように下記順に実行 『Receive Billing Alert
Vagrant 1.1 がリリースされました。 Vagrant は仮想サーバーのフロントエンドのツール、詳しくは Vagrant - naoyaのはてなダイアリー あたりを。 で、この 1.1 が 1.0 → 1.1 という割に結構大きなアップデートで新しく VM に VirtualBox 以外のものが選択できるようになった。すなわち「VirtualBox のフロントエンド = Vagrant」から「各種仮想マシンのフロントエンド = Vagrant」という風にアップデートされた。 今回の 1.1 からVMを操作するproviderがプラグイン構造となり、VirtualBoxだけならず、公式で操作できる対象が増えました。 VirtualBox VMware FusionAmazon EC2 +VPC Rackspace Cloud VMware Fusion以外はオープンソースで公開さ
こんにちは。ランチコンダクターです。 先日、第8回若手Webエンジニア交流会 #wakatewebにて 「vagrant-awsにプルリしたらマージされた話」をさせていただきました。 今回は、vagrant-awsの具体的な使い方をまとめてみます。 vagrant-awsとは 通常、VagrantはVirtualBoxのコントローラーとして使われていると思いますが、バージョン1.1からプラグインを使用することにより、様々な仮想化技術に対応した仮想マシンのコントローラーとなりました。 vagrant-awsは、VagrantでAWSを操作することができるようになるプラグインです。図で表すと以下のような感じになります。AWSにて準備事項 事前準備としてAWS側での準備が必要なのですが、ここでは省略します。 とりあえず、以下を行っておけば最低限は大丈夫だと思います。 access_ke
ウィスキー、シガー、パイプをこよなく愛する大栗です。 半年前に「Amazon EC2再入門 2014年7月版」と銘打ってEC2の記事を書きましたが、AWSらしい頻繁なアップデートによって古くなっている部分もあるので、記事もアップデートしようと思います。 最近EC2関連の重要アップデートが出てきました。嬉しい機能が増えているのですが、昔の知識では使いこなせないので、現時点でのEC2の起動方法について纏めようと思います。 起動手順 EC2を起動していきましょう。 AMIの選択 AMI(AmazonMachine Image)を選択します。 AMIの種類AmazonMachine Image(AMI)には以下のような種類があります。 My AMI 自分で作成したAMIです。AWS Marketplace Marketpkaceで公開されているAMIです。 Community AMI 他の
インフラストラクチャー部 星野(@con_mame)です。クックパッドでは、AWSを活用してサービスを行っています。 現在クックパッドでは、各種キャッシュにMemcachedやRedisを使用しています。 しかし、用途の多様化やアクセス数の増加などでこれらのサーバのインスタンス数が増加し管理コストが増加してきています。 特にRedisサーバのインスタンス数が増加しており、AWSのサービスの中でもキャッシュのサービスを提供しているElastiCache for Redisへの置換えを検討しています。 ElastiCache for Redisは、一部管理系のコマンドがrenameされており使用出来ませんが、通常のRedisと同じ物で、現在Version 2.6.13と2.8.6が使用出来ます。 SlaveにあたるものはReplication Groupという形で指定でき、Replicati
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
