ちょいとした用途において、カジュアルにFargateの起動/停止を繰り返して、気ままに負荷全開かけていたら、あまりの違和感にCPU割り当てについて調査することにしました。 最近こんなことばっかやってる気がしますが、気に食わんかったからムカムカ解消に書くしかないんや。半分くらいブラックボックス与太話な感じで夜露死苦です。 はじまり とある処理を全開でFargateにやらせて、cpu=1024(100%), 2048(200%), 4096(400%) でどのくらい RPS (requests per second) でるかを計測していると、想定通りならほぼ比例でRPSが伸びるはずが、全然そうならないパティーンに遭遇。 並列過剰やエラー・バグ起因ではないことをほぼ確させた上で、まさかCPUガチャじゃあるまいなと試したら、まんまCPUガチャでしたということで、EC2からある話ではありますが、現在
ContainersAWS Fargate platform versions primerAWS Fargate is a managed service to run containers. This is anAWS managed service that allows users to launch containers without having to worry about the infrastructure underneath. In anotherblog post, we explored in detail the new features and the changes we introduced withAWS Fargate platform version 1.4.0. Let’s step back and talk more holisti
Containers NEW – UsingAmazon ECS Exec to access your containers onAWS Fargate andAmazon EC2 Today, we are announcing the ability for allAmazon ECS users including developers and operators to “exec” into a container running inside a task deployed on eitherAmazon EC2 orAWS Fargate. This new functionality, dubbed ECS Exec, allows users to either run an interactive shell or a single command agai
FireLens という ECS で EC2/Fargate のどちらの起動タイプでも使用できるログドライバが、パブリックプレビューで誰でも使用できるようになったので試してみたメモです。Amazon ECS タスクから FluentBit, Fluentd を利用したログルーティングを可能にする "FireLens" ロギングドライバの Public Preview 開始です 👏👏👏 ECS, Fargate が利用できる全リージョンで今日からお試しいただけます! / "Amazon ECS andAWS Fargate FireLens ..." https://t.co/ZJDxRyBalk — ポジティブな Tori (@toricls) August 31, 2019 これまでの状況 Fargate のログドライバはしばらくの間 CloudWatchLogs しか使用で
必要なエンドポイント 起動タイプに「Fargate」を利用している場合、ECRにあるコンテナを使うためには以下の3つのエンドポイントを作成する必要がある ecr.dkrdockerコマンドを実行するためのエンドポイント s3 コンテナイメージをpullするためのエンドポイントlogs CloudWatchLogsへログを送信するために必要なエンドポイントawslogs(CloudwatchLogs)を利用する場合にのみ必要 エンドポイントのタイプが"Interface"の場合、エンドポイントのセキュリティーグループを作成し、ECSセキュリティーグループから443ポートの通信を許可する必要がある 参考: Systems Manager を使用したインターネットアクセスなしでのプライベート EC2 インスタンスの管理 エンドポイントを使用してプライベートサブネットでECSを使用する Te
$ ecs-cli compose service up --launch-type FARGATE WARN[0000] Skipping unsupportedYAML option... option name=networks WARN[0000] Skipping unsupportedYAML option for service... option name=networks service name=mysql WARN[0000] Skipping unsupportedYAML option for service... option name=networks service name=wordpressERRO[0001]Error registering task definitionerror="ClientException: Links are
こんにちは!リクルートライフスタイルの共通クラウド基盤でリードクラウドアーキテクトをしている須藤です。 この記事はAWS Advent Calendar 2018 の2日目の記事です!( リクルートライフスタイル Advent Calendar 2018 2日目の記事でもあります) リクルートライフスタイルの共通クラウド基盤では、サービスごとにアカウントを払い出して、サービス開発者がその環境を構築する、というスタイルです。クラウドアーキテクトチームはCCoE(Cloud Center ofExcellence)であり、TerraformやFargateを使いたい、という開発者に対しては、ペアプログラミングやアーキテクチャレビューなど、規範的・助言的な活動を通して成長しあっていく、という活動をしています。 当然、re:Invent 2018で発表された トランジットゲートウェイ や AW
ECSのログ事情についてAWSのECSによるコンテナ運用では、ログの出力がデフォルトでCloudWatchに限定されています。 これはECSのログドライバがawslogsになっているということになりますが、実用面では力不足であることが否めません。 S3やElasticsearchにログを流すには?Datadogなどのサードパーティツールにログを流すには? 解決方法として、AWSの公式でFireLensという方法が紹介されています。 Firelens の発表 – コンテナログの新たな管理方法 FireLensはfluentbitのコンテナをサイドカーとして起動し、ログの収集をfluentbitの機能で実行するというものです。 (fluentdも選択できます) 例)今回目指すWebアプリケーションの構成 実際に、AWSコンソールのECSのタスク定義を設定する画面には以下のような設定項目があり
Firelens + FluentBit を使って Datadog と S3(Firehose) にログを送る方法です。 今までは CloudWatchLogs,Lambda, StepFuntion を組み合わせて Datadog と S3 にログを送っていたのですが、Datadog にログを送るLambda がたまにコケるので、Firelens と FluentBit を使ってログを送るようにしました。Terraform を使って Fargate でNginx を動かす まず、Terraform を使って Fargate でNginx を動かします。 ファイル全文は こちら に上げてあります。 resource "aws_ecs_cluster" "nginx_cluster" { name = "nginx-cluster" } resource "aws_ecs_serv
「え???FargateにSpot?何言ってるかわからない」 Fargate Spot、いきなりでましたね。AWSで言うところの「Spot」は通常Spotインスタンス(=EC2)のことを表現するので、ホストインスタンスを持たないFargateにSpotと聞いて私も意味がわかりませんでした。弊社ブログでも既に速報が挙がっています。 【最大70%引きで使用可能、東京でも利用可能】AWS Fargate Spotがリリースされました。#reInvent | Developers.IO [新機能]AWS FargateにSpotキャパシティプロバイダが追加されたので試してみた | Developers.IO この記事では、Fargate Spotを使う上で必ず理解しておくべき上位概念のCapacity providerの解説と、利用上の各種注意事項をまとめます。はっきり言ってかなり複雑なので覚悟
ECSのスケーリング戦略を柔軟に設定でき、さらにFargate Spotを活用できるCapacity Provider、皆さんすでにお使いでしょうか? re:Invent2019の開催中に突如発表された新機能なのですが、「Fargate Spotとかいうのが使えるらしいで!」というキャッチーな側面はありつつも、その概念はECS全体を包括するもので、正直自分も最初とっかかりが難しかったです。 この記事は、CM re:Growth 2019 TOKYOで発表した内容を元に、Capacity Providerの全体像を掴んでもらうことを目的に書きました。ECSにおけるかなり大きな機能拡張なので、普段からECSを使われている方は、是非この記事でこの新機能を掴んでもらえればと思います。 (祭) ∧ ∧ Y ( ゚Д゚) Φ[_ソ__y_l〉 Capacity Provider マツリダワ
ECS/Fargateタスクのログ出力先をカスタマイズ (ルーティング) できる「FireLens」機能が正式リリースされましたので、試してみました。 みなさん、こんにちは!AWS事業本部の青柳@福岡オフィスです。 ECS/Fargateタスクのログ出力先をカスタマイズ(ルーティング)できる「FireLens」機能がAWS Containers Roadmap の リポジトリ でプレビューされていましたが、先日、正式リリースされました。 まだドキュメントが日本語化されていませんが、英語版ドキュメントの内容に沿って試してみました。 CustomLog Routing -Amazon ECS 従来の「CloudWatchLogs」へのログ出力 まず、従来の「CloudWatchLogs」へのログ出力を行ってみます。 全体の構成は下図のようになります。 ECSクラスターやALBの設定
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く