Downloaded 52 times
![© 2020, Amazon Web Services, Inc. or its Affiliates. All rights reserved.AWS LambdaのVPCリソースアクセス• Blog記事 [発表] Lambda 関数が VPC 環境で改善されますhttps://aws.amazon.com/jp/blogs/news/announcing-improved-vpc-networking-for-aws-lambda-functions/• ネットワークインターフェイスの作成はLambda関数の作成時• アカウント内のセキュリティグループ、サブネット単位にENIを共有](/image.pl?url=https%3a%2f%2fimage.slidesharecdn.com%2f20220126-anti-220126190603%2f95%2f20220126-JAWS-UG-2022-AWS-53-638.jpg&f=jpg&w=240)
Uploaded byAmazon Web Services Japan
PPTX, PDF5,692 views
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
2022年1月26日 AWS Expert Online for JAWS-UG 19 登壇資料です。by Yasuhiro Araki
Recommended
More Related Content
What's hot
Similar to [20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
More from Amazon Web Services Japan
[20220126] JAWS-UG 2022初頭までに葬ったAWSアンチパターン大紹介
- 1.© 2022, AmazonWeb Services, Inc. or its Affiliates.Yasuhiro ArakiSpecialist Solutions Architect, ContainersAmazon Web Services JapanJan, 20222022初頭までに葬ったAWSアンチパターン大紹介https://bit.ly/awsxon19-antiptテキストで一覧できます
- 2.© 2022, AmazonWeb Services, Inc. or its Affiliates.荒木靖宏 です。どうぞよろしくAWSコンテナスペシャリストプリンシパルソリューションアーキテクト2011年からAWSのソリューションアーキテクトです10年間好きなサービスは AWS DirectConnect と EC2 Spothttps://bit.ly/awsxon19-antiptテキストで一覧できます
- 3.© 2022, AmazonWeb Services, Inc. or its Affiliates.本日のお話アンチパターンはリファクタリング方法が存在する3つの避けるべき、タイミング別のメタアンチパターン前回（2018年5月）から2022年初頭までに葬ったアンチパターン新サービス紹介（だけ）ではありませんhttps://bit.ly/awsxon19-antiptテキストで一覧できます
- 4.© 2022, AmazonWeb Services, Inc. or its Affiliates.アンチパターンの前にhttps://bit.ly/awsxon19-antiptテキストで一覧できます
- 5.© 2022, AmazonWeb Services, Inc. or its Affiliates.AWS Support
- 6.© 2022, AmazonWeb Services, Inc. or its Affiliates.AWS Supporthttps://aws.amazon.com/jp/premiumsupport/tech-support-guidelines/
- 7.© 2022, AmazonWeb Services, Inc. or its Affiliates.AWSクラウドデザインパターンとは...AWSクラウドを使ったシステムアーキテクチャ設計を行う際に発生する、典型的な問題とそれに対する解決策・設計方法を、分かりやすく分類して、ノウハウとして利用できるように整理したもの。https://bit.ly/awsxon19-antiptテキストで一覧できます
- 8.© 2022, AmazonWeb Services, Inc. or its Affiliates.アンチパターンの紹介https://bit.ly/awsxon19-antiptテキストで一覧できます
- 9.© 2022, AmazonWeb Services, Inc. or its Affiliates.アンチパターン失敗に陥るパターンを類型化し、事例の早期発見と対応策に関しての提案を目的とする動作やプロセス、構造について、当初は妥当であったのに、最終的に悪い結果が繰り返されるパターンリファクタリングするための方法が存在するパターンhttps://bit.ly/awsxon19-antiptテキストで一覧できます
- 10.© 2022, AmazonWeb Services, Inc. or its Affiliates.タイミング別の「メタ」アンチパターンhttps://bit.ly/awsxon19-antiptテキストで一覧できます
- 11.© 2022, AmazonWeb Services, Inc. or its Affiliates.机上の空論アンチパターン塩漬けアンチパターンTCO無視アンチパターンhttps://bit.ly/awsxon19-antiptテキストで一覧できます
- 12.© 2022, AmazonWeb Services, Inc. or its Affiliates.サービスアップデートによりアンチパターンとなったパターンの紹介
- 13.© 2022, AmazonWeb Services, Inc. or its Affiliates.サービスアップデートによりアンチパターンとなったパターン項目• Cost and Usage• Analytics• CloudOps• Compute• Database• Network• Serverless• Storage• Security
- 14.© 2022, AmazonWeb Services, Inc. or its Affiliates.Compute
- 15.© 2022, AmazonWeb Services, Inc. or its Affiliates.Computeにおけるアンチパターン打破例• EC2• スポットインスタンスの「中断」を任意に発生させられるようになりました。Fault Injection Simulatorから実施できます(2021-10). 2017-12以前は「入札」だったので指値を安くして中断を期待していた。• タグ取得はrate limit考慮が必要だったが、インスタンスメタデータを使えるようになった(2022-01)
- 16.© 2022, AmazonWeb Services, Inc. or its Affiliates.Computeにおけるアンチパターン打破例• Container• Fargateでもコンテナに入れるようになった(ECS exec)。ECS(EC2)でEC2に入って、コンテナ探して、コンテナに入って、をしないでよくなった(2021-03)• Docker Hubのスロットリング回避のために、ECRに手動更新していたが、pull-through-cacheによりシンプルに(2021-12)
- 17.© 2022, AmazonWeb Services, Inc. or its Affiliates.Computeにおける耳寄りupdate（アンチパターン外）• EC2• send-diagnostic-interrupt のAPI call。EC2に最上位のNMI割り込みをあたえて好きなタイミングでメモリダンプが吐ける。強制的な中止からの再起動が高速にできることも(2019-08)• IPv6 only subnetの導入と同時に、EC2 インスタンス ID で名前解決ができる（i-0123456789abcdef.region.compute.internal）ように(2021-11)
- 18.© 2022, AmazonWeb Services, Inc. or its Affiliates.Cost and Usage
- 19.© 2022, AmazonWeb Services, Inc. or its Affiliates.購買におけるアンチパターン打破例• Cost and Usage Report• AWS Organization のアカウントで、それぞれのコストと使用状況レポートをセットアップできるように。以前は管理アカウントが必要。• Reserved Instance• 日時を指定してリザーブドインスタンスが購入できるようになった(2019-10).以前は切れ目なく重複なく購入するのが難しかった。• Savings Plan• Savings Planにより、1年間または3年間の利用料をコミットするだけで割引をEC2、Fargate，Lambda, SagaMakerに適用されるようになった(2019-11)。RI購入のための精緻なプランが不要に。• CloudFront Security Savings Bundle• 1年間、月間最低使用料をコミットする前提で、Lambda@EdgeやCloudFrontFunctionsの利用分を含む全てのCloudFrontの利用が対象となるため、あらゆるユースケースにおいて有効。待つこと無く最大 30% 節約できる柔軟なセルフサービス(2021-02)
- 20.© 2022, AmazonWeb Services, Inc. or its Affiliates.利用選択におけるアンチパターン打破例• S3 Intelligent Tiering• コスト節約のために、精緻にストレージクラスを検討してもよいが、S3 Intelligent Tiering の活用により、ある程度 S3側におまかせする事が可能に(2018-11)• Redshift• RA3ではストレージとCPUのスケールが分離された。ストレージ起因でむやみにインスタンスコストが嵩むのをかなり抑えられるように(2019-12)• OpenSearch• UltraWarm。RedshiftのRA3と同様、ストレージ起因でむやみにインスタンスコストが嵩むのをかなり抑えられるように (2020-05)
- 21.© 2022, AmazonWeb Services, Inc. or its Affiliates.Analytics
- 22.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon Redshift フルマネージドのデータウェアハウスサービスAmazonRedshiftJDBC/ODBC広帯域ネットワーキングRedshift マネージドストレージ特徴 (http://aws.amazon.com/jp/redshift/)• 最小 160GB から最大 8.0PB まで拡張可能• 分析ワークロード向けに特化した超並列 (MPP),カラムナ型 DB エンジンによる高速処理• データレイク/他 AWS サービスとの高い親和性• 従来のデータウェアハウスの1/10のコスト価格体系 (http://aws.amazon.com/jp/redshift/pricing/)• Redshift インスタンス起動時間 (1秒単位)• ストレージ使用量 (RA3 インスタンスのみ)• S3 データレイクへのクエリ Scan 容量 ($5/TB)• Concurrency Scaling 追加クラスターでのクエリ実行時間 (1秒単位)
- 23.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.契約・環境面でもデータのやり取りには様々な障壁が!煩雑な契約と承認の時間!データ取得インフラの構築!受信・保存するHWを用意!支払いスキームの構築!複雑な契約書を用意!顧客獲得にかかる費用データ提供を断念データ取得を断念購読者 データプロバイダー
- 24.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWS Data ExchangeAWS Data Exchange Private Productsデータ提供者社外向けデータ販売社外パートナー企業向けデータ提供社内間データ配信AWSData Exchange2019-112020-11
- 25.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon AppFlow特徴• SalesforceやGoogle AnalyticsといったSaaSアプリケーションとネイティブに連携• 送信元/送信先、多数のSaaSと連携可能• フルマネージドサービスの為、サーバー管理不要• GUI操作、かつノンコーディングでデータのマッピングやフローを定義することが可能• AWS PrivateLink、AWS Key ManagementServiceを使ってセキュアにデータ転送が可能AWSサービスとSaaS間のデータフローを自動化送信先Amazon RedshiftAmazon S3Amazon AppFlow送信元Amazon S32020-04
- 26.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.データの抽出・変換・ロード (ETL)、カタログ化をオールインワンで実施特徴 (https://aws.amazon.com/jp/glue/)• サーバレスで稼働し、ジョブが使用するリソースに対してのみお支払い• Glue データカタログでメタデータの保存・管理を実施可能• 多様なデータソースへのアクセスを可能にするコネクタ機能• ワークフロー管理、モニタリングなどの運用管理機能も充実価格体系 (https://aws.amazon.com/jp/glue/pricing/)• ETLジョブApache Spark：$0.44 DPU/時 (秒単位)Python Shell ：$0.44 DPU/時 (秒単位)または 1/16 DPU：$0.0275 DPU/時(秒単位)• データカタログストレージ：100 万オブジェクトまで無料リクエスト：100 万リクエスト/月まで無料• クローラー$0.44 DPU/時 (秒単位)AWS Glueデータソースクローラ データカタログサーバーレスエンジン①データをクロール②メタデータを管理AWS Glue③手動、スケジュール、イベントで起動⑤変換ジョブを実行してデータをターゲットにロード④変換対象のデータを抽出スケジューラデータソース他のAWSサービス
- 27.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.利用者のスキルセットやユースケースにあわせて適切な開発ツールを選択可能AWS Glue Studio• Glueジョブを構築するGUI• データ抽出、出力、ジョイン等の汎用的な処理はノンコーディング• 変形処理をSQLで記述することも可能AWS Glue DataBrew（https://aws.amazon.com/jp/glue/features/databrew/）• コードを記述することなく分析や機械学習のためのデータ準備が可能• 250以上のビルトイン変換機能を備えており、効率的に異常値の排除やフォーマットの整理を行うことができるAWS Glue価格体系(https://aws.amazon.com/jp/glue/pricing/)• DataBrewジョブ $0.48/ノード/時(60分単位)• DataBrewインタラクティブセッション 1$/30分※初めての利用40分は無料2020-112020-09
- 28.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.セキュアなデータレイクを数日で構築特徴 ( https://aws.amazon.com/jp/lake-formation/ )• データレイクをすばやく構築：データソースからのデータ認識・取込・クレンジング・カタログ化・変換を容易に実行• セキュリティ管理を簡素化：データレイクにアクセスする複数サービスに対し、横断的にセキュリティポリシーを適用可能• リアルタイム監査、モニタリングへの対応価格体系• Lake Formation 自体の利用は無償• Lake Formation で利用されるサービスにかかる費用のみのお支払い新しいインサイトの獲得と管理複数サービス横断セキュリティポリシー適用データの認識、取込、クレンジング、変換AWS Lake Formationデータ取込みと構造化• 自動的にデータ取込み、成形、暗号化して、既存のAmazonS3バケットに登録セキュリティ＆コントロール• 適切なユーザー、グループに正しいデータへのアクセス制御を定義• データベース、表、列の単位の粒度で制御可能利用の促進• メタデータカタログを利用した検索と定義確認• 新しいデータ取り込み時のポリシーを定義可能モニタリングと監査• アクセス要求や発生したポリシー例外を記録• アクティビティ履歴で詳細に変更ログやデータの入手経路をレビュー2018-11
- 29.© 2022, AmazonWeb Services, Inc. or its Affiliates.Amazon Managed Streaming for Kafka (MSK)特徴 ( https://aws.amazon.com/jp/msk/features/ )− ネイティブな Apache Kafka API をそのままサポート− フルマネージドなサービスとして提供（クラスター管理の Apache Zookeeper も内包）オープンソースの分散ストリーミングプラットフォームであるApache Kafka をフルマネージドで提供するサービスProducerお客さまのVPCConsumerBroker NodesAmazon MSKZookeeper NodesTopic CreatorNative Kafka API
- 30.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon MSK public accessService VPCCustomer VPCAmazon ManagedStreaming for Apache KafkaElastic networkinterface• インターネット経由で MSK クラスターへの接続が可能 (デフォルトは VPC 内からの接続のみ)• 外部からのデータ移行などに活用可能• セキュリティグループ、認証設定、暗号化などセキュアな設定が必須。また作成時に有効化することはできないPublic subnet
- 31.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon MSK Serverless Cluster (Public Preview)Service VPCCustomer VPCAWS PrivateLink Amazon ManagedStreaming for Apache KafkaElastic networkinterface• 事前見積もり不要で利用可能。最大 200 MB/s (書き込み)、400 MB/s(読み取り) まで動的にスケール• ブローカーインスタンス管理は不要。トピックのパーティション配置も自動で最適化される• ブローカーインスタンス毎の課金は発生しない。保持データおよび書き込み、読み取りに対する課金。クライアントは broker を意識する必要は無く、単一のbootstrap エンドポイントを指定して接続する。boot-xxxxxxxx.cN.kafka-serverless.us-east-2.amazonaws.com:9098
- 32.© 2020, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon EMRSpark, Hadoop, Hive, Presto, HBase などのビッグデータフレームワークを簡単に低コストで実行可能AWS サービスとの連携❏フルマネージド：クラスター構築から構成変更、破棄まで❏自動化：ライフサイクル(起動/実行/終了) を API で制御可能❏コンピュートとストレージの分離 (EMRFS):❖Amazon S3 上のデータを直接読み書き❖必要な時だけクラスターを利用することでコスト削減❏オートスケーリング: クラスターサイズをワークロードに応じて自動変更❏インスタンスフリート：スポット/オンデマンドキャパシティーを組合せて クラスターコストを最適化❏性能向上: 最適化された Spark / Presto ランタイムを利用可能❏多様なデプロイメントモデル: on EC2 / on EKS / on Outpost❏EMR Studio: フルマネージド型 Jupyter Notebooks を利用した統合開発Amazon EKS新しいデプロイメント(EMR on EKS)HadoopHadoop/SparkAmazon EMR クラスタAmazon EC2
- 33.© 2022, AmazonWeb Services, Inc. or its Affiliates.CloudOps
- 34.© 2022, AmazonWeb Services, Inc. or its Affiliates.プロビショニング |オペレーション |AWS の マネジメントとガバナンスサービス準備 |ビジネスアジリティ + ガバナンスコントロールAWSOpsWorksAWSMarketplaceAWSCloudFormationAWSService Catalog拡張とインテグレーションAWSCloudTrailAWS SystemsManagerAWSConfigAWSCost ExplorerAWS TrustedAdvisorAmazonCloudWatchAWS Cost andUsage ReportAWSControlTowerAWSOrganizationsAWSBudgetsAWSLicense Manager
- 35.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWS Systems Manager 全体像AWS および オンプレミス のサーバー群を管理する多機能なツールセットスケジューリング構成検証・監査オペレーション(操作)ログ/メトリクスCloudWatchSSMMaintenanceWindowCloudWatchEventsSSMState ManagerSSMInventorySSMPatch ManagerSSMSession ManagerSSMRunCommandSSMAutomationSSMDistributor対話型アクセスLogs Metricsランブック実行 スクリプト実行パッケージ配布EC2インスタンス群SSMChangeCalendar設定/ドキュメントSSM OpsCenterDashboard/作業管理SSMParameterStoreSSMDocument要対応作業確認インベントリ情報OSパッチ適用定期Automation実行SSM Agent(SSMマネージドインスタンス化の前提)SSM Explorerマネージドノード概観SSMComplianceCompliance準拠情報SSMFleet ManagerSSMChangeManagerOS内情報管理された変更操作エンジニアインシデント管理SSMIncident Managerインシデント対応
- 36.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWS CloudShell
- 37.© 2022, AmazonWeb Services, Inc. or its Affiliates.Database
- 38.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon DynamoDBどんな規模にも対応する高速で柔軟な キーバリュー データベース高いセキュリティデフォルトですべてのデータを暗号化堅牢なセキュリティのためAWSIdentity and AccessManagementと完全に統合スケールに応じたパフォーマンス規模に関係なく、一貫した数ミリ秒台の応答時間を実現事実上無制限のスループットでアプリケーションを構築可能グローバルデータベース複数のAWSリージョンにまたがりテーブルを簡単に複製することで、ローカルデータに素早くアクセスできるグローバルアプリケーションを構築サーバーレスサーバーのプロビジョニング、ソフトウェアのパッチ適用、アップグレードは不要自動スケールアップ/ダウンデータの継続的なバックアップ
- 39.© 2022, AmazonWeb Services, Inc. or its Affiliates.Amazon RDS Custom の位置付けOn-premisesScalingPatchingBackupsHigh availabilityHardwareEC2ScalingPatchingBackupsHigh availabilityHardwareRDSScalingPatchingBackupsHigh availabilityHardwareユーザー管理RDS CustomScalingHardwareHigh availabilityBackupsPatchingAWS 管理共有管理全てユーザー管理 フルマネージドRDS Custom• インスタンス / OS に対する Full control 権限• ユーザー管理のパッチ適用• 3rd Party アプリケーションの利用• RDS で利用できない機能 の利用• ユーザーの責任範囲は増える
- 40.© 2022, AmazonWeb Services, Inc. or its Affiliates.RDSと RDS Custom の主な違いAmazon RDS Amazon RDS CustomOSはAWSによって完全にマネージされるため、データベースへのアクセスが一部限定されるデータベースに接続するためのエンドポイントをAWSが提供する一貫した提供モデル99.95 SLA を提供データベースとOSへの完全なアクセスを提供全てのリソースがお客様のAWSアカウント内に維持される所有モデルと共有モデルが混合された提供モデルSLAの提供はなし
- 41.© 2022, AmazonWeb Services, Inc. or its Affiliates.Networking
- 42.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Elastic Load Balancing (ELB)特徴 (http://aws.amazon.com/jp/elasticloadbalancing/)• 複数の EC2 インスタンスに負荷分散• 複数の AZ に跨って高レベルの耐障害性を実現• ELB 自体が自動的にキャパシティを増減4 種類のロードバランサーを提供• Application Load Balancer（ALB）• Network Load Balancer（NLB）• Gateway Load Balancer (GWLB)• Classic Load Balancer（CLB）→ 基本的に ALB (L7) か NLB (L4) の利用をクラウドネットワークのロードバランサーアベイラビリティ ゾーン aユーザーアベイラビリティ ゾーン bELBEC2 EC2myLB-xxx.elb.amazonaws.com
- 43.© 2022, AmazonWeb Services, Inc. or its Affiliates.AWS Region 1 AWS Region 23.10.3.1253.10.3.125同一IPでアクセスリージョンに誘導される
- 44.© 2022, AmazonWeb Services, Inc. or its Affiliates.1. Private DNSDNS Resolver 1DNS Resolver 2Route 53 Resolver
- 45.© 2022, AmazonWeb Services, Inc. or its Affiliates.AWS Network FirewallVPCのサブネットに配置するマネージドファイアウォールサービスFirewall subnetFirewall endpointPublic SubnetNAT GatewayPrivate SubnetEC2Internet gateway• スケーラブル• 45Gbps超• マネージドAWS Network Firewall
- 46.© 2020, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Transit Gateway＋DirectConnectでAWS経由のインターネット接続• 既設のインターネット回線と比べて高品質 / 低コスト化に繋がる可能性• セキュリティ：全インターネットトラフィックの記録 / 制限 /監査も可能オフィス192.168.0.0/16AWS リージョンTransit VIFDirectConnectGatewayAttachDirect Connect 接続TransitGatewayAWSルーターAttachAttachAttachRoute Destination192.168.0.0/16 Office0.0.0.0/0 VPC-OTGW route table にインターネット用のVPC 向けの経路InternetGatewayInternetRoute Destination0.0.0.0/0 IGW10.1.0.0/16 local192.168.0.0/16 TGWVPC の Route Tableに戻りの経路NATGateway
- 47.© 2020, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.PrivateLinkによるサービス利用Service Consumer Service ProviderNLBVPCEサービス提供側サービス利用側regionVPC VPC
- 48.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Direct Connect SiteLink• AWSグローバルネットワークバックボーンを介してオンプレミスネットワーク間を接続• 32カ国、108箇所の DX ロケーション間で直接通信可能• 東京、大阪を含む中国を除くすべての DX ロケーション、リージョンで利用可能
- 49.© 2022, AmazonWeb Services, Inc. or its Affiliates.Serverless
- 50.© 2020, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon SNSがFIFOをサポート• 順序性が大事なビジネスロジックの処理に、Amazon SQSのFIFOキューと組み合わせて実行可能• こちらのBlogもご参照ください。https://aws.amazon.com/jp/blogs/news/introducing-amazon-sns-fifo-first-in-first-out-pub-sub-messaging/
- 51.© 2020, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWS Step Functionsコンソールで視覚化JSONで定義(Amazon States Language) 実行結果をモニタリング
- 52.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon EventBridge アーキテクチャAWS servicesCustom eventsSaaS appsPartner eventsource RulesDefault event busCustom event busSaaS event busAmazon EventBridge
- 53.© 2020, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.AWS LambdaのVPCリソースアクセス• Blog記事 [発表] Lambda 関数が VPC 環境で改善されますhttps://aws.amazon.com/jp/blogs/news/announcing-improved-vpc-networking-for-aws-lambda-functions/• ネットワークインターフェイスの作成はLambda関数の作成時• アカウント内のセキュリティグループ、サブネット単位にENIを共有
- 54.© 2020, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.Amazon RDS Proxy 全体像AWS LambdaRuby, PHP, …接続プーリングシームレスフェイルオーバーアプリケーションセキュリティの向上アプリケーション RDS Proxy RDSAWS IAM AWS Secrets ManagerAmazon RDSAmazon Aurora
- 55.© 2020, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.接続プーリング接続プーリング• 接続の開閉に伴うデータベースの負荷 (TLS/SSL のハンドシェイク、認証、ネゴシエーション機能などのCPU負荷など) を削減接続の多重化• 接続の再利用により、データベース接続に必要なコンピューティングリソース (主にメモリ) を削減• max_connections エラーの発生頻度の抑制。アプリケーション RDSRDSProxy大量の接続要求に対するデータベース負荷を削減より多くの処理が実行可能になる
- 56.© 2022, AmazonWeb Services, Inc. or its Affiliates.Storage
- 57.© 2022, AmazonWeb Services, Inc. or its Affiliates.Amazon EBS イノベーション2008 2010 2012 2014 2016 2018 2020スタンダードとスナップショットio1Amazon EBS最適化io2sc1/st1暗号化ボリューム高速スナップショット復元DirectAPIsData LifecycleManagerマルチアタッチgp2エラスティックボリューム256,000 IOPS4,000MB/sEBS BlockExpressと SRD
- 58.© 2022, AmazonWeb Services, Inc. or its Affiliates.© 2022, Amazon Web Services, Inc. or its Affiliates. All rights reserved.S3を中心としたデータ連携Amazon S3データ分析 コンテンツ配信機械学習ストリームデータBIAmazon Personalize Amazon PollyAmazon Rekognition Amazon SageMakerAWS Glue AmazonRedshiftAmazonAthenaAmazonQuickSightAmazon EMR AmazonEMRAmazonKinesisAWS IoTAnalyticsAWS IoTCoreAmazonCloudFrontAWS ElementalMediaLiveAmazon KinesisData AnalyticsAmazonGlacierETLデータレイク管理AWS Lake Formationデータ転送AWSBackupAWSTransfer for SFTPバックアップ＆アーカイブAWS Snowball
- 59.© 2022, AmazonWeb Services, Inc. or its Affiliates.Amazon S3 のネーミングスキーマS3: //ExampleAWSbucket/Logistics/packing-list.pdfオブジェクトはバッケット内にフラットに格納される。キーのパス指定でフォルダ階層のように表示も可能。「/」を区切り記号として、マネジメントコンソールでは、フォルダ構造を表現する。ABCDEA B C D E
- 60.© 2022, AmazonWeb Services, Inc. or its Affiliates.S3 バッチオペレーション数千、数百万、数十億のオブジェクトに対するAPIアクションを一括実行- S3 インベントリ（CSV）- CSVファイル- COPY (PUT Object Copy)- S3 Glacierからのリストア- PUT ObjectACL- PUT Object Tagging- Lambda関数の呼び出し- オブジェクトレベルの進捗- ジョブの通知・状態- 完了レポートオブジェクトの選択 オペレーションの選択 進捗の確認
- 61.© 2022, AmazonWeb Services, Inc. or its Affiliates.Amazon S3 – 強力な書き込み後の読み取り整合性• Amazon S3 が従来の結果整合性モデルから、強力な書き込み後の読み取り整合性を提供するモデルに Update• すべてのリージョンで自動で有効化されており追加料金なしで利用可能既存ファイルThis is a penPUT File AI love youGET File AI love youまたはThis is a penGET File AI love you結果整合性により古いデータが読める可能性がある区間既存ファイルThis is a penPUT File AI love you GET File AI love youGET File AI love you強力な書き込み後の読み取り整合性書き込み後には常に新しいデータを読み取ることを保証
- 62.© 2022, AmazonWeb Services, Inc. or its Affiliates. All rights reserved.想定される課題と対策 => ベストプラクティス課題 対策偶発的な情報の開示IAMによる適切な権限管理VPCネットワークの理解Block Public Access / Owner Enforce暗号化データの不整合IAMによる適切な権限管理データの整合性チェックバージョニング / Object Lock過失による削除バージョニング/ Object LockMFA Delete証跡の取得、ユーザー行動の変化を観察AWS CloudTrail によるログ取得Amazon Macie の利用インフラストラクチャの可用性S3の耐久性、ストレージクラスの理解クロスリージョンレプリケーション
- 63.© 2022, AmazonWeb Services, Inc. or its Affiliates.S3のSecurityにおけるアンチパターン打破例• S3のSecurity関連• Block Public Accessにより、意図しないバケットの公開設定を防ぐことが可能に(2018-11)• アクセスポイントの活用で、バケットポリシーなどの記載を簡素化。ポリシーを記述できるサイズ上限等に到達しないようにデザインしやすくなった(2019-12)• S3バケットキーにより、暗号化時のKMSへのリクエストコスト＆スロットリング懸念が不要になった(2020-12)• オンプレから閉域でS3にアクセスするときにEC2上にProxyをおいていたが、S3 Interface endpointにより不要に(2021-02)• S3 Bucket Owner Enforced により、 AWS サービスアカウントなど別アカウントから配信されるオブジェクトのオーナーを, バケット所有アカウントに変更するために Lambda で処理する必要が無くなった(2021-12)
- 64.© 2022, AmazonWeb Services, Inc. or its Affiliates.Security
- 65.© 2022, AmazonWeb Services, Inc. or its Affiliates.New Amazon Inspectorソフトウェアの脆弱性や意図しないネットワーク露出領域を継続的なスキャンで検知する脆弱性管理サービス以下のサービスに対応• Amazon Elastic Compute Cloud(Amazon EC2)• Amazon Elastic Container Registry(Amazon ECR)Amazon EC2 Amazon ECRAmazon Inspector
- 66.© 2022, AmazonWeb Services, Inc. or its Affiliates.AWS Security Hub• アラートを集約して時間を節約• 脅威検出結果、脆弱性スキャン結果、機密データ識別結果など、お客様の環境で発見されたセキュリティサービスから結果を集約• 優先順位付けの問題の概要を表示• AWS Security Hub は数分以内に、すべての調査結果を統合ダッシュボードに関連付け、現在のセキュリティとコンプライアンスの状態を視覚化• コンプライアンスチェックの自動化• 業界標準やベストプラクティスに基づいて、継続的なアカウントレベルの設定とコンプライアンスチェックを実行
- 67.© 2022, AmazonWeb Services, Inc. or its Affiliates.みなさまのまわりでは？
- 68.© 2022, AmazonWeb Services, Inc. or its Affiliates.まとめhttps://bit.ly/awsxon19-antiptテキストで一覧できます
- 69.© 2022, AmazonWeb Services, Inc. or its Affiliates.アンチパターンまとめアンチパターンはリファクタリング方法が存在する3つの避けるべき、タイミング別のメタアンチパターン机上の空論アンチパターン塩漬けアンチパターンTCO無視アンチパターン前回（2018年5月）から2022年初頭までに葬ったアンチパターンいくつあるのか誰もわからない。。https://bit.ly/awsxon19-antiptテキストで一覧できます
Editor's Notes
- #2 Observability等 AppRunner or Proton Security?
- #7 AWS サポートのアンチパターンと言えば「技術的なお問い合わせに関するガイドライン」ですかね。おそらく、2019 年の頭に公開されているようです。
- #10 これまで、数多くのAWS成功例がうまれていった。。その成功例は「パターン」として受け継がれ。。そして、それらは時に「秘伝のたれ」「さわってはいけないもの」とされてきた。。
- #16 メタデータについてやむを得ない事情があることは承知の上でいうけど, それが必要なアーキテクチャー自体がアンチパターンな気もする
- #20 2020/02/21: 更新。新たにLambdaが割引対象に追加。2020/04/06: 更新。Organizationsのメンバーアカウントから推奨事項が確認可能に。2020/05/10: 更新。価格改定により、EC2 Instance Savings Plansの一部のEC2インスタンスタイプで、従前に比べて最大18%の値下げ。2020/08/11: 更新。新たにFargate (for EKS) が割引対象に追加。2020/09/25: 更新。Savings Plansの予約が可能に。2020/11/09: 更新。Savings Plansの有効期限前と予約購入前にアラート発報が可能に。2021/01/26: 更新。Wavelength ZonesにおけるEC2 Instance Savings Plansの記述を追記。2021/04/23: 更新。新たにSageMaker Savings Plansが購入可能に。
- #23 S3を直接検索できるRedshift Spectrum によりS3のデータの事前ロード不要に(2017-04)ピーク需要に備えるためにデータマートを作るなど複雑なシステムが不要に。Concurrency Scalingにより同時ユーザとクエリからの一時的な大量使用要求に対応(2019-03)RA3登場。ストレージとコンピュートどちらかだけの理由でのスケール調整が不要に(2019-12)クラスタ再配置機能がRA3に実装され、AZ障害対応のためにスナップショットを使った別AZ復元等が不要に(2020-12)Redshift Spectrum で読み込むS3データをクリーンに維持する必要があったが、予期せぬ値があっても処理可能とするカスタムデータ検証で不要に(2022-01)
- #24 仮に両者がミートアップしても、ビジネスの成立には様々な障壁がある
- #25 DataExchangeによりデータ流通基盤を自前で作る必要がなくなった(2019-11)特定のクローズな社内・社外対象者に対してのみデータを提供、販売する作り込みが、Private Productで不要に(2020-11)昨年新たにPrivate Productsという機能が搭載された。これにより、社外向けに広くデータを販売・提供する以外に、特定のクローズな社内・社外対象者に対してのみデータを提供、販売することが可能になっている。この場合のADXを活用する利点として、データ提供者は全てのデータをどのユーザーが取得したのかがレポートとなって閲覧できるため、データのガバナンスが聞きやすくなることが挙げられる。なお、ADXでのデータ出品は無償でのサンプルデータの提供も可能となっている。
- #26 AppFlow にイマイチな部分が多くアンチパターン滅ぼすとまではいかないのですがSaaSなどの外部サービス、AWSサービス間のデータ連携作り込みが不要に(2020-04)
- #27 Glue 2.0 (現在の最新版は3.0) でジョブの起動にかかる時間が1分以内になり、それを待てない場合のワークアラウンドとしてなされていたクラスタを再利用するための定期実行が不要になった(2020-08)AthenaがGlueのパーティションインデックスをサポートした。これで、時単位などの大量パーティションでクエリー劣化を心配する必要がほぼなくなった(2021-12)Interactive Sessionsが登場したことにより、インタラクティブな開発やアドホッククエリがEphemeralなクラスタで利用できるようになり、Development endpointを常時起動する必要がなくなった。(2021-12)
- #29 データベースやテーブルの粒度でアクセス権限を制御できるようになり、IAMポリシーやS3バケットポリシーでS3オブジェクトレベルで細かく許可・拒否する必要がなくなった(2019-08)Lake Formationで管理したテーブルとそのデータを別のアカウントに共有できるようになり、アカウントごとにデータを複製する必要がなくなった(2020-10)行レベルセキュリティに対応したことで、行を絞り込んだデータを二重持ちする必要がなくなった(2021-12)
- #30 複数AZにデータを複製して高い耐久性を提供クラスターを監視して障害復旧やパッチ適用を自動化VPCによる隔離と保存データ暗号化によるセキュリティPublic Accessがサポートされ、MSK clusterに対するNLB不必要に(2021-11)Serverless Clusterにより事前クラスタ準備不要に (Public Preview)
- #31 https://docs.aws.amazon.com/msk/latest/developerguide/serverless-config.htmlPublic Accessがサポートされ、MSK clusterに対するNLB不必要に(2021-11)
- #32 https://docs.aws.amazon.com/msk/latest/developerguide/serverless-config.htmlServerless Clusterにより事前クラスタ準備不要に (Public Preview)
- #33 EMR Serverless Clusterにより事前クラスタ準備不要に(2021-12 Preview)EMR Studio SQL Explorer で、データカタログを表示および閲覧することが可能に。そのための自前での準備不要に。(2022-01)
- #35 2021の最大のリリース！CloudFormationの rollback disable機能。CFn作成時のトライアンドエラーにかかる時間が劇的に短くなります。 https://aws.amazon.com/jp/blogs/news/new-for-aws-cloudformation-quickly-retry-stack-operations-from-the-point-of-failure-2/Control Towerのアカウントを払い出し機能が便利。事前に承認されたアカウント設定で新規アカウントのプロビジョニングができる(2019-06)容易に利用開始できるが、既存アカウントへの適用やカスタマイズに制限ありこれからAWSを利用する場合に利用「独自の再発明をCTつかってやめにしましょう」
- #36 踏み台サーバー を用意していたのが、AWS Systems Manager Session ManagerでLinux用が不要に(2018-09)踏み台WindowsやSSMポートフォワーディングなく、FleetMangerがGUI接続を可能に(2021-11)
- #37 そこで、AWS は AWS CloudShell を開発しましたAWS CloudShell はマネージメントコンソール上部のアイコンから起動を行えこのようなシェルがブラウザ上に表示され、ターミナルとしてコマンドを実行できますCloudShell手元のsshできる端末不要に。Webブラウザで済む(2020-12)
- #39 そういった課題を解決できるのがAmazon DynamoDBこういった特徴がある、次のスライドからDynamoDBの特徴について触れて行くAmazon DynamoDB Continuous Backups. Streams経由でデータとっておいたりとかDataPipelineとかそういうのが必要なくなった(2018-03)DynamoDBのキャパシティ管理がオンデマンドモードで解消(2018-11)DynamoDB の Adaptive Capacity で, アクセスが集中するアイテムを分離するためのパーティション分割が自動的に行われるように ホットパーティションを特定して手動で対処する必要が無くなった (2019-11)DynamoDBのS3エクスポートネイティブ対応。EMRとかDataPipelineなどが必要なくなった(2020-11)
- #40 RDSRDS CustomによりDB on EC2の必要性が減る。Oracle既存ユーザーで諸々構成やOSカスタムしたいお客様の選択肢が拡がった(2021-10) MSSQLも(2021-12)Gravition2対応Graviton2対応。マネージドなのでミドルウェアの影響を心配する必要もなく、シンプルにコスト性能比が上がった。ElastiCacheやOpenSearchなども同様。コストを気にしたアンダーサイジング減少(2021-03)
- #43 Network Load Balancerの登場により、prewarm不要に(2017-09)NLBがIPv6サポート。Classic Load Balancerが不要に(2020-11)Gateway Loadbalancerでアプライアンスを使うためのTransit GatewayやNLB+GRE構成が不要に(2020-11)NLBのターゲットにALBが指定できるようになり, PrivateでもALBの固定IP実現のためのlambdaなどが不要に(2021-09)Application Load BalancerのIPv6サポートと、ターゲットのIPv6サポート。ターゲットにIPv4が不要に(2021-11)Application Load Balancer(ALB)がgRPCプロトコルをサポート。gRPCのトラフィックについてもルーティングや負荷分散が可能になったALBでこの機能を利用するためにはリスナープロトコルとしてHTTPSを選択肢、ターゲットグループのプロトコルバージョンとしてgRPCを選択する今回のアップデートではターゲットグループのプロトコルとしてHTTP/2を設定することも可能にクライアントからターゲットに対してエンドツーエンドでHTTP/2による通信が可能になった
- #44 Global AcceleratorDNSのみだったALBが、Global Acceleratorと組み合わせたPublic IP固定が可能に(2018-11)
- #45 Route53 resolverオンプレミスやVPCで構成される場合に自前のDNS転送用のインスタンスが必要だったがAmazon Route 53 Resolver Endpoints for Hybrid Cloudで不要に(2018-11)悪意のあるDNSクエリブロックにも自前のDNSが必要だったが、Amazon Route 53 Resolver DNS Firewallで不要に(2021-03)
- #46 アプライアンスを導入しなくてもVPC全体にファイアウォールを導入(2020-11)
- #47 オンプレミスからVPN/Direct ConnectでつなげたVPCを経由してインターネットに出るには、EC2上のアプリケーションプロキシが必要だったが、Transit Gatewayでインターネット用のVPCとつないで経路設定すれば不要に(2018-11)
- #48 PrivateLinkVPCピアリング/TransitGateway/VPN/DXなどで多数のネットワークを接続するとIPアドレスの重複に注意が必要だったが、PrivateLinkで調整不要に(2017-11)
- #49 これは先月のre:Invent 2021で発表された機能でして、AWSグローバルネットワークバックボーンを介してオンプレミスネットワーク間を接続するものです。つまり、東京のオンプレミスデータセンター、オフィスと、アメリカのオフィスとを、Direct Connect で利用するバックボーンを経由して接続できるというものです。これまではこういったオンプレミス間の折り返し通信に関しては、VPC=Virtual Private Cloud,灰色の部分、を経由する必要があったのですが、今回より簡単に、バックボーンを生かす形でできるようになりました、というもの。通信としては、オンプレミスからは最寄りのDXロケーションにつながって、そこから先はAWSのグローバルなバックボーンですのえ、この機能に関しては、オンプレミスのグローバル拠点同士を低遅延で繋ぎたいというお客様から現在複数お問い合わせいただいています。
- #51 SNSSNSに順序付けと重複排除機能がなかったのでDynamoDBなど併用するケースが対応したため不要に(2020-10)
- #52 StepFunctionsStepFunctionsの使うAmazon States Languageが難しかったが、Workflow Studioの登場により視覚的に構築、調整できるように(2021-06)StepFunctionsをLambdaから呼び出していたが、StepFunctionsがNativeなAPI呼び出しに対応したため不要に(2021-09)
- #53 外部イベントソースからの情報を受けるためにAPIGWなどが必要だったが、EventBridgeにより不要に(2019-07)
- #54 VPC内部リソースへのアクセス時のコールドスタート問題が大幅改善(2019-09)VPC Lambda起動時のENI作成時にIP枯渇の恐れがあったが、subnet x security group単位の共有化により払拭(2019-09)
- #55 LambdaからRDS/Aurora呼び出しのコネクション枯渇の恐れがあったが、RDS Proxy利用で払拭(2020-06)
- #56 max connections 自体を向上するソリューションではないアプリケーションはRDS Proxy のエンドポイントに接続する( 今までのエンドポイントも引き続き利用可能) RDS Proxy に対する接続確立は必要なので、接続確立の時間が速くなるというメッセージは危険。あくまでも データベースのCPUオーバーヘッドが削減されるレイテンシーは5ms程度乗る、というのが公式メッセージ「Q: データベースには、Amazon RDS プロキシの使用ではなく直接接続をいつする必要がありますか?ワークロードに応じて、Amazon RDS プロキシはクエリまたはトランザクションの応答時間に平均 5 ミリ秒のネットワークレイテンシーを追加できます。アプリケーションが 5 ミリ秒のレイテンシーを許容できない場合、またはRDS プロキシによって有効になっている接続管理やその他の機能が必要ない場合、アプリケーションをデータベースエンドポイントに直接接続することが可能です。」https://aws.amazon.com/jp/rds/faqs/Share database connections between transactionsDetection of session state altering operations causes pinningSets of system variables, sets of user-defined variables, calls of locking functions, tables locks, creates of temporary tables, prepares statement prepare callExclude specific variable sets from pinningmax_connection 自体を増やす機能ではないnot 一気型 but 段階型要調査・多分、その場型 (not 先回り型)・最大物理接続数を超える場合 → エラー max_connections を超える or 待ち行列で待たせる?・80%を指定した場合は80%を超えられる???・アイドル状態 → 再利用 & プールに戻す (タイムアウト)
- #58 EBSEBSの1st touchペナルティを気にしてボリュームアクセスをするスクリプト等を使っていたが、EBS Fast Snapshot Restoreで払拭(2019-11)
- #59 S3のサービス紹介から、分析基盤、AI/ML基盤の話に戻します。各種サービスと3と連携しているのがこちらの絵となります。 ご覧の通り、各種データ分析、機械学習サービスの連携ができ、可視化をする意味ではBIのサービスにも連携ができます。分析や機械学習をするにあたって、まずはデータを欠損させないようにすることは大変重要になっており、S3を中心に連携するのは鉄板の構成です。Transfer FamilySFTPサーバのIPを固定化＋特定外部IPのみ許可のために、NACLとNLBを使う方法があるが、セキュリティグループとEIPに対応したことで不要に(2020-01)
- #60 S3でパフォーマンス低下を防ぐためにプレフィクス名を変えるなどして分散させる必要があったが、不要に(2018-07)
- #61 S3バッチオペレーションにより、個別オブジェクト単位でのAPI Callが不要に(2019-04)
- #62 S3 が結果整合性から強い整合性へとなり、アプリケーション側でDynamo DBを併用するのが定石だったが、不要に(2020-12)
- #63 Block Public Accessにより、意図しないバケットの公開設定を防ぐことが可能に(2018-11)アクセスポイントの活用で、バケットポリシーなどの記載を簡素化。ポリシーを記述できるサイズ上限等に到達しないようにデザインしやすくなった(2019-12)S3バケットキーにより、暗号化時のKMSへのリクエストコスト＆スロットリング懸念が不要になった(2020-12)オンプレから閉域でS3にアクセスするときにEC2上にProxyをおいていたが、S3 Interface endpointにより不要に(2021-02)S3 Bucket Owner Enforced により、 AWS サービスアカウントなど別アカウントから配信されるオブジェクトのオーナーを, バケット所有アカウントに変更するために Lambda で処理する必要が無くなった(2021-12)
- #64 OrganizationsでもSecurityHub、GuardDuty、Macie、Inspector、Detectiveが管理・統制できるようになった
- #66 Private Subnet 内で Inspector (Classic) Agent を利用するために NAT GW が必要だったが、Inspector が刷新されたため NAT GW 不要に (SSM Agent むけのVPC-e経由で取得したインベントリ情報が使われる)(2021-11)
- #67 Security Hubスクリプトなどが必要だったクロスリージョンのfindings集約がSecurity Hubによって集約できるように。全アカウント、全リージョンのGuardDuty、Inepctor、Macie等のFindinsを一つのコンソールから確認できるようになった(2021-10)