宇宙最速のランチRecap LT会（AWS re:Invent 2024)

watany

December 08, 2024

Tweet Share

Transcript

1. JAWS - UG東京 宇宙最速のランチRecap LT会 （AWS re:Invent 2024） 2024-12-09 DB&ストレージ

2. 自己紹介 渡邉 洋平(watany) • NTTテクノクロス株式会社 • JAWS-UG東京 運営 • 2024

   Japan AWS Ambassadors

3. Pre re:Invent編 ※イベント前からのアップデート群。 本資料では11月のアプデを取り扱う

4. • 汎用Bucket数のデフォルトが100→10,000、最大値が1,000→1,000,000 • 条件付き書き込みの新機能 • (Backup)opt-in RegionでのCrossRegion&CrossAccountバックアップ • (Backup)Objectの復元バージョン数を選べるように •

   (Organizations)MemberアカウントのBucket Policyを削除可能 feat(S3): 2001バケット目 からは$0.02 ”無敵Bucket”を救える From親アカウント ETag見て上書き防止

5. • Lifecycleの有効化 • Objectへの直接追記サポート • 条件付き削除 • Mountpoint for Amazon

   S3のShared Cache対応 feat(S3 Express): TTLで消せる 追記にDownload不要 最終更新時刻、サイズ、Etag が不適なら削除しない

6. feat(RDS): • New インスタンスタイプ(R7i / M7i) • PostgreSQL now supports

   major version 17 • MySQL supports new minor version 8.0.40

7. feat(Aurora): • Limitless Database(PostgreSQL)がGA • Serverless v2 の最小CU0 • New

   インスタンスタイプ(R7i / R8g) Managed Shardingで 書き込み性能がスケール 夢の自動停止/再開

8. feat(OpenSearch): • 延長サポートの提供開始 • Kinesis Data Streams to OpenSearch Ingestion

   直繋ぎ&ETL！ 札束で塩漬け!

9. feat(OpenSearch Serverless): • OS Serverlessのコスト削減をサポート • point in time search(PIT)

   をサポート • ディスク最適化ベクトルエンジンがサポート • SQL API をサポート バイナリ& FP16 で省メモリ JDBCで繋げる

10. feat(Other): • DynamoDB： ◦ on-demand throughput のコスト50%↓ ◦ global tablesのコスト67％↓

    • ElastiCache: ◦ Valkey 8.0サポート スケーリング高速化、 メモリ使用量の改善 Provisionedとの 損益分岐点が倍に

11. pre re:Invent 完了 どうですか、ここまでの濃厚アップデート群の数々…… 本番のアプデはもう ないよな？？ recap担当でもするか

12. pre re:Invent 完了 Soon → • Aurora DSQL、Olacle Database@AWS •

    S3 Tables,Metadata • DynamoDB Global Tablesの強整合性、MemoryDB Multi-Region もうさァッ 無理だよ DB&ストレージ わかんないんだ からさァッ

13. なにはともあれ、ガンガンいきます！

14. re:Invent編

15. feat(Aurora): Aurora DSQL(Preview) • サーバレスな分散SQLサービス (DSQL = Distribution PostgreSQL) •

    充実の機能群 ◦ PostgreSQL互換I/F ◦ ⾃動された障害復旧 ◦ 無制限のスケーラビリティ ◦ パッチ管理もマネージド ◦ マルチリージョンで強い整合性

16. feat(Aurora): Aurora DSQL(Preview) • 実際どうなんでしょ ◦ 銀の弾丸？ ▪ NewSQLやSpannerで調べると良さそう ◦

    リージョン要件 ▪ マルチリージョンは３多重前提。”国内要件”は満たせず？ ◦ 見えない料金感 ▪ 無料プレビューのうちに遊び倒せ！

17. feat(S3): S3 Tables • Iceberg形式に最適化された新たなバケットタイプ ”Table bucket” • 標準バケット比で ◦

    最⼤3倍 のスループット、最⼤10倍のTPS • テーブルメンテナンス機能 ◦ 圧縮：複数の小さなオブジェクトを 1 つに ◦ Snapshot：有効期限を切って削除 ◦ 非参照ファイルの削除 Apache Iceberg： Netfilx製のOTF (Open Table Format)

18. feat(S3): S3 Metadata(Preview) • S3のメタデータを自動でTable bucket連携 • Object追加/更新も数分で • メタデータ種別

    ◦ システム制御：Date, Etag, Last-Modifiedなど21種 ◦ ユーザ制御：「x-amz-meta-」でカスタムメタデータも ※Glue Data CatalogやLake Formationで実装されている様子 メタデータを クエリできる

19. つまりS3 Tablesってどう使うの • S3 Tables ＋ S3 Metadata ◦ S3

    BucketからメタデータをS3 MetadataでS3 Tablesに伝搬。ク エリの受け口を作れる！ ◦ 数分遅れが許容できるか否か • S3 Tables ＋ Firehose ◦ Amazon Data Firehose delivers data streams into Apache Iceberg format tables in Amazon S3(10/1) ◦ Amazon Data Firehose supports continuous replication of database changes to Apache Iceberg Tables in Amazon S3(11/15)

20. feat(S3): S3 Metadata(Preview) • S3のメタデータを自動でTable bucket連携 • Object追加/更新も数分で • メタデータ種別

    ◦ システム制御：Date, Etag, Last-Modifiedなど21種 ◦ ユーザ制御：「x-amz-meta-」でカスタムメタデータも ※Glue Data CatalogやLake Formationで実装されている様子 メタデータを クエリできる

21. feat(Oracle): Oracle Database@AWS(Limited Preview) • 9月発表のExadata on AWSがプレビューに • RDSじゃない真のOracle

    DBが使いたい人向け • 同一データセンタで束ねて低レイテンシ (⇔ Multi AZ冗長) などAWS のべスプラとギャップがある点に注意

22. Oracle Database@AWS ってRDSと何が違うん もうさァッ 無理だよ DB&ストレージ わかんないんだからさァッ https://docs.aws.amazon.com/odb/latest/UserGuide/what-is-odb.html

23. Oracle Database@AWS ってRDSと何が違うん もうさァッ 無理だよ DB&ストレージ わかんないんだからさァッ ODB network AWS管理の専用隔離空間

    Oracle Exadata OCI管理の専用インフラ ODB peering VPC とODB networkを接続 https://docs.aws.amazon.com/odb/latest/UserGuide/what-is-odb.html

24. feat(Other): • DynamoDB Global Tables ◦ Multi-Regionの「強い整合性」に対応 • MemoryDB ◦

    Multi-Region対応 • DMS(Database Migration Service) ◦ ⽣成AIによるスキーマ変換機能 Latest保証 生成ＡＩ時代 こっちもマルチリ ージョン？！

25. feat(Other): • S3 ◦ 新しいデータ整合性検証 ◦ Storage Browser for Amazon

    S3 のGA ◦ Transfer Family web apps • Data Transfer Terminal (New !) ◦ ストレージデバイスを持ち込んでAWSへデータ転送できる”部屋” • FSx ◦ Intelligent-Tiering SDKを変えるだけ OSSのUI for S3 ノーコードでWeb アプリ for S3 コスト削減

26. 今回の説明で満足できない人は…？ ・12/20のStorage JAWSへ参加しよう https://storage-jaws.connpass.com/event/336323/

27. おしまい