Movatterモバイル変換

GKEとCloud Spannerが躍動するドラゴンクエストウォーク

51自己紹介● 邵正 / Zheng Shao @axot● 株式会社コロプラ（2015年新卒入社）○ インフラチーム所属○ 主に大規模アーキテクチャ設計担当

56GKEシングルクラスタ課題● Master Nodeに過負荷● Spinnaker Deploy時間が長い● 動作しないコンポーネント

57● Master Nodeに過負荷● Spinnaker Deploy時間が長い● 動作しないコンポーネントGKEマルチクラスタで解決シングルクラスタ場合マルチクラスタ場合オブジェクト数: 大オブジェクト数: 小

58GKEマルチクラスタ導入● トラフィック制御● クラスタ間通信● モニタリングFEFEFEBECloudSpanner

59トラフィック制御FrontendBackend33%33%33%?

60トラフィック制御FrontendCanary1%HAProxyFrontendBackend33%33%33%

61GKE Clusterクラスタ内通信ApplicationKubernetes EngineRabbitMQ™GKE/KubernetesRabbitMQService● 通常タイトルにおける構成(クラスタ内通信)KubeDNSGKE/Kubernetes

62GKE Clusterクラスタ内通信ApplicationKubernetes EngineRabbitMQ™GKE/KubernetesRabbitMQService● 通常タイトルにおける構成(クラスタ内通信)KubeDNSGKE/Kubernetes1. rabbitmq.ns.svc.cluster.local.

63GKE Clusterクラスタ内通信ApplicationKubernetes EngineRabbitMQ™GKE/KubernetesRabbitMQService● 通常タイトルにおける構成(クラスタ内通信)KubeDNSGKE/Kubernetes10.10.0.1

64GKE Clusterクラスタ内通信ApplicationKubernetes EngineRabbitMQ™GKE/KubernetesRabbitMQService● 通常タイトルにおける構成(クラスタ内通信)KubeDNSGKE/Kubernetes10.0.0.110.10.0.1

65クラスタ間通信Frontend Cluster Backend ClusterApplicationGKE/KubernetesRabbitMQ™GKE/KubernetesRabbitMQServicerabbitmq.ns.svc.cluster.local.● クラスタにおける通信???

66クラスタ間通信Frontend Cluster Backend ClusterRabbitMQ™GKE/KubernetesCoreDNSGKE/KubernetesCloud LoadBalancingLocal DNS CacheGKE/KubernetesRabbitMQServiceNodekube-systemhttps://github.com/colopl/k8s-local-dnshttps://github.com/colopl/expose-kubedns● クラスタにおける通信ApplicationGKE/Kubernetes

69クラスタ間通信Frontend Cluster Backend ClusterRabbitMQ™GKE/KubernetesCoreDNSGKE/KubernetesCloud LoadBalancingLocal DNS CacheGKE/KubernetesRabbitMQServicerabbitmq.ns.svc.cluster.local.Nodekube-systemhttps://github.com/colopl/k8s-local-dnshttps://github.com/colopl/expose-kubedns● クラスタにおける通信ApplicationGKE/Kubernetes

70クラスタ間通信Frontend Cluster Backend ClusterRabbitMQ™GKE/KubernetesCoreDNSGKE/KubernetesCloud LoadBalancingLocal DNS CacheGKE/KubernetesNodeRabbitMQServicekube-systemhttps://github.com/colopl/k8s-local-dnshttps://github.com/colopl/expose-kubedns● クラスタにおける通信ApplicationGKE/Kubernetes10.10.0.1 ?

71クラスタ間通信Frontend Cluster Backend ClusterRabbitMQ™GKE/KubernetesCoreDNSGKE/KubernetesCloud LoadBalancingLocal DNS CacheGKE/KubernetesNodeRabbitMQHeadless Servicekube-system10.0.0.1https://github.com/colopl/k8s-local-dnshttps://github.com/colopl/expose-kubedns● クラスタにおける通信ApplicationGKE/Kubernetes

72通常タイトルにおける構成 DQウォークにおける構成Monitoring スケーリング(VictoriaMetrics)…Grafana PrometheusVictoriaMetricsCluster Mode

73● GKEマルチクラスタ採用● HAProxyによるトラフィック制御を実現● Custom DNSによるクラスタ間通信● Victoria Metricsを使ったモニタリングシステムGKEまとめ

Cloud Spannerにおける急激な高負荷へ対策法

75自己紹介● 粟田大樹 / Awata Hiroki● 株式会社コロプラ（2016年新卒入社）○ サーバー基盤チーム所属○ 主に Cloud Spanner まわり担当

76Cloud Spanner と● Google Cloud Platform にある DB サービス ● SQL が使えるに KVS ようなスケール性能 ● ダウンタイムなしでスケール可能

78● ゲームサーバー急激に高い負荷が来ます ○ リリース直後 ○ イベント開始直後 ○ ... ● Cloud Spannerに急激に高い負荷をかけてみよう ▶ ガンガンいこうぜ

79▼ Cloud Spanner レイテンシ (99 perecentile)

80SplitNode急激な負荷!!!!Split分割が追いつかない〜〜SplitSplitSplit Splitそ結果レイテンシ悪化...

81Splitと？Split Split Split Split…0 ~ 2Node Node Node3 ~ 5 7 ~ 9 a ~ cSplitKey 範囲で分割…

82● Splitが増える条件○ Load-based split（負荷トリガー）○ Size-based split（サイズ増加トリガー）

83Splitが増える条件 [1] Load-based splitSplit Split Split Split…0 ~ 2Node Node Node3 ~ 5 7 ~ 9 a ~ c0 Keyへアクセスが多い……

84Splitが増える条件 [1] Load-based splitSplit Split Split Split…1~2Node Node Node3 ~ 5 7 ~ 9 a ~ c…Split00 Keyを分離新規Splitに

85Splitが増える条件 [2] Size-based splitSplit Split Split Split…0 ~ 2Node Node Node3 ~ 5 7 ~ 9 a ~ c0 Keyデータ量が多い……

86Splitが増える条件 [2] Size-based splitSplit Split Split Split…1~2Node Node Node3 ~ 5 7 ~ 9 a ~ c…Split00 Keyを分離新規Splitに

87Split事前にwarm-upSplit Split Splitじわじわ…warm-up後圧倒的安定感!!!Node

881. warm-up 2. 負荷試験 3. リリースリリースまで流れレイテンシ

89Cloud Spanner Warm-up 手法● ダミーデータをINSERT, SELECT● GKEに乗せて並列化…INSERT, SELECT

90$ kubectl scale deployment ...Cloud SpannerConsole負荷を上げて...Cloud Spanner 様子みて…ノード数を調節して…手動でwarm-up...HPA(Human Pod AutoScaler)!!!

91DQウォークCloud Spanner自動warm-up計画

92…2. PodスケールINSERT, SELECT1. Cloud SpannerCPUを監視3. 状況報告

93Cloud Spannerノード数を段階的に上げる波ように負荷を上下させるノード数 QPS

941. warm-up 2. 負荷試験 3. リリースリリースまで流れwarm-upされているか確認

951. warm-up 2. 負荷試験 3. リリースダミーデータ削除ここでwarm-upと負荷試験で入れたデータを消したい場合

96SplitNodeSplit Split SplitDROP DATABASEしていけない!!!DROP DATABASEするとSplitも全部消えちゃうSplitを残したまま行だけを消す(DELETE)

971. warm-up 2. 負荷試験 3. リリース無事リリース

98リリース直後ピークを乗り切ったら…サービスを継続したまま柔軟にスケール可能！Cloud Spanner強み！ノード数

99Cloud Spanner負荷対策まとめ● まっさらなCloud Spanner 急激な高負荷に弱い● Latencyが悪化する場合、事前に温めておく● 温めたあとデータを消す場合行み消す● ピークを乗り切ったら柔軟にスケール可能

101まとめ● GKEマルチクラスタ○ HAProxyを使ったトラフィック制御○ Customsize DNSでクラスタ間通信○ Victoria Metricsによるモニタリング基盤● Cloud Spanner○ 新しいCloud Spanner 事前に温める○ 温めると急激な負荷がきても大丈夫！

102We are hiring!● コロプラでエンジニアを積極採用中です!!○ Cloud Spanner, GKE を使ったゲームや基盤開発○ 他にもいろいろ...!コロプラ　採用検索▼詳しく

Movatterモバイル変換

Change Language

株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps

Embed presentation

Recommended

More Related Content

What's hot

Similar to 株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps

More from Google Cloud Platform - Japan

株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps