アーキテクチャから学ぶKubernetesの全体像

bells17

February 15, 2024

Tweet Share

Transcript

1. アーキテクチャから学ぶ 
 Kubernetesの全体像 Developers Summit 2 0 2 4 (

   2 0 2 4 / 2 / 1 5 ) @bells 1 7

2. ▶ @bells 1 7 ▶ Software Engineer@ 3 -shake inc.

   ▶ kubernetes & kubernetes-csi member ▶ Kubernetes Internal Organizer ▶ Kubernetes Novice Tokyo Organizer ← New! ▶ #kubenews ▶ X(Twitter): @bells 1 7 _ ▶ GitHub: @bells 1 7

3. 突然ですが みなさん本番環境でコンテナ使ってますか？

4. よく名前を⽿にする コンテナオーケストレーションツール ▶ AWS Lambda ▶ Amazon ECS ▶ Cloud

   Run(Google Cloud) ▶ App Engine(Google Cloud) ▶ Heroku ▶ Nomad(Hashicorp) ▶ Kubernetes

5. よく名前を⽿にする コンテナオーケストレーションツール ▶ AWS Lambda ▶ Amazon ECS ▶ Cloud

   Run(Google Cloud) ▶ App Engine(Google Cloud) ▶ Heroku ▶ Nomad(Hashicorp) ▶ Kubernetes ← 今回はこれについてお話します

6. Kubernetes とは？ ▶ コンテナオーケストレーションツールの1つ ▶ Googleが内部で運⽤していたコンテナ基盤であるBorgをベースとしてる ▶ Cloud Native Computing

   Foundation(CNCF)に寄贈済み 
 (成熟度レベル: GRADUATED)

7. CNCFプロジェクトの成熟度レベル

8. Kubernetesの特徴 ▶ サービスディスカバリとロードバランシング ▶ ストレージオーケストレーション ▶ ⾃動化されたロールアウトとロールバック ▶ ⾃動ビンパッキング ▶

   セルフヒーリング ▶ 秘密情報と設定の管理 ▶ バッチ実⾏ ▶ ⽔平スケーリング ▶ IPv 4 /IPv 6 デュアルスタック ▶ 拡張性を考慮した設計 https://kubernetes.io/docs/concepts/overview/ より

9. Kubernetes Controllerという仕組みが これら全てを⽀えている と言っても過言じゃない

10. ということで今⽇のお話 ▶ Kubernetesの基盤となる”Controller”について ▶ Kubernetesはどのように”Controller”を使⽤しているのか？

11. ということでControllerのお話

12. https://github.com/kubernetes/website/blob/fb 6 3 6 4 da 0 afd 1 9

    e 8 a 9 5 1 5 aaae 2 de 9 bc 7 4 a 0 a 6 abd/static/images/docs/components-of-kubernetes.png Kubernetesの全体像
13. None

14. Kubernetes Controller ▶ Kubernetes Controller: 監視対象リソース変更や⼀定時間経過などのイベントを 
 トリガーとして、調整ループを実⾏するアプリケーション ▶ 調整ループ:

    宣⾔されたあるべき状態と現在の状態との⽐較を⾏い、現在の状態を 
 あるべき状態に変更する制御ループ ※ 調整ループという表現はKubernetesの公式ドキュメント内には
 登場しないが、よく使われるのでここでは上記のように説明してる

15. https://github.com/kubernetes/sample-controller/blob/master/docs/images/client-go-controller-interaction.jpeg

16. https://github.com/kubernetes/website/blob/fb 6 3 6 4 da 0 afd 1 9

    e 8 a 9 5 1 5 aaae 2 de 9 bc 7 4 a 0 a 6 abd/static/images/docs/components-of-kubernetes.png kube-api-server以外のConponentはControllerを中⼼として多くの機能を実現している

17. Kubernetesの宣⾔的APIという仕組みは 
 Controllerによって成り⽴っている

18. Controllerの⾃作によってKubernetesそのものを拡張可能 ▶ Controllerはユーザーが⾃分で開発~デプロイすることでKubernetesそのものの 
 機能を拡張することが可能 ▶ Custom Resource(CR)を利⽤することで独⾃のリソースをKubernetes内に作成できる ▶ 上記を組み合わせたものを”Kubernetes

    Operator”と呼んだりする ▶ e.g. + cert-manager: CRを利⽤してロードバランサーなどで使⽤する証明書の発⾏‧管理など を⾏える + HNC: Kubernetesの名前空間(Namespace)を階層化して使⽤できる + Argo CD: GitOptsによるデプロイを実現 + etc … ▶ Controllerを⾃作するためのフレームワークも有り(controller-runtime/kubebuilder)

19. Kubernetesのコアとなる 
 Kubernetes Controllerの仕組みを解説しました

20. https://github.com/kubernetes/website/blob/fb 6 3 6 4 da 0 afd 1 9

    e 8 a 9 5 1 5 aaae 2 de 9 bc 7 4 a 0 a 6 abd/static/images/docs/components-of-kubernetes.png 次はKubrernetesがどのようにControllerを使⽤しているのか⾒てみましょう

21. (kube|cloud)-controller-manager

22. kube-controller-manager ▶ (主に)cloud-controller-managerが実⾏する以外の各種Controllerを 
 まとめて実⾏~管理するやつ ▶ 実際にはその他のComponentでもいくつもControllerを持ってはいる ▶ 設定によって起動するController数は前後するが、 


    ⼤体30-40種類のControllerを実⾏ ▶ 環境によってはcloud-controller-managerのControllerを実⾏を⾏う

23. cloud-controller-manager ▶ 実⾏基盤(クラウド)と連携して動作するコントローラーを動かす ▶ Cloud Providerという実⾏基盤との連携⽤コンポーネントを組み込む 
 ことで連携を⾏う

24. Pod関連Controller

25. Endponts & EndpointSlice関連Controller Overview

26. kube-proxyによるiptables設定

27. kube-proxy とは？ ▶ Worker Nodeで動作するCore Componentの1つ ▶ 主にServiceリソースとEndpointSliceリソースを元にネットワーク設定を 
 ⾏い、Serviceのエンドポイント(e.g.

    foo.bar.svc.cluster.local)にアクセス 
 した際にPodにリクエストが届くようにしてくれるコンポーネント ▶ 動作モードには下記の3つがある(userspaceというモードもあったが削除された) ▶ iptables(デフォルト) ▶ ipvs ▶ kernelspace(Windows⽤) ▶ IPv 4 とIPv 6 のデュアルスタックのサポートも有り

28. iptablesが設定するNAT設定によるパケット処理フローの例

29. Service/EndpointSliceリソースを元にControllerによってiptablesの設定を⾏う

30. kubeletがコンテナを起動するまでの流れ

31. Kubelet ▶ Kubernetesクラスターの各ノードで動作するコンポーネント ▶ コンテナランタイムと連携しWorker Nodeで動かすコンテナとその関連 
 リソースを管理する

32. コンテナ起動を⾏うKubeletのメインループはControllerライクな 
 イベント駆動型になっている

33. CSI DriverʹΑΔKubernetesͷϘϦϡʔϜར༻

34. αΠυΧʔΞϓϦέʔγϣϯʹΑΔ࿈ܞ https://github.com/kubernetes/community/blob/d83cd53979d08ac0e0e33704c6aec6b1c3cb7c8d/contributors/design-proposals/storage/container-storage-interface_diagram1.png

35. ϘϦϡʔϜ࡞੒࣌ͷॲཧϑϩʔ

36. Pod࡞੒࣌ͷϘϦϡʔϜϚ΢ϯτ·Ͱͷϑϩʔ

37. まとめ

38. Kubernetesは 
 Controllerの組み合わせでできている Controllerと
 それに類する
 アプリケーション

39. 今⽇のセッションの個別部分に関する詳しい内容は 
 このあたりの書籍‧資料をご確認ください! ▶ kube-proxy⼊⾨ ▶ kube-controller-manager⼊⾨ ▶ Kube API

    Server ▶ KubernetesとCoreDNSについて理解する ▶ CSI⼊⾨ ▶ Cloud Controller Manager Deep Dive ▶ kubeadmに学 ぶ クラスター構築 ▶ Kubeletから読み解くKubernetesの 
 コンテナ管理の裏側 ▶ CRIの仕様とdockershimの実装について 
 調 べ てみた ▶ controller-runtime Deep Dive

40. 最後に宣伝

41. スリーシェイクではエンジニアを募集してます

42. Sreake SREの⽀援概要 SREの考え⽅に従って、AWSやGoogle Cloudを利⽤しているサービスの 技術戦略、設計、構築、運⽤までワンストップで対応 伴⾛型の⽀援で最終的にクライアントの内製化‧⾃⾛がゴール

43. 参考資料 ▶ https://github.com/kubernetes/kubernetes/tree/v 1 . 2 8 . 4 ▶

    https://kubernetes-csi.github.io/docs/ ▶ https://github.com/kubernetes/community/blob/master/contributors/design-proposals/ storage/container-storage-interface.md

44. 画像引⽤元 ▶ https://github.com/kubernetes/community/tree/master/icons ▶ https://github.com/kubernetes/kubernetes/tree/master/logo ▶ https://github.com/cncf/artwork/tree/master/projects/kubernetes ▶ https://github.com/kubernetes/kubeadm/tree/main/logos

45. Thanks / Question? ▶ @bells 1 7 ▶ Slide: https://speakerdeck.com/bells

    1 7 ▶ @bells 1 7 _