Movatterモバイル変換

SQL Server エンジニアのためのコンテナ入門２０１９年０９月２５日NEC Solution Innovators, Ltd.太田智行

太田智行Walkmanと同い年データベース技術ひと筋

SQL on Linux のアーキテクチャLinux向けにポーティングされたものではない“SQLPAL”により長年稼働してきたWindowsコードを共有SQL Platform Abstraction Layer(SQLPAL)RDBMS SSIS SSAS SSRSWindows LinuxWindows Host Ext.Linux HostExtensionSQL Platform Abstraction Layer(SQLPAL)Host extension mapping to OS system calls(IO, Memory, CPU scheduling)Win32-like APIsSQL OS APISQL OS v2All other systemsSystem resource & latencysensitive code paths

on Linuxon Containeron KubernetesPopular and Commonly UsedPortable, Lightweight, Immutable, EfficientOrchestration, Scalable, Self Healing

libapplibapplibapplibapplibappアプリを動かしたいライブラリ入手サーバ(OS)構築HW調達課題• HWパワーが足りなければイチカラ組みなおし。逆にHWが暇でも部分返品不可。• 対応OSが異なるアプリを動かしたければ別途HW調達から必要。

課題解決：HW仮想化により都度のHW調達を削減• 仮想マシンに割りあてるHWパワーを増減可能• 必要OSが異なるなら別途仮想サーバーをたてればよい（HW調達不要）• OSレベルの可搬性が生まれた（新しい仮想基盤への引っ越しが可能）HW削減libapplibapplibapplibapplibappアプリを動かしたいライブラリ入手サーバ(OS)構築HW調達

さらなる課題• 仮想サーバ内部の負荷凸凹をもっと最適化できないものか（仮想サーバを減らしOS分のオーバーヘッドをカットしたい）• HW調達の問題は根本解決に至っていない（仮想基盤HWのパワー不足、パワー余剰）アプリを動かしたいライブラリ入手サーバ(OS)構築HW調達HW削減libapp app applib libapplibapplib

課題解決：アプリに可搬性を持たせ集積度を高めることでサーバを削減• OSを含まないので可搬性が高く起動も早い≒必要な時に”どこかのリソース”を使って稼働させるという考え方• サーバ（OS）削減＆HW削減、OSへのパッチ当てなどサーバ運用コスト削減アプリを動かしたいライブラリ入手サーバ(OS)構築HW調達HW削減applibapplibappliblibapp applib← サーバ(OS)削減（4->2）

libapplibapplibapplibapplibappHW削減libapp app applib libapplibapplibHW削減applibapplibappliblibapp applib← サーバ(OS)削減（4->2）リソース利用効率向上

仮想化を選択するケース例• 独立性が高い（OSを共有するコンテナに比較し有事他者影響が小さい）• OSが選択可能（コンテナはOSに依存するため例えばWindows用に構成されたコンテナを稼働させるにはWindowsが必要）HW削減libapp applibapplibapplibapplibHW削減applibapplibappliblibapp applib← サーバ(OS)削減（4->2）

Edition無償 Docker Engine – Community(旧称:Docker Community Edition)有償Docker Engine – Enterprise(旧称:Docker Enterprise - Basic)Docker Enterprise(旧称:Docker Enterprise - Standard、Docker Enterprise - Advanced )Overview of Docker editions

コンテナランタイムの動向 2013年：Docker誕生（dotCloud社（現Docker社）がOSS公開） 2014年：Everything at Google runs in a container 2015年：コンテナ標準化団体 Open Container Initiative 誕生 2017年：OCI Runtime Specification と OCI Image Format 誕生 独自のコンテナランタイムが開発可能 2017年：Container Runtime Interface（kubeletとコンテナランタイム間のI/F仕様）誕生 独自のコンテナランタイムをKubernetesに組み込みやすくなった

入手無償LinuxリポジトリもしくはパッケージからインストールWindowsDocker Desktopfor WindowsMacDocker Desktopfor Mac有償LinuxリポジトリもしくはパッケージからインストールWindowsOneGet PowerShell Moduleを使用してインストール

DockerレジストリコンテナイメージDockerfileDockerコンテナ（停止）pullbuildrmirmrunstartexecdocker ... 解説build コンテナイメージ作成pull コンテナイメージ取得run コンテナ作成＆起動stop コンテナ停止start コンテナ起動exec指定したコマンドをコンテナOS上で実行rm コンテナ破棄commit コンテナのイメージ化push コンテナイメージ配信rmi コンテナイメージ破棄commitコンテナイメージV2pushrm -fDockerコンテナ（起動）Dockerコンテナ（破棄）コンテナイメージ破棄stop※ docker-composeユーティリティでコンテナ群の一括制御も可能

マイクロソフト社公式のSQLServerコンテナイメージDeveloper Expressマイクロソフト社は独自のDockerレジストリMicrosoft Container Registry(MCR)を構築し、現在 SQL Server もMCRから入手する（Docker Hubでも引き続き最新のリストを検索可能）。

SQL Server Container 作成＆起動

命令（一部）解説COPY 指定したソースから、指定した対象のコンテナーにファイルがコピーされます。CMD コンテナーの既定の実行可能ファイルが指定されます。各 Dockerfile には、CMD 命令が1 つのみ存在します。ENV コンテナー内の環境変数の値が設定されます。EXPOSE コンテナーが特定の TCP ポートまたは UDP ポートでリッスンすることが Docker に通知されます。RUN 現在のイメージの新しいレイヤーでコマンドが実行され、結果が新しいイメージにコミットされます。WORKDIR CMD、RUN、およびコマンドを実行するその他の命令のコンテナー内に作業ディレクトリが設定されます。

% sudo docker history mcr.microsoft.com/mssql/server:2019-RC1 --no-trunc --format '{{ json .CreatedBy }}'FROM <OS base image> 例：ubuntu:16.04LABEL < Microsoft label info > 例：vendor="Microsoft"EXPOSE 1433 コンテナ内のSQL ServerがリッスンするポートCOPY < SQL Server bin and lib > /opt/mssql/bin、/opt/mssql/libRUN ./install.sh 依存パッケージやツールのインストールCMD ["/opt/mssql/bin/sqlservr”] SQL Serverの起動

SQL Server カスタム Dockerfile 例Sample1FROM mcr.microsoft.com/mssql/server:2017-CU16COPY ./DevDB.bak /tmp/DevDB.bakCMD ["/opt/mssql/bin/sqlservr"]Sample2FROM mcr.microsoft.com/mssql/server:2017-CU16COPY . /RUN chmod +x /db-init.shRUN chmod +x /entrypoint.shCMD /bin/bash ./entrypoint.shsleep 15s/opt/mssql-tools/bin/sqlcmd –i ddl.sql/db-init.sh & /opt/mssql/bin/sqlservrCREATE DATABASE mydbGOCREATE TABLE mytable (….GO….db-init.shentrypoint.shddl.sql

ローカルプライベートレジストリ% sudo docker run -d -p 5000:5000 --name localregistry-v ~/dockerreg:/var/lib/registry registry:latesthttps://hub.docker.com/_/registry/https://github.com/docker/distribution/blob/master/LICENSEApache License 2.0

Azure Container Registryhttps://docs.microsoft.com/ja-jp/learn/modules/build-and-store-container-images/1-intro-to-azure-container-registryhttps://docs.microsoft.com/ja-jp/azure/container-registry/?WT.mc_id=AZ-MVP-5002980

Azure Container Instanceshttps://docs.microsoft.com/ja-jp/azure/container-instances/?WT.mc_id=AZ-MVP-5002980

Non-Root SQL Server 2019 Containers (preview)% docker build -t 2019-latest-non-roothttps://aka.ms/mssql2019-non-root% docker run -e "ACCEPT_EULA=Y" -e"SA_PASSWORD=MyStrongP@ssword" --name sql1 -p1433:1433 -d 2019-latest-non-root% docker exec -it sql1 bash% whoami

課題解決：アプリに可搬性を持たせることで集積度を高めるサーバを削減• OSを含まないので可搬性が高く起動も早い≒必要な時に”どこかのリソース”を使って稼働させる• OS稼働分のHWリソース削減、OSへのパッチ当てなどサーバ運用コスト削減アプリを動かしたいライブラリ入手サーバ(OS)構築HW調達HW削減applibapplibappliblibapp applib← サーバ(OS)削減（4->2）

さらなる課題• “どこかのリソース（最適なアプリの起動場所）”の判断、アプリ起動・停止、アプリ監視・リカバリを瞬時に行うことは困難。• 未だにHW調達の問題は根本解決に至っていない（コンテナ基盤HWのパワー不足、パワー余剰）。アプリを動かしたいライブラリ入手サーバ(OS)構築HW調達HW削減applibapplibappliblibapp applib

YAML形式で記述した宣言コード

機能概説スケジューリングとサービスディスカバリーコンテナアプリケーション（Pod）の要件やその配置先となるノードの状態を踏まえて最適なリソース配置を動的に行う。またその所在を管理・提供する。セルフヒーリングプロセス監視やヘルスチェックを行い、異常を検知した際は宣言コードで定義されたシステムの形を維持するよう自己修復を行う。スケーリング負荷に応じてシステムに必要なPod数（≒処理パワー）の自動調整を行う（自動スケールアップ機能はアルファ段階）。ロードバランシング分散配置されたコンテナアプリケーションのロードバランスに対応したエンドポイントを提供する（Podスケールにも対応）

K8s内部構造kubectlAPI serverreplication, namespace,serviceaccounts, etc.Controllermanager schedulerKVS(etcd)MasterNode(Worker)kubelet kube-proxyDockerPod PodContainers ContainersNode(Worker)DockerPod PodInternetkubelet kube-proxyContainers Containers概説Master クラスタの司令塔となるノードAPI Server K8sを管理するためのREST APIScheduler Podのスケジューリングを制御ContollerManagerクラスタのセルフヒーリングを制御KVS(etcd) クラスターに関わる情報を格納Node Podを動作させるワーカーノードPodスケジューリングの最小単位となるコンテナアプリケーションPod内には1つ以上のコンテナが定義可能kubeletAPI serverを通じてMasterと通信しNode内を制御kube-proxy 通信制御

Managed Kubernetes ServiceAmazon ElasticKubernetes ServiceGoogleKubernetes EngineMicrosoft AzureKubernetes Service⇒ on Google Cloud Platform⇒ on Microsoft Azure Platform⇒ on Amazon Web Services PlatformKubernetes the hard way

Kubernetes 開発貢献 Top10https://k8s.devstats.cncf.io/d/9/companies-table?orgId=1&var-period_name=Last%20year&var-metric=contributions

Persistent VolumeUserNodePodSQL ServerNodeLoad BalanceServiceNodePodSQL ServerPodSQL Server

⇒ サポートされているPersistent Volumeの一覧

AGPodOperatorPodLoad balancerPodSQL ServerprimaryAG agentPodLoad balancerPodSQL ServersecondaryAG agentPodSQL ServersecondaryAG agentSQL ServerprimarySQL Serversecondary

Data VirtualizationODBC NoSQL RDBMS Big Data重複するストレージコストデータパイプラインの構築と維持データコピーに伴う鮮度劣化セキュリティリスクの増大ETL時のデータ品質問題の組み込みガバナンス制御の複雑化DataVirtualization

Big Data Cluster2016 202516 ZBs 163 ZBsof data was generated of data will generated*IDC White Paper, Data Age 2025: The Evolution of Data to Life-CriticalModel& serveStoreStorage Pool(HDFS)Data Pool(Scale-outSQL Data Mart)IngestSQL ServerIntegrationServicesPrep& trainSQL ServerML ServicesMasterinstanceMaster instance(SQL Server)REST APIcontainersfor modelsBig Data ClusterパッケージングされたAIプラットフォームパッケージングされた構築済みAIプラットフォーム

SQL Server runs anywhere !3rd partyCloudSQL DatabaseManaged InstanceSQLDatabaseKubernetesServiceSQL Serveron Azure VMSQL ServerDatabaseMigration ServiceSQL DataWarehouse3rdOn-PremisesCloudOpenShiftKubernetesContainerLinuxWindows

１．Docker（エンジン、管理クライアント）をインストール２．% sudo docker run -e "ACCEPT_EULA=Y" -e"SA_PASSWORD=P@ssword" --name sql19 -p 11433:1433 -dmcr.microsoft.com/mssql/server:2019-latest３．sudo docker exec sql19 /opt/mssql-tools/bin/sqlcmd -Slocalhost -U sa -P P@ssword -Q “SELECT ‘Hello SQL ServerContainer!’”

Movatterモバイル変換

Change Language

SQL Server エンジニアのためのコンテナ入門

Embed presentation

Recommended

More Related Content

What's hot

Similar to SQL Server エンジニアのためのコンテナ入門

Recently uploaded

SQL Server エンジニアのためのコンテナ入門

Movatterモバイル変換

SQL Server エンジニア のための コンテナ入門

Recommended

More Related Content

What's hot

Similar to SQL Server エンジニア のための コンテナ入門

Recently uploaded

SQL Server エンジニア のための コンテナ入門

SQL Server エンジニアのためのコンテナ入門

Similar to SQL Server エンジニアのためのコンテナ入門

SQL Server エンジニアのためのコンテナ入門