Descheduler for Kubernetes : 戦略に違反する Pod を他のノードに移動する

Kubernetes を使っていると，運用面で起動中の Pod を他のノードに移動（再スケジューリング）したくなる場面がある．以下に具体的な例を挙げる．理由としては，Kubernetes では kube-scheduler によって Pod を起動する前にノードが決まる仕組み（スケジュ…

Pod Topology Spread Constraints : Pod を Multi AZ 配置する

Kubernetes で「Pod Topology Spread Constraints」を使うと Pod をスケジューリングするときの制約条件を柔軟に設定できる．今回は Zone Spread (Multi AZ) を試す！詳しくは以下のドキュメントに載っている！ kubernetes.io spec.topologySpreadConstraint…

Pandas で NDJSON (.jsonl) を読み込む

Pandas で NDJSON (Newline Delimited JSON) を読み込む場合 read_json() 関数に lines=True パラメータを設定すれば OK！ pandas.pydata.org NDJSON サンプル dataset.jsonl { "id": 1, "name": "Alice" } { "id": 2, "name": "Bob" } { "id": 3, "name": "…

Airflow : SlackAPIPostOperator と SqsPublishOperator に入門する

前回の記事では Airflow 検証環境にプリセットされている DAG を使って BashOperator と PythonOperator と BranchPythonOperator を試した．今回は新しく DAG を作りつつ，気になる他のオペレーターを試す． kakakakakku.hatenablog.com SlackAPIPostOperat…

無料で受験できる Python 新試験「PythonZen & PEP 8 検定試験」に合格した

2022年3月1日に β リリースになった「一般社団法人 Python エンジニア育成推進協会」の新試験「PythonZen & PEP 8 検定試験」に合格した現在まだ β だけど合格すると「本認定」になる．PythonZen (PEP 20 - The Zen of Python) と PEP 8 から出題されるため…

プロダクトのロードマップを公開できるサービス「Roadmap.show」を試した

プロダクトのロードマップを公開できるサービス「Roadmap.show」を試した！ サービス自体はとてもシンプルで，例えば「機能 A は開発中だよ！」とか「機能 B は予定してるけどまだ未着手だよ！」という状況をユーザーに伝えることができる．以下の YouTube …

Airflow : PythonOperator と BranchPythonOperator に入門する

前回の記事では Airflow 検証環境を使って「Airflow Tutorial」を進めた．BashOperator を使った基本的な DAG を理解できるようになった！今回はプリセットされている他の DAG を使って BashOperator と PythonOperator と BranchPythonOperator を試す． ka…

Airflow : Tutorial を使って Python で実装された DAG の基礎を学ぶ

前回の記事で構築した Airflow 検証環境を使って「Airflow Tutorial」を進めていく！今回紹介する「Airflow Tutorial」は本当によくできてて，Airflow の基本的な仕組みや操作を学べる．そして Python で実装された DAG も読めるようになる．どの項目も丁寧…

Airflow : Docker で検証環境を構築して画面と CLI と REST API で操作する

ワークフローを管理するソフトウェア「Apache Airflow」に入門する．今までは本当にザッと試した程度の経験しかなく，テックブログに記事を書いたことすらなかった．幅広くある機能を試しながら学習ログを記事にしていく．今回は Airflow の検証環境を構築し…