Movatterモバイル変換

© 2024 NTT DATA Group Corporation 5いろいろなデータベース製品・サービスIgniteカラム指向CassandraHBaseドキュメント指向Couchbaseグラフ指向Neo4jMemgraphKVSRedisetcdMongoDBインメモリデータグリッドHazelcastGeodeOracle汎⽤RDBPostgreSQL組込DBSQLiteDWH・情報系SnowflakeBigQueryRedshiftTeradataNewSQL Spanner TiDB YugabyteDBCockroachDBMySQLMariaDBリレーショナル⾮リレーショナル

© 2024 NTT DATA Group Corporation 7PostgreSQLのライセンスThe PostgreSQL Licencehttps://opensource.org/license/postgresqlBSDに似たライセンスで、使⽤、変更、配布を個⼈、商⽤、学術など、⽬的に限らず無償で可能。例えば、PostgreSQLを改変して商⽤製品を作ることも、そのソースを⾮公開にすることもできる。PostgreSQL開発コミュニティは、ライセンスを変更したり、別のライセンスでPostgreSQLをリリースする予定はない。https://www.postgresql.org/about/licence/

© 2024 NTT DATA Group Corporation 8PostgreSQLの⼈気DB-EnginesのDBMS⼈気ランキングでは、PostgreSQLは第4位︕ (2024年3⽉時点)https://db-engines.com/en/ranking⼈気は上昇傾向で、2023年の DBMS of the Year を獲得︕ (2年ぶり4回⽬の獲得)https://db-engines.com/en/blog_post/106

© 2024 NTT DATA Group Corporation 10PostgreSQLコミュニティ (グローバル)The PostgreSQL Global Development GroupPostgreSQL本体を開発しているコミュニティLocal User Groups世界各地 (33ヶ国62地域) にあるPostgreSQLユーザグループPUG = PostgreSQL User GroupEvents世界各地でPostgreSQLに関するカンファレンスなどのイベントが開催Slack, IRC, LinkedIn, etc様々なチャンネルでPostgreSQLユーザが集まってコミュニケーション

© 2024 NTT DATA Group Corporation 11PostgreSQLコミュニティ (⽇本)⽇本PostgreSQLユーザ会⽇本のPostgreSQLユーザグループJPUG = Japan PostgreSQL User Group⽀部北海道、東北、新潟、名古屋、関⻄、四国、中国、九州、沖縄⽂書・書籍関連分科会PostgreSQL関連の⽂書の翻訳PostgreSQLエンタープライズ・コンソーシアムPostgreSQLの普及推進を⽬的とする企業コンソーシアムPGECons = PostgreSQL Enterprise Consortium

© 2024 NTT DATA Group Corporation 13PostgreSQLコミュニティ (グローバル)The PostgreSQL Global Development GroupPostgreSQL本体を開発しているコミュニティLocal User Groups世界各地 (35ヶ国67地域) にあるPostgreSQLユーザグループPUG = PostgreSQL User GroupEvents世界各地でPostgreSQLに関するカンファレンスなどのイベントが開催Slack, IRC, LinkedIn, etc様々なチャンネルでPostgreSQLユーザが集まってコミュニケーションPostgreSQL開発コミュニティに参加しよう︕

© 2024 NTT DATA Group Corporation 17モチベーションPostgreSQL開発コミュニティになぜ参加したいか︖技術者にとってのモチベーションの例としては、① PostgreSQLの内部や設計思想、仕様、制約などを深く理解できる。PostgreSQLを効果的に利⽤できるようになる② 世界中の様々な技術者たちの考えに触れることで、技術者としての⾒識が⼤きく広がる。様々な技術者とのパイプができる③ パッチの作成やレビューを通じて、コーディングスキルが向上する④ 新機能開発やバグ修正の成果に対して世界中から感謝される。⾃⾝の成果として名前が残り、セルフブランディングになる

© 2024 NTT DATA Group Corporation 18モチベーションPostgreSQL開発コミュニティになぜ参加したいか︖事業者にとってのモチベーションの例としては、① データベース技術の最新動向について早期に情報を⼊⼿でき、事業に活かすことで、その事業領域でのプレゼンスを獲得できる② 世界中の様々な企業・技術者とパイプができ、他社とのアライアンスなどの機会につながる可能性がある③ 事業で必要な機能やバグ修正をPostgreSQLに取り込める。事業者の技術⼒アピールやブランド⼒を向上できる

© 2024 NTT DATA Group Corporation 19PostgreSQL開発のフロー新機能の提案やバグの報告を⾏う新機能の必要性やユーザI/F、アーキテクチャ、実現⽅法、バグ原因、修正⽅法などを議論する議論結果を踏まえて、新機能やバグ修正をコーディングして、パッチを作成・投稿するパッチをレビューして、不備を改修するコミッタがパッチをPostgreSQL本体に取り込む提案・バグ報告議論パッチ作成レビューコミット繰"返$

© 2024 NTT DATA Group Corporation 21メーリングリストの購読PostgreSQL開発コミュニティでのコミュニケーションはメーリングリストが基本PostgreSQL公式サイトでコミュニティアカウントを作成して、4つのMLを購読pgsql-hackers新機能の提案やバグ修正、開発課題などについて議論するpgsql-bugsユーザからのバグ報告先。報告されたバグやその修正などについて議論するpgsql-docsドキュメントやその問題、改修などについて議論するpgsql-committersコミットされた内容が通知される過去の議論内容は、各メーリングリストのアーカイブから確認可能https://www.postgresql.org/list/

© 2024 NTT DATA Group Corporation 23議論を読むコツ興味あるテーマ・機能・バグの議論から読むOSS-DBの資格取得などを通じてPostgreSQLの体系的な事前知識を得ておく英語の⻑い議論を⼿軽に読みたいときは、翻訳サイトなども活⽤例えば、Shaperで英⽂を整形して、DeepLで⽇本語翻訳https://dream-exp.net/shaper/https://www.deepl.com/translator

© 2024 NTT DATA Group Corporation 25議論で返信するコツ翻訳サイトなどを活⽤して、英⽂を作成例えば、⽇本語で⽂章を作成して、DeepLで英語翻訳、Grammarlyで添削https://www.deepl.com/translatorhttps://www.grammarly.com/⽂を無理に⻑くしない、箇条書きにする、例を出して説明する他の⼈のメールやPostgreSQLドキュメント、ソースコメントの英⽂を参考にする

© 2024 NTT DATA Group Corporation 27PostgreSQL開発のサイクル2023年度 2024年度6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11CF CF CF CF CFv17開発v16開発v18開発CF CFBeta / RCBeta / RCFeatureFreeze リリースリリースコミュニティサポートCFCommitFestパッチレビューに集中する期間

© 2024 NTT DATA Group Corporation 29CommitFestのワークフローNeeds reviewレビュー待ちWaiting on Author開発者の対応待ちReady forCommitterコミッタの判断待ちCommittedコミット成功︕Moved to next CF次回CFでレビュー継続Returned withFeedback今回CFで⼗分にレビュー済Rejected提案却下Withdrawn提案撤回パッチ修正レビューパッチ提案レビュー完了差し戻しコミットパッチレビュー中パッチクローズ提案撤回提案却下レビュー⼗分CF終了パッチ作者レビュアコミッタ

© 2024 NTT DATA Group Corporation 30レビューするパッチを決める興味ある機能や分野のパッチレビューしやすいパッチドキュメントやテストケースのパッチ独⽴した機能などで影響範囲の⼩さいパッチ(クライアントツール、contribモジュール、SQL関数など)サイズの⼩さいパッチ仕様やI/Fなどの内容がコミュニティで合意済のパッチメインのレビュアがいるパッチメインのレビュアによるレビュー内容を勉強しながら、サブのレビュアとして取り組む

© 2024 NTT DATA Group Corporation 33パッチをレビューする提案レビューパッチは適⽤できるか︖ドキュメントやテストを含んでいるか︖仕様レビューパッチは本当に必要か︖仕様はコミュニティで合意されているか︖機能テスト仕様通りに動作するか︖クラッシュや想定外のエラーはないか︖性能試験パッチにより性能劣化しないか︖コーディング・レビューWindowsでも動作するか︖コーディング規約に従っているか︖アーキテクチャ・レビュー他機能と⼀貫性のあるアーキテクチャか︖https://wiki.postgresql.org/wiki/Reviewing_a_Patch/jaレビューコメントとしてMLで返信する

© 2024 NTT DATA Group Corporation 34パッチを適⽤、コンパイル、テストする① ソースの⼊⼿、コンパイルに必要なライブラリをインストールする$ sudo dnf install git gcc make bison flex readline readline-devel zlib-devel② TAPテスト(*)に必要なライブラリをインストールする$ sudo dnf install perl-CPAN$ sudo cpan -i IPC::Run Test::Simple Time::HiRes Test::Harness③ ドキュメントのコンパイルに必要なライブラリをインストールする$ sudo dnf install docbook-dtds docbook-style-xsl libxslt環境によって必要なライブラリやインストールのコマンドが異なることに注意︕上記はRHEL8系環境での実⾏例(*) PostgreSQLのクライアントツールなどを対象とする追加テスト

© 2024 NTT DATA Group Corporation 35パッチを適⽤、コンパイル、テストする④ PostgreSQLのgitレポジトリをクローンする$ git clone git://git.postgresql.org/git/postgresql.git⑤ パッチ適⽤先ブランチをチェックアウトする$ cd postgresql$ git checkout master⑥ パッチ⽤の新規ブランチを作成する$ git checkout -b xxx$ git branchmaster* xxx基本的に「開発中の最新メジャーバージョン」のmasterブランチがパッチ適⽤先⼿元環境だとクローンにかかった時間は約15分レビュー完了後などにパッチ適⽤を⼿軽にクリアできるように、パッチ⽤のブランチを作成するのがおススメ︕

© 2024 NTT DATA Group Corporation 36パッチを適⽤、コンパイル、テストする⑦ パッチを適⽤する$ patch -p1 -d. < $HOME/xxx.patch⑧ PostgreSQLをコンパイルする$ ./configure --enable-debug --enable-cassert --enable-tap-tests ¥--prefix=$HOME/pgsql/xxx CFLAGS=-O0$ make -j 4$ make installデバッグしやすいようにオプションを指定する--enable-debug--enable-cassert--enable-tap-testsCFLAGS=-O0インストール先のディレクトリを指定する--prefix時間短縮のため複数多重でコンパイルするように-jオプションを指定するのがおススメ︕パッチ適⽤やコンパイルで発⽣したエラー・警告は、レビューコメントとしてMLで報告する

© 2024 NTT DATA Group Corporation 37パッチを適⽤、コンパイル、テストする⑨ contribモジュールをコンパイルする$ cd contrib$ make$ make install$ cd ..⑩ ドキュメントをコンパイルする$ make html⑪ リグレッションテストを実⾏する$ make -j 4 check-worldコンパイルやテストで発⽣したエラー・警告は、レビューコメントとしてMLで報告するCF登録のパッチは⾃動的にテストが⾛り、その結果をPatch Testerから確認できるhttp://cfbot.cputube.org/時間短縮のため複数多重でコンパイルするように-jオプションを指定するのがおススメ︕

© 2024 NTT DATA Group Corporation 38パッチを適⽤、コンパイル、テストする⑫ PostgreSQLを起動する$ cd $HOME/pgsql/xxx$ bin/initdb -D data --locale=C --encoding=UTF8$ bin/pg_ctl -D data start⑬ パッチの新機能をテストする$ bin/psql...⑭ PostgreSQLを停⽌する$ bin/pg_ctl -D data stop思いつく限りの新機能の使い⽅を試してみる︕例えば、⼊⼒のバリエーション (境界値、⼤規模データ、不正値など)⼤量実⾏、複数多重同時実⾏物理/論理レプリケーション環境での動作起動・停⽌やテストで発⽣したエラー・想定外動作は、レビューコメントとしてMLで報告する

© 2024 NTT DATA Group Corporation 39パッチをコーディング・レビューするコーディング規約やエラーメッセージのスタイルガイドに従っているか︖https://www.postgresql.jp/document/current/html/source.htmlコメントやドキュメントに内容誤り(古い内容のまま)やTypoはないか︖関数名、変数名、マクロ名、ファイル名などの命名が分かりやすく適切か︖初期化忘れ、クローズ・解放忘れ、戻り値のチェック忘れなどのバグはないか︖セグメンテーションフォルトやアサーションエラーを引き起こすコードパスはないか︖無駄、⾮効率、(必要以上に)複雑すぎる、理解しにくいコードはないか︖例えば、以下の観点でコード上気になる点をレビューコメントとしてMLで報告する

© 2024 NTT DATA Group Corporation 45パッチネタを⾒つける研究成果やその関連技術をPostgreSQLに組み込む成果が⼤きすぎる場合は、細かい技術要素に分けて、少しずつパッチ化できないか考えるコミュニティでの議論やパッチレビューでパッチネタを⾒つける議論中に新機能のアイデアが出ることや、レビュー中にPostgreSQLの不具合が⾒つかることが多いPostgreSQLの最新バージョンリリース前後に、そのバージョンの新機能を試すリリース前後は、新機能に不具合が含まれていることが多い

© 2024 NTT DATA Group Corporation 46PostgreSQL開発のフロー新機能の提案やバグの報告を⾏う新機能の必要性やユーザI/F、アーキテクチャ、実現⽅法、バグ原因、修正⽅法などを議論する議論結果を踏まえて、新機能やバグ修正をコーディングして、パッチを作成・投稿するパッチをレビューして、不備を改修するコミッタがパッチをPostgreSQL本体に取り込む提案・バグ報告議論パッチ作成レビューコミット繰"返$パッチネタについてまずはコミュニティで議論して、その結果にもとづいてパッチを作成するのが基本パッチを作成してみないと提案・議論しにくい場合は、パッチを先に作成することも

© 2024 NTT DATA Group Corporation 47パッチを作成する① masterブランチでソースを最新化して、パッチ⽤のブランチを作成する。$ git checkout master$ git pull$ git checkout -b new-func② ソースを改修して、その改修内容をコミットする。$ emacs ...$ git commit -a -m "Add new func ..."③ masterブランチからパッチ⽤ブランチへのソース差分をパッチとして作成する。$ git format-patch master$ ls *.patch0001-Add-new-func.patch

© 2024 NTT DATA Group Corporation 48パッチレビューの観点をクリアできているか提案レビューパッチは適⽤できるか︖ドキュメントやテストを含んでいるか︖仕様レビューパッチは本当に必要か︖仕様はコミュニティで合意されているか︖機能テスト仕様通りに動作するか︖クラッシュや想定外のエラーはないか︖性能試験パッチにより性能劣化しないか︖コーディング・レビューWindowsでも動作するか︖コーディング規約に従っているか︖アーキテクチャ・レビュー他機能と⼀貫性のあるアーキテクチャか︖https://wiki.postgresql.org/wiki/Reviewing_a_Patch/ja

© 2024 NTT DATA Group Corporation 49パッチレビューの観点をクリアできているかコーディング規約やエラーメッセージのスタイルガイドに従っているか︖https://www.postgresql.jp/document/current/html/source.htmlコメントやドキュメントに内容誤り(古い内容のまま)やTypoはないか︖関数名、変数名、マクロ名、ファイル名などの命名が分かりやすく適切か︖初期化忘れ、クローズ・解放忘れ、戻り値のチェック忘れなどのバグはないか︖セグメンテーションフォルトやアサーションエラーを引き起こすコードパスはないか︖無駄、⾮効率、(必要以上に)複雑すぎる、理解しにくいコードはないか︖

© 2024 NTT DATA Group Corporation 50PostgreSQL開発のサイクル2023年度 2024年度6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11CF CF CF CF CFv17開発v16開発v18開発CF CFBeta / RCBeta / RCFeatureFreeze リリースリリースコミュニティサポートCFCommitFestパッチレビューに集中する期間

© 2024 NTT DATA Group Corporation 57① SQL処理部分を書き換えて、TRUNCATEコマンドを実⾏できないように改造SQL処理部分の概要ParserAnalyzerPlannerExecutor構⽂を解析する（⽂法的に正しければよい）テーブルや列が存在するかを確認するインデックススキャンやシーケンシャルスキャンなどのアクセス⽅法を決めるPlannerが決めた⽅法でSQLを実⾏する↑ここを書き換えてTRUNCATEコマンドを実⾏できないようにする

© 2024 NTT DATA Group Corporation 59PostgreSQLとデータベース研究の関わりを知るメリットPostgreSQL開発者機能実装する際により効率的で優れた⼿法を知ることができる︕PostgreSQL利⽤者どんな理論に基づいて内部実装されているかを理解することで、より効果的にPostgreSQLを利⽤できる︕データベース研究者データベース研究がどのように実世界に適⽤されているかを知ることができる︕説得⼒のある研究背景が書けたり、研究のモチベーションアップにつながる︕PostgreSQL開発者/利⽤者、データベース研究者それぞれにPostgreSQLとデータベース研究の関わりを知るメリットがある︕

© 2024 NTT DATA Group Corporation 60PostgreSQLの歴史（1/2）PostgreSQLはデータベース研究プロジェクトから誕⽣した︕1970年 E.F.Coddによりリレーショナルモデルが考案1976年 INGRESプロジェクト始動カリフォルニア⼤学バークレー校でM.Stonebrakerらが始めたリレーショナルデータベース開発プロジェクト1986年 POSTGRESプロジェクト始動POSTGRES = Post INGRESカリファルニア⼤学バークレー校でM.Stonebrakerらが始めたリレーショナルデータベース開発プロジェクト1993年 POSTGRESプロジェクト終了コミュニティの規模が⼤きくなり、本来データベースの研究に費やすべき時間がソースコードの保守とサポートに使われているという課題

© 2024 NTT DATA Group Corporation 61PostgreSQLの歴史（2/2）PostgreSQLはデータベース研究プロジェクトから誕⽣した︕1995年 Postgres95POSTGRESプロジェクトに参加していたAndrew YuとJolly ChenがPOSTGRESに⼤規模な変更を加えPostgres95を開発問い合わせ⾔語がPostQUELからSQLに1996年 PostgreSQL誕⽣PostgreSQL = POSTGRES + SQLPOSTGRESプロジェクトでのバージョン番号に戻したため、初期バージョンは6.02024年3⽉現在 PostgreSQL 16.2https://www.postgresql.org/docs/release/16.2/

© 2024 NTT DATA Group Corporation 63PostgreSQLのトランザクション分離レベルANSI SQL標準*で定義されたトランザクション分離レベルを設定できるが、内部実装としてはSIGMOD1995年の論⽂を参考にしている︕分離レベル発⽣しうるアノマリーREAD UNCOMMITTED ダーティリード※内部的には実装されておらずPostgreSQLでは発⽣しないREAD COMMITTED 反復不能読み取りREPEATABLE READ ファントムリード※PostgreSQLでは発⽣しないSERIALIZABLE 直列化異常*) 以下の論⽂で、ANSI SQL標準の分離レベルの定義は曖昧であると批判している。また、PostgreSQLのトランザクション分離は以下の論⽂で定義されているスナップショット分離をMVCC（Multi-Version Concurrency Control）で実装することにより実現している。Hal Berenson et al., A critique of ANSI SQL isolation levels (SIGMOD1995)

© 2024 NTT DATA Group Corporation 64Serializable Snapshot IsolationPostgreSQLのSERIALIZABLE分離は、Serializable Snapshot Isolationにより実現している︕2008年 Serializable Snapshot Isolation（SSI）が提案Michael J. Cahill et al., Serializable Isolation for Snapshot Databases (SIGMOD2008)Snapshot Isolationで発⽣する異常を⾃動的に検出して防⽌することでSERIALIZABLE分離を実現2012年 PostgreSQLでのSSIの実装に関する論⽂が発表Dan R. K. Ports and Kevin Grittner, Serializable Snapshot Isolation in PostgreSQL (VLDB2012)性能はSIよりわずかに劣るものの、従来の2PL（2 Phase Lock）よりも⼤幅な性能向上を実現2011年 PostgreSQL 9.1にSSIベースのSERIALIZABLE分離に変更https://www.postgresql.org/docs/9.1/release-9-1.html

© 2024 NTT DATA Group Corporation 65B⽊インデックスBlink⽊Philip L. Lehman and S. Bing Yao, Efficient Locking for Concurrent Operations on B-Trees(TODS1981)B+⽊に、High Keyと兄弟ノードへのポインタを実装し最適化PostgreSQLの実装上の論⽂の実装に加えて、下の論⽂の削除ロジックの簡易版を実装Vladimir Lanin and Dennis Shasha, A Symmetric Concurrent B-tree Algorithm(ACM Fall Joint Computer Conference 1986)PostgreSQLはB+⽊を改良したBlink⽊を実装している︕

© 2024 NTT DATA Group Corporation 66GiSTインデックスGiSTインデックスとは︖Joseph M. Hellerstein et al., Generalized Search Trees for Database Systems (VLDB1995)インデックスを実装する際のテンプレートであり、データベースの専⾨家以外でもインデックスを実装すること容易にするGiSTインデックスプロジェクトカリフォルニア⼤学バークレー校のGiSTインデックス研究プロジェクトhttps://gist.cs.berkeley.edu/PostgreSQLのGiST（Generalized Search Tree）インデックスはカリフォルニア⼤学バークレー校の研究プロジェクトから開発が始まった︕

© 2024 NTT DATA Group Corporation 67SP-GiSTインデックスSP-GiSTインデックスとは︖Walid G. Aref and Ihab F. Ilyas, SP-GiST: An Extensible Database Index for SupportingSpace Partitioning Trees, Journal of Intelligent Information Systems (JIIS2001)空間分割された探索⽊（四分⽊、kd⽊など）を開発可能とするGiSTSP-GiSTインデックスプロジェクトパデュー⼤学のSP-GiSTインデックス研究プロジェクトhttps://www.cs.purdue.edu/spgist/PostgreSQLのSP-GiST（Space-Partitioned GiST）インデックスはパデュー⼤学の研究プロジェクトから開発が始まった︕

© 2024 NTT DATA Group Corporation 69NTTデータグループのインターンシップNTTデータグループのインターンでは、PostgreSQLの機能開発や改善をPostgreSQL開発者とともに経験することができます︕インターン⽣が開発した機能の例• Disallow MERGE cleanly for foreign partitions• psql: Improve tab-completion for MERGE.• Fix pg_stat_statements for MERGE• Remove definition of JUMBLE_SIZE fromqueryjumble.h• Improve HINT message that FDW reports whenthere are no valid options.• psql: Improve tab-completion for LOCK TABLE.• Make autovacuum launcher more responsive topg_log_backend_memory_contexts().https://git.postgresql.org/gitweb/?p=postgresql.git;a=commit;h=cba4e78f3599f7edc3fb53d1b094f037fbb8158ahttps://git.postgresql.org/gitweb/?p=postgresql.git;a=commit;h=9a6915257d1d804ddba05331030b74d7426a4005https://git.postgresql.org/gitweb/?p=postgresql.git;a=commit;h=249b0409b181311bb1c375311e43eb767b5c3bddhttps://git.postgresql.org/gitweb/?p=postgresql.git;a=commit;h=839c2520a7937b8895ff84fc8fc718dbfab5e72ehttps://git.postgresql.org/gitweb/?p=postgresql.git;a=commit;h=5fedf7417b69295294b154a219edd8a26eaa6ab6https://git.postgresql.org/gitweb/?p=postgresql.git;a=commit;h=0b0d277c35533baecc8d1a9356f71de5f2ee0bd8https://git.postgresql.org/gitweb/?p=postgresql.git;a=commit;h=e3e29cec10d15bbcedc6b41887d8f4e138d719bd

© 2024 NTT DATA Group Corporation 70まとめ• オープンソースのRDBMSであるPostgreSQLの概要を説明しました。• PostgreSQLコミュニティに参加し、パッチを開発する⽅法を説明しました。• ライブコーディングで以下を⾏いました。• TRUNCATEコマンドの実⾏を禁⽌する改造• ドキュメント修正パッチの作成からメール送信• PostgreSQLとデータベース研究の関わりについて説明しました。興味をもって頂けた⽅はぜひNTTデータの企業ブースまでお越しください︕

記載されている会社名、商品名、⼜はサービス名は、各社の登録商標⼜は商標です。

Movatterモバイル変換

Change Language

OSSデータベースの開発コミュニティに参加しよう！ (DEIM2024 発表資料)

Embed presentation

Recommended

More Related Content

What's hot

Similar to OSSデータベースの開発コミュニティに参加しよう！ (DEIM2024 発表資料)

More from NTT DATA Technology & Innovation

OSSデータベースの開発コミュニティに参加しよう！ (DEIM2024 発表資料)