オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン 発表資料）2020年7月30日株式会社NTTデータ藤井 雅雄@fujii_masao

What's hot

Similar to オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン 発表資料）

More from NTT DATA Technology & Innovation

オンライン物理バックアップの排他モードと非排他モードについて（第15回PostgreSQLアンカンファレンス@オンライン 発表資料）

• 1.
  © 2020 NTTDATA Corporation 1 © 2020 NTT DATA Corporation第15回 PostgreSQLアンカンファレンス@オンラインオンライン物理バックアップの排他モードと非排他モードについて2020年7月30日株式会社NTTデータ 藤井雅雄 @fujii_masao
• 2.
  © 2020 NTTDATA Corporation 2藤井 雅雄 @fujii_masaoDatabase Technical Lead @ NTTデータデータベース研究開発、PostgreSQL 技術支援PostgreSQLコミッタレプリケーション(非同期 / 同期 / カスケード / クォーラムコミット)WAL圧縮、バックアップ進捗pg_bigm(全文検索モジュール)コミッタ自己紹介
• 3.
  © 2020 NTTDATA Corporation 3本講演について講演資料は、後日、NTTデータのSlideShareアカウント上で公開予定です。https://www.slideshare.net/nttdata-tech以前のアンカンファレンスの講演資料は公開済です。PostgreSQL 13 での pg_stat_statements の改善についてPostgreSQL 13 での pg_basebackup の改善についてPostgreSQL 13 での レプリケーション関連 の改善について
• 4.
  © 2020 NTTDATA Corporation 4オンライン物理バックアップの排他モードと非排他モードについて
• 5.
  © 2020 NTTDATA Corporation 5PostgreSQLで利用できるバックアップ手法バックアップ論理バックアップ(SQLダンプ)pg_dump /pg_dumpall物理バックアップオフラインバックアップ(コールドバックアップ)独自スクリプト(pg_ctlstop + rsyncなど)オンラインバックアップ(ホットバックアップ)pg_basebackup外部ツール(pg_rman、Barmanなど)独自スクリプト(pg_start_backup +pg_stop_backup)排他モード非排他モード
• 6.
  © 2020 NTTDATA Corporation 6PostgreSQLで利用できるバックアップ手法バックアップ論理バックアップ(SQLダンプ)pg_dump /pg_dumpall物理バックアップオフラインバックアップ(コールドバックアップ)独自スクリプト(pg_ctlstop + rsyncなど)オンラインバックアップ(ホットバックアップ)pg_basebackup外部ツール(pg_rman、Barmanなど)独自スクリプト(pg_start_backup +pg_stop_backup)排他モード非排他モード今日取り上げるバックアップ手法
• 7.
  © 2020 NTTDATA Corporation 7ご存じでしょうか？非排他的な手法が推奨され、排他的な手法は推奨されず、将来的に削除されます。https://www.postgresql.jp/document/current/html/continuous-archiving.html#BACKUP-LOWLEVEL-BASE-BACKUP
• 8.
  © 2020 NTTDATA Corporation 8排他モード① バックアップモードの開始$ psql -c "SELECT pg_start_backup('mybackup')"② DBクラスタのバックアップOSコマンドやスナップショットなどを使って、DBクラスタと全テーブルスペースを物理的にバックアップ$ cp -a $PGDATA /tblspc1 /tblspc2 /backup③ バックアップモードの終了$ psql -c "SELECT pg_stop_backup()"
• 9.
  © 2020 NTTDATA Corporation 9非排他モード① バックアップモードの開始$ psql=# SELECT pg_start_backup('mybackup', false, false)② DBクラスタのバックアップOSコマンドやスナップショットなどを使って、DBクラスタと全テーブルスペースを物理的にバックアップ$ cp -a $PGDATA /tblspc1 /tblspc2 /backup③ バックアップモードの終了=# SELECT pg_stop_backup(false);④ backup_labelとtablespace_mapのバックアップpg_stop_backup()の戻り値の内容からbackup_labelとtablespace_mapの2つのファイルを作成して、バックアップに含める・第3引数にfalseを指定・pg_start_backupを実行したセッションをpg_stop_backupまで維持・第1引数にfalseを指定・pg_start_backupを実行したセッションでpg_stop_backupを実行
• 10.
  © 2020 NTTDATA Corporation 10非排他モード=# SELECT * FROM pg_stop_backup(false);lsn | labelfile | spcmapfile-----------+---------------------------------------------------------------+-------------------------------0/3000138 | START WAL LOCATION: 0/3000028 (file 000000010000000000000003)+| 16386 /dav/head-pgsql/tblspc2+| CHECKPOINT LOCATION: 0/3000060 +| 16385 /dav/head-pgsql/tblspc1+| BACKUP METHOD: streamed +|| BACKUP FROM: master +|| START TIME: 2020-07-06 23:55:11 JST +|| LABEL: mybackup +|| START TIMELINE: 1 +|| |(1 row)backup_label tablespace_map④-2 backup_labelとtablespace_mapをバックアップに格納$ mv backup_label tablespace_map /backup④-1 pg_stop_backup()の戻り値からbackup_labelとtablespace_mapのファイルを作成
• 11.
  © 2020 NTTDATA Corporation 11排他モードと非排他モードの比較排他モード 非排他モード利用可能なバージョン 8.0以降 9.6以降バックアップの同時実行可能数1 複数pg_start_backupとpg_stop_backupを実行するセッション同じまたは異なるセッション バックアップ中のセッション断による影響はない pg_stop_backupを忘れるとバックアップモードは終了しない(次回のバックアップ取得が失敗する)同じセッション セッション断によりバックアップが失敗する(pg_start_backupからやり直し) セッションが切れればバックアップモードは終了するbackup_labelとtablespace_mapの作成pg_start_backupがDBクラスタ内に作成 DBクラスタをバックアップすれば、各ファイルは自動的にバックアップに含まれる バックアップ中にPostgreSQLがクラッシュすると、クラッシュリカバリが失敗する可能性がある(backup_labelがDBクラスタ内にある状態でクラッシュリカバリが始まるため)pg_stop_backupからユーザが作成 ユーザが各ファイルをバックアップに含める必要がある 左記のリカバリ失敗の可能性はない(DBクラスタ内にbackup_labelは存在しないため)
• 12.
  © 2020 NTTDATA Corporation 12排他モードでバックアップ中にクラッシュした場合のリカバリ失敗についてpg_start_backupCHECKPOINT12345? WALファイル凡例クラッシュCHECKPOINTpg_stop_backup各操作とWAL生成の流れクラッシュリカバリでは最新CHECKPOINT以降のWALを適用backup_labelがある状態でクラッシュリカバリが始まると、pg_start_backup以降のWALを適用• backup_labelがpg_start_backup以降のWAL適用を指示 ②～④のWALが削除済だとリカバリ失敗 未削除の場合もリカバリ時間が長くなる
• 13.
  © 2020 NTTDATA Corporation 13ご存じでしょうか？非排他的な手法が推奨され、排他的な手法は推奨されず、将来的に削除されます。https://www.postgresql.jp/document/current/html/continuous-archiving.html#BACKUP-LOWLEVEL-BASE-BACKUP
• 14.
  © 2020 NTTDATA Corporation 14排他モードを削除するパッチv14で排他モードを削除するパッチが提案されているRemove deprecated exclusive backup modehttps://commitfest.postgresql.org/28/1913/削除についてまだ議論中だが、v14で削除となる可能性が高い(ように見える)• リカバリ失敗のリスクを危険視する開発者が多い• 排他モードを利用中のユーザがいるため削除に反対する意見もあるが少数• 「排他モードは将来的に削除」とv9.6で明記してから、v14リリース時には5年経過済排他モードが削除されても問題ないでしょうか？
• 15.
  © 2020 NTTDATA Corporation 15排他モードの削除に備えて1. pg_basebackupまたは外部ツールに移行できるのであれば移行する2. 独自スクリプトを改修して、非排他モードに移行する3. (排他モードの必要性を強くコミュニティで主張して、排他モードを削除させない)
• 16.
  © 2020 NTTDATA Corporation 16排他モードから非排他モードへの移行例$ psql -c "SELECT pg_start_backup('test')"$ cp -a /pgdata/data /backup$ psql -c "SELECT pg_stop_backup()"$ psql -f backup.sqlSELECT pg_start_backup('test', false, false);¥! cp -a /pgdata/data /backupSELECTpg_file_write('/tmp/backup_label', labelfile, false),pg_file_write('/tmp/tablespace_map', spcmapfile, false)FROM pg_stop_backup(false);¥! mv /tmp/backup_label /tmp/tablespace_map /backup/data排他モード非排他モード・同一セッション内でpg_start_backupとpg_stop_backupを簡単に実行できるように、バックアップのすべての操作をpsql内で実行する・OSコマンドはpsqlメタコマンドの¥!を介して実行・pg_stop_backupからのbackup_labelとtablespace_mapの作成には、pg_file_write関数を使う・pg_file_write関数を使うにはadminpackのエクステンションをCREATE EXTENSIONする必要がある(セキュリティ上の問題がないかは要確認)
• 17.
  © 2020 NTTDATA Corporation 17まとめpg_start_backupとpg_stop_backupを使ったバックアップには排他モードと非排他モードがある排他モードは将来的に削除される予定 (v14で削除の可能性がある)
• 18.
  © 2020 NTTDATA Corporation本資料に記載されている会社名、商品名、又はサービス名は、各社の登録商標又は商標です。