Folders and files

Name		Name	Last commit message	Last commit date
Latest commit History 17 Commits
src		src
test		test
web		web
Makefile		Makefile
README.md		README.md
internals.md		internals.md
pgpro_scheduler--1.0.sql		pgpro_scheduler--1.0.sql
pgpro_scheduler.control		pgpro_scheduler.control

Repository files navigation

pgpro_scheduler - расширение PostgreSQL для управления расписанием задач

pgpro_scheduler это планировщик задач для СУБД PostgreSQL, который позволяетпланировать выполнение задач в базе и контролировать их исполнение.

Задачи это наборы SQL команд. Расписание выполнения задач задается либо строкойcron, либо указанием конкретных дат запуска, либо JSON объектом, в которомуказывается в какие дни часы и минуты задача должна быть запущена. Возможнакомбинация методов описания расписания.

Каждая задача имеет возможность для вычисления времени следующего своегозапуска. Набор SQL команд в задаче может обрабатываться в одной транзакции илиже каждая команда может использовать свою индивидуальную транзакцию.Имеется возможность задания SQL команды, которая будет выполняться в случаеаварийного завершения транзакции.

Installation

pgpro_scheduler это расширение PostgreSQL и не требует никаких специальныхпререквизитов.

Перед сборкой расширения из исходного кода убедитесь, что переменнаяокружения PATH содержит путь к командеpg_config. Так же убедитесь,что у вас установлена версия PostgresSQL для разработчиков или PostgreSQLсобран из исходного кода.

Процедура установки выглядит следующим образом:

$ cd pgpro_scheduler$ make USE_PGXS=1$ sudo make USE_PGXS=1 install$ psql <DBNAME> -c "CREATE EXTNESION pgpro_scheduler"

Конфигурация

Расширение определяет ряд переменных в PostgreSQL (GUC), которые позволяютуправлять его конфигурацией.

schedule.enable - двоичная переменная, которая определяет разрешено ливыполнение расширения. По умолчанию: false.
schedule.database - строковая переменная, указывает с какими базам можетработать планировщик. Что бы указать несколько баз, нужно перечислить ихимена через запятую. По умолчанию - пустая строка.
schedule.nodename - строковая переменная, содержит название узла.По умолчанию - master. Если расширение используется на одной машине,то переменная не имеет смысла.
schedule.max_workers - целочисленная переменная, содержит максимальноеколичество одновременно работающих задач для одной базы. По умолчанию - 2.
schedule.transaction_state - строковая переменная, устанавливаетсярасширением в процессе работы. По умолчанию - undefined. Переменнаяиспользуется для определения статуса завершения транзакции при вычисленииследующего времени выполнения задачи. Возможные значения:
- success - транзакция завершилась успешно
- failure - транзакция завершилась аварийно
- running - транзакция в процессе исполнения
- undefined - транзакция не началась
Последние два значения не должны попадать в процедуру определения следующегозначения. Это будет означать какую-то внутреннюю ошибку в работепланировщика.

Управление

Управление работой планировщика задач осуществляется через переменныеPostgreSQL, которые описаны в предыдущем разделе.

Например, у вас существует свежая инсталляция PostgreSQL с установленнымрасширением планировщика. И вам требуется запустить планировщик на двухбазах database1 и database2. При этом вы хотите что бы планировщик длябазы database1 мог исполнять 5 задач одновременно, а для базы database2 - 3.

В$DATADIR/postgresql.conf должна присутствовать строка:

shared_preload_libraries = 'pgpro_scheduler'

Далее вpsql введите следующие команды:

# ALTER SYSTEM SET schedule.enable = true;# ALTER SYSTEM SET schedule.database = 'database1,database2';# ALTER DATABASE database1 SET schedule.max_workers = 5;# ALTER DATABASE database2 SET schedule.max_workers = 3;# SELECT pg_reload_conf();

Если вам не нужны указания различных значений для разных баз данных, то все этоможно занести в конфигурационный файл PostgreSQL, и перечитать конфигурацию.Перезапуска не требуется.

Пример записей в$DATADIR/postgresql.conf, если количество одновременноисполняемых задач в обоих базах одинаково:

shared_preload_libraries = 'pgpro_scheduler'schedule.enable = onschedule.database = 'database1,database2'schedule.max_workers = 5

Планировщик задач работает с помощью Background Worker'ов. Поэтому должно бытьправильно установлено значение переменнойmax_worker_processes. Минимальноезначение переменной может быть расcчитано по следующей формуле:

N_min = 1 + N_databases + MAX_WORKERS₁ + ... + MAX_WORKERS_n

Где:

N_min - это минимальное значение переменной, котороетребуется для работы конфигурации. Имейте в виду, что Background Workes'ымогут требоваться для работы других систем, например, параллельных запросов.
N_databases - это количество баз данных, для которыхзапускается планировщик.
MAX_WORKERS_n - это значение переменнойschedule.max_workersв контексте каждой базы данных, для которой запускается планировщик.

SQL Схема

При установке расширения создается SQL схемаschedule. Все функции дляработы с планировщиком и служебные таблицы создаются в ней.

Прямой доступ к внутренним таблицам запрещен. Все управление осуществляетсянабором SQL функций, о котором будет рассказано далее.

SQL Типы

Планировщик определяет 2 SQL типа, которые он использует в качестве типоввозвращаемых значений для своих функций.

cron_rec

Тип используется для информации о задаче в таблице расписания.

CREATE TYPE schedule.cron_rec AS(id integer,             -- идентификатор задачиnode text,              -- имя узла, на котором она будет выполнятьсяname text,              -- имя задачиcomments text,          -- комментарий к задачеrule jsonb,             -- правила построения расписанияcommands text[],        -- sql команды, которые будут выполненыrun_as text,            -- имя пользователя, с которым будет выполняться-- задачаowner text,             -- имя пользователя, который создал задачуstart_date timestamp,   -- нижняя граница временного периода, во время-- которого допускается выполнение задачи,-- граница считается открытой, если значение NULLend_date timestamp,     -- верхняя граница временного периода, во время-- которого допускается выполнение задачи,-- граница считается открытой, если значение NULLuse_same_transaction boolean,   -- если true, то набор команд будет -- выполняться в одной транзакцииlast_start_available interval,  -- максимальное время, на которое может -- быть отложен запуск задачи, если -- нет свободных workers для ее-- выполнения во время по расписаниюmax_instances int,-- максимальное количество копий задачи, которые-- могут быть запущенны одновременноmax_run_time interval,  -- максимальное время выполнения задачиonrollback text,        -- SQL команда, которая будет выполнена в случае-- аварийного завершения транзакцииnext_time_statement text,   -- SQL команда, которая будет выполнена -- после завершения основного набора SQL -- команд, которая возвращает следующее-- время выполнения задачиactive boolean,         -- true - если задача доступна для запуску по -- расписаниюbroken boolean          -- true - задача имеет ошибки в конфигурации,-- которые не позволяют ее выполнять далее);

###cron_job

Тип используется для информации о конкретном исполнении задачи.

CREATE TYPE schedule.cron_job AS(cron integer,           -- идентификатор задачиnode text,              -- имя узла, на котором она выполнятьсяscheduled_at timestamp, -- запланированное время выполненияname text,              -- имя задачиcomments text,          -- комментарий к задачеcommands text[],        -- sql команды для выполненияrun_as text,            -- имя пользователя, с правами которого будет-- выполнен набор командowner text,             -- имя пользователя, создавшего задачуuse_same_transaction boolean,-- если true, то набор команд -- выполняется в одной транзакцииstarted timestamp,      -- время, когда задача была запущенаlast_start_available timestamp,-- время, до которого задача должна-- быть запущенаfinished timestamp,     -- время, когда задача была завершенаmax_run_time interval,  -- время, за которое задача должна выполнится,-- иначе она будет аварийно остановленаmax_instances int,-- количество возможных одновременных сущностей-- задачи, которые могут работать одновременноonrollback text,        -- SQL, который будет выполнен при аварийном -- завершении транзакцииnext_time_statement text,-- SQL для вычисления следующего времени запускаstatus text,-- статус задачи: working, done, error message text-- сообщение, это может быть сообщение об-- ошибке, так и какая-то служебная информация);