MODULE_big =pathman

OBJS = init.opathman.o dsm_array.o rangeset.o pl_funcs.o$(WIN32RES)

MODULE_big =pg_pathman

OBJS = init.opg_pathman.o dsm_array.o rangeset.o pl_funcs.o$(WIN32RES)

EXTENSION =pathman

EXTENSION =pg_pathman

EXTVERSION = 0.1

DATA_built =$(EXTENSION)--$(EXTVERSION).sql

PGFILEDESC = "pathman - partitioning tool"

PGFILEDESC = "pg_pathman - partitioning tool"

REGRESS =pathman

REGRESS =pg_pathman

EXTRA_CLEAN =$(EXTENSION)--$(EXTVERSION).sql

PG_CONFIG = pg_config

PGXS :=$(shell$(PG_CONFIG) --pgxs)

else

subdir = contrib/pathman

subdir = contrib/pg_pathman

top_builddir = ../..

include$(top_builddir)/src/Makefile.global

include$(top_srcdir)/contrib/contrib-global.mk

The`pathman` module provides optimized partitioning mechanism and functions to manage partitions.

The`pg_pathman` module provides optimized partitioning mechanism and functions to manage partitions.

Partitioning refers to splitting one large table into smaller pieces. Each row in such table assigns to a single partition based on partitioning key. Common partitioning strategies are:

Despite the flexibility of this approach it has weakness. If query uses filtering the optimizer forced to perform an exhaustive search and check constraints for each partition to determine partitions from which it should select data. If the number of partitions is large the overhead may be significant.

The`pathman` module provides functions to manage partitions and partitioning mechanism optimized based on knowledge of the partitions structure. It stores partitioning configuration in the`pathman_config` table, each row of which contains single entry for partitioned table (relation name, partitioning key and type). During initialization the`pathman` module caches information about child partitions in shared memory in form convenient to perform rapid search. When user executes SELECT querypathman analyzes conditions tree looking for conditions like:

The`pg_pathman` module provides functions to manage partitions and partitioning mechanism optimized based on knowledge of the partitions structure. It stores partitioning configuration in the`pathman_config` table, each row of which contains single entry for partitioned table (relation name, partitioning key and type). During initialization the`pg_pathman` module caches information about child partitions in shared memory in form convenient to perform rapid search. When user executes SELECT querypg_pathman analyzes conditions tree looking for conditions like:

Based on partitioning type and operator the`pathman` searches corresponding partitions and builds the plan.

Based on partitioning type and operator the`pg_pathman` searches corresponding partitions and builds the plan.

To installpathman run inpathman directory:

To installpg_pathman run inpg_pathman directory:

Modify shared_preload_libraries parameter in postgres.conf as following:

It will require to restart the PostgreSQL instance. Then execute following query in psql:

Disables`pathman` partitioning mechanism for the specified parent table and removes an insert trigger. Partitions itself remain unchanged.

Disables`pg_pathman` partitioning mechanism for the specified parent table and removes an insert trigger. Partitions itself remain unchanged.

Модуль`pathman` предоставляет оптимизированный механизм секционирования, а также функции для создания и управления секциями.

Модуль`pg_pathman` предоставляет оптимизированный механизм секционирования, а также функции для создания и управления секциями.

Секционирование -- это способ разбиения одной большой таблицы на множество меньших по размеру. Для каждой записи можно однозначно определить секцию, в которой она должна храниться посредством вычисления ключа. Традиционно выделяют три стратегии секционирования:

Несмотря на гибкость, этот механизм обладает недостатками. Так при фильтрации данных оптимизатор вынужден перебирать все дочерние секции и сравнивать условие запроса с CHECK CONSTRAINT-ами секции, чтобы определить из каких секций ему следует загружать данные. При большом количестве секций это создает дополнительные накладные расходы, которые могут свести на нет выигрыш в производительности от применения секционирования.

Модуль`pathman` предоставляет функции для создания и управления

Модуль`pg_pathman` предоставляет функции для создания и управления

секциями (см. следующий раздел) и механизм секционирования,

оптимизированный с учетом знания о структуре дочерних таблиц. Конфигурация сохраняется таблице`pathman_config`, каждая строка которой содержит запись для одной секционированной таблицы (название таблицы, атрибут и тип разбиения). В процессе инициализации модуля в разделяемую память сохраняется конфигурация дочерних таблиц в удобном для поиска формате. Получив запрос типа`SELECT` к секционированной таблице,`pathman` анализирует дерево условий запроса и выделяет из него условия вида:

оптимизированный с учетом знания о структуре дочерних таблиц. Конфигурация сохраняется таблице`pathman_config`, каждая строка которой содержит запись для одной секционированной таблицы (название таблицы, атрибут и тип разбиения). В процессе инициализации модуля в разделяемую память сохраняется конфигурация дочерних таблиц в удобном для поиска формате. Получив запрос типа`SELECT` к секционированной таблице,`pg_pathman` анализирует дерево условий запроса и выделяет из него условия вида:

Затем основываясь на стратегии секционирования и условиях запроса`pathman` выбирает соответствующие секции и строит план.

Затем основываясь на стратегии секционирования и условиях запроса`pg_pathman` выбирает соответствующие секции и строит план.

Для установкиpathman выполните в директории модуля команду:

Для установкиpg_pathman выполните в директории модуля команду:

Модифицируйте параметр shared_preload_libraries в конфигурационном файле postgres.conf:

Для вступления изменений в силу потребуется перезагрузка сервера PostgreSQL. Затем выполните в psql:

Отключает механизм секционирования`pathman` для заданной таблицы и удаляет триггер на вставку. При этом созданные ранее секции остаются без изменений.

Отключает механизм секционирования`pg_pathman` для заданной таблицы и удаляет триггер на вставку. При этом созданные ранее секции остаются без изменений.

shared_preload_libraries='pathman'

shared_preload_libraries='pg_pathman'

\set VERBOSITY terse

CREATE SCHEMA pathman;

CREATE EXTENSIONpathman SCHEMA pathman;

CREATE EXTENSIONpg_pathman SCHEMA pathman;

CREATE SCHEMA test;

CREATE TABLE test.hash_rel (

id SERIAL PRIMARY KEY,

id SERIAL PRIMARY KEY,

dt TIMESTAMP,

txt TEXT);

CREATE INDEX ON test.range_rel (dt);

SELECT pathman.create_range_partitions('test.range_rel', 'dt', '2015-01-01'::DATE, '1 month'::INTERVAL, 3);

NOTICE: sequence "range_rel_seq" does not exist, skipping

create_range_partitions

(1 row)

INSERT INTO test.num_range_rel SELECT g, md5(g::TEXT) FROM generate_series(1, 3000) as g;

VACUUM;

INSERT INTO test.num_range_rel

SELECT g, md5(g::TEXT) FROM generate_series(1, 3000) as g;

INSERT INTO test.range_rel (dt, txt)

SELECT g, md5(g::TEXT) FROM generate_series('2015-01-01', '2015-04-30', '1 day'::interval) as g;

INSERT INTO test.hash_rel VALUES (1, 1);

INSERT INTO test.hash_rel VALUES (2, 2);

INSERT INTO test.hash_rel VALUES (3, 3);

INSERT INTO test.hash_rel VALUES (4, 4);

INSERT INTO test.hash_rel VALUES (5, 5);

INSERT INTO test.hash_rel VALUES (6, 6);

VACUUM;

/* update triggers test */

SELECT pathman.create_hash_update_trigger('test.hash_rel');

create_hash_update_trigger

-> Seq Scan on num_range_rel_4

(8 rows)

EXPLAIN (COSTS OFF) SELECT * FROM test.range_rel WHERE dt > '2015-02-15';

QUERY PLAN

--------------------------------------------------------------------------------

Append

-> Seq Scan on range_rel_2

Filter: (dt > 'Sun Feb 15 00:00:00 2015'::timestamp without time zone)

-> Seq Scan on range_rel_3

-> Seq Scan on range_rel_4

(5 rows)

EXPLAIN (COSTS OFF) SELECT * FROM test.range_rel WHERE dt >= '2015-02-01' AND dt < '2015-03-01';

QUERY PLAN

-------------------------------

Append

-> Seq Scan on range_rel_2

(2 rows)

EXPLAIN (COSTS OFF) SELECT * FROM test.range_rel WHERE dt >= '2015-02-15' AND dt < '2015-03-15';

QUERY PLAN

---------------------------------------------------------------------------------

Append

-> Seq Scan on range_rel_2

Filter: (dt >= 'Sun Feb 15 00:00:00 2015'::timestamp without time zone)

-> Seq Scan on range_rel_3

Filter: (dt < 'Sun Mar 15 00:00:00 2015'::timestamp without time zone)

(5 rows)

EXPLAIN (COSTS OFF) SELECT * FROM test.range_rel WHERE (dt >= '2015-01-15' AND dt < '2015-02-15') OR (dt > '2015-03-15');

QUERY PLAN

---------------------------------------------------------------------------------

Append

-> Seq Scan on range_rel_1

Filter: (dt >= 'Thu Jan 15 00:00:00 2015'::timestamp without time zone)

-> Seq Scan on range_rel_2

Filter: (dt < 'Sun Feb 15 00:00:00 2015'::timestamp without time zone)

-> Seq Scan on range_rel_3

Filter: (dt > 'Sun Mar 15 00:00:00 2015'::timestamp without time zone)

-> Seq Scan on range_rel_4

(8 rows)

SET enable_indexscan = ON;

SET enable_bitmapscan = OFF;

SET enable_seqscan = OFF;

-> Seq Scan on num_range_rel_4

(8 rows)

EXPLAIN (COSTS OFF) SELECT * FROM test.range_rel WHERE dt > '2015-02-15';

QUERY PLAN

------------------------------------------------------------------------------------

Append

-> Index Scan using range_rel_2_dt_idx on range_rel_2

Index Cond: (dt > 'Sun Feb 15 00:00:00 2015'::timestamp without time zone)

-> Seq Scan on range_rel_3

-> Seq Scan on range_rel_4

(5 rows)

EXPLAIN (COSTS OFF) SELECT * FROM test.range_rel WHERE dt >= '2015-02-01' AND dt < '2015-03-01';

QUERY PLAN

-------------------------------

Append

-> Seq Scan on range_rel_2

(2 rows)

EXPLAIN (COSTS OFF) SELECT * FROM test.range_rel WHERE dt >= '2015-02-15' AND dt < '2015-03-15';

QUERY PLAN

-------------------------------------------------------------------------------------

Append

-> Index Scan using range_rel_2_dt_idx on range_rel_2

Index Cond: (dt >= 'Sun Feb 15 00:00:00 2015'::timestamp without time zone)

-> Index Scan using range_rel_3_dt_idx on range_rel_3

Index Cond: (dt < 'Sun Mar 15 00:00:00 2015'::timestamp without time zone)

(5 rows)

EXPLAIN (COSTS OFF) SELECT * FROM test.range_rel WHERE (dt >= '2015-01-15' AND dt < '2015-02-15') OR (dt > '2015-03-15');

QUERY PLAN

-------------------------------------------------------------------------------------

Append

-> Index Scan using range_rel_1_dt_idx on range_rel_1

Index Cond: (dt >= 'Thu Jan 15 00:00:00 2015'::timestamp without time zone)

-> Index Scan using range_rel_2_dt_idx on range_rel_2

Index Cond: (dt < 'Sun Feb 15 00:00:00 2015'::timestamp without time zone)

-> Index Scan using range_rel_3_dt_idx on range_rel_3

Index Cond: (dt > 'Sun Mar 15 00:00:00 2015'::timestamp without time zone)

-> Seq Scan on range_rel_4

(8 rows)

/*

* Test split and merge

*/

(1 row)

DROP TABLE test.num_range_rel CASCADE;

DROP EXTENSIONpathman;

DROP EXTENSIONpg_pathman;

intret;

boolisnull;

ret=SPI_exec("SELECT extnamespace::regnamespace::text FROM pg_extension WHERE extname = 'pathman'",0);

ret=SPI_exec("SELECT extnamespace::regnamespace::text FROM pg_extension WHERE extname = 'pg_pathman'",0);

if (ret>0&&SPI_tuptable!=NULL&&SPI_processed>0)

{

TupleDesctupdesc=SPI_tuptable->tupdesc;

ListCell*lc;

char*schema;

PartRelationInfo*prel;

charsql[]="SELECT pg_class.relfilenode, pg_attribute.attnum,pathman_config.parttype, pg_attribute.atttypid "

charsql[]="SELECT pg_class.relfilenode, pg_attribute.attnum,cfg.parttype, pg_attribute.atttypid "

"AND attrelid = pg_class.relfilenode";

char*query;

for(i=0;i<proc;i++)

children[i]=ranges[i].child_oid;

}

for(i=0;i<proc-1;i++)

{

if (ranges[i].max>ranges[i+1].min)

for(i=0;i<proc-1;i++)

{

elog(WARNING,"Partitions %u and %u overlap. Disabling pathman for relation %u...",

ranges[i].child_oid,ranges[i+1].child_oid,parent_oid);

hash_search(relations, (constvoid*)&parent_oid,HASH_REMOVE,&found);

if (ranges[i].max>ranges[i+1].min)

{

elog(WARNING,"Partitions %u and %u overlap. Disabling pathman for relation %u...",

ranges[i].child_oid,ranges[i+1].child_oid,parent_oid);

hash_search(relations, (constvoid*)&parent_oid,HASH_REMOVE,&found);

}

}

}

}