Динамически создавать столбцы для кросс-таблицы в PostgreSQL

Я пытаюсь создать crosstab запросы в PostgreSQL, чтобы он автоматически генерировал столбцы crosstab вместо hardcoding. Я написал функцию, которая динамически генерирует список столбцов, который мне нужен для моего запроса crosstab. Идея состоит в том, чтобы заменить результат этой функции в запросе crosstab, используя динамический sql.

Я знаю, как это сделать легко в SQL Server, но мои ограниченные знания PostgreSQL мешают моему прогрессу. Я думал о сохранении результата функции, которая генерирует динамический список столбцов в переменную и использует это для динамической сборки SQL-запроса. Было бы здорово, если бы кто-то мог вести меня к тому же самому.


-- Table which has be pivoted
CREATE TABLE test_db
(
    kernel_id int,
    key int,
    value int
);

INSERT INTO test_db VALUES
(1,1,99),
(1,2,78),
(2,1,66),
(3,1,44),
(3,2,55),
(3,3,89);


-- This function dynamically returns the list of columns for crosstab
CREATE FUNCTION test() RETURNS TEXT AS '
DECLARE
    key_id int;
    text_op TEXT = '' kernel_id int, '';
BEGIN
    FOR key_id IN SELECT DISTINCT key FROM test_db ORDER BY key LOOP
    text_op := text_op || key_id || '' int , '' ;
    END LOOP;
    text_op := text_op || '' DUMMY text'';
    RETURN text_op;
END;
' LANGUAGE 'plpgsql';

-- This query works. I just need to convert the static list
-- of crosstab columns to be generated dynamically.
SELECT * FROM
crosstab
(
    'SELECT kernel_id, key, value FROM test_db ORDER BY 1,2',
    'SELECT DISTINCT key FROM test_db ORDER BY 1'
)
AS x (kernel_id int, key1 int, key2 int, key3 int); -- How can I replace ..
-- .. this static list with a dynamically generated list of columns ?

Ответ 1

Для этого вы можете использовать предоставленную функцию C crosstab_hash.

Руководство не очень понятно в этом отношении. Упоминается в конце главы crosstab() с двумя параметрами:

Вы можете создавать предопределенные функции, чтобы избежать необходимости выписывать привести имена столбцов и типы в каждом запросе. Смотрите примеры в предыдущий раздел. Основная функция C для этой формы crosstab называется crosstab_hash.

Для вашего примера:

CREATE OR REPLACE FUNCTION f_cross_test_db(text, text)
  RETURNS TABLE (kernel_id int, key1 int, key2 int, key3 int)
  AS '$libdir/tablefunc','crosstab_hash' LANGUAGE C STABLE STRICT;

вызова:

SELECT * FROM f_cross_test_db(
      'SELECT kernel_id, key, value FROM test_db ORDER BY 1,2'
     ,'SELECT DISTINCT key FROM test_db ORDER BY 1');

Обратите внимание, что вам нужно создать отдельную функцию crosstab_hash для каждой функции crosstab с другим типом возвращаемого значения.

Связанный:

PostgreSQL строка в столбцы

Ваша функция для генерации списка столбцов довольно запутанная, результат неверный (int отсутствует после kernel_id), его можно заменить следующим запросом SQL:

SELECT 'kernel_id int, '
       || string_agg(DISTINCT key::text, ' int, '  ORDER BY key::text)
       || ' int, DUMMY text'
FROM   test_db;

И все равно его нельзя использовать динамически.

Ответ 2

@erwin-brandstetter: Тип возвращаемой функции не является проблемой, если вы всегда возвращаете тип JSON с преобразованными результатами.

Вот функция, с которой я пришел:

CREATE OR REPLACE FUNCTION report.test(
    i_start_date TIMESTAMPTZ,
    i_end_date TIMESTAMPTZ,
    i_interval INT
    ) RETURNS TABLE (
    tab JSON
    ) AS $ab$
DECLARE
    _key_id TEXT;
    _text_op TEXT = '';
    _ret JSON;
BEGIN
    -- SELECT DISTINCT for query results
    FOR _key_id IN
    SELECT DISTINCT at_name
      FROM report.company_data_date cd 
      JOIN report.company_data_amount cda ON cd.id = cda.company_data_date_id 
      JOIN report.amount_types at ON cda.amount_type_id  = at.id 
     WHERE date_start BETWEEN i_start_date AND i_end_date
       AND interval_type_id = i_interval
    LOOP
    -- build function_call with datatype of column
        IF char_length(_text_op) > 1 THEN
            _text_op := _text_op || ', ' || _key_id || ' NUMERIC(20,2)';
        ELSE
            _text_op := _text_op || _key_id || ' NUMERIC(20,2)';
        END IF;
    END LOOP;
    -- build query with parameter filters
    RETURN QUERY
    EXECUTE '
        SELECT array_to_json(array_agg(row_to_json(t)))
          FROM (
        SELECT * FROM crosstab(''SELECT date_start, at.at_name,  cda.amount ct 
          FROM report.company_data_date cd 
          JOIN report.company_data_amount cda ON cd.id = cda.company_data_date_id 
          JOIN report.amount_types at ON cda.amount_type_id  = at.id 
         WHERE date_start between $$' || i_start_date::TEXT || '$$ AND $$' || i_end_date::TEXT || '$$ 
           AND interval_type_id = ' || i_interval::TEXT || ' ORDER BY date_start'') 
            AS ct (date_start timestamptz, ' || _text_op || ')
             ) t;';
END;
$ab$ LANGUAGE 'plpgsql';

Итак, когда вы запускаете его, вы получаете динамические результаты в JSON, и вам не нужно знать, сколько значений было повернуто:

select * from report.test(now()- '1 week'::interval, now(), 1);
                                                                                                                     tab                                                                                                                      
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
 [{"date_start":"2015-07-27T08:40:01.277556-04:00","burn_rate":0.00,"monthly_revenue":5800.00,"cash_balance":0.00},{"date_start":"2015-07-27T08:50:02.458868-04:00","burn_rate":34000.00,"monthly_revenue":15800.00,"cash_balance":24000.00}]
(1 row)

Изменить. Если у вас смешанные типы данных в вашей кросс-таблице, вы можете добавить логику, чтобы просмотреть ее для каждого столбца с чем-то вроде этого:

  SELECT a.attname as column_name, format_type(a.atttypid, a.atttypmod) AS data_type 
    FROM pg_attribute a 
    JOIN pg_class b ON (a.attrelid = b.relfilenode) 
    JOIN pg_catalog.pg_namespace n ON n.oid = b.relnamespace 
   WHERE n.nspname = $$schema_name$$ AND b.relname = $$table_name$$ and a.attstattarget = -1;"

Ответ 3

Описанный здесь подход http://www.cureffi.org/2013/03/19/automatically-creating-pivot-table-column-names-in-postgresql/ работал хорошо для меня. Вместо прямого получения сводной таблицы. Более простой подход состоит в том, чтобы позволить функции генерировать строку запроса SQL. Динамически выполнять полученную строку запроса SQL по требованию.

Ответ 4

Я понимаю, что это старый пост, но некоторое время боролся за ту же проблему.

Моя проблема: У меня была таблица с несколькими значениями в поле, и я хотел создать перекрестный запрос с заголовками столбцов 40+ на строку.

Мое решение состояло в том, чтобы создать функцию, которая проходила по столбцу таблицы, чтобы получать значения, которые я хотел использовать в качестве заголовков столбцов в запросе кросс-таблицы.

В рамках этой функции я мог бы затем создать запрос кросс-таблицы. В моем случае я добавил этот результат кросс-таблицы в отдельную таблицу.

Например.

CREATE OR REPLACE FUNCTION field_values_ct ()
 RETURNS VOID AS $$
DECLARE rec RECORD;
DECLARE str text;
BEGIN
str := '"Issue ID" text,';
   -- looping to get column heading string
   FOR rec IN SELECT DISTINCT field_name
        FROM issue_fields
        ORDER BY field_name
    LOOP
    str :=  str || '"' || rec.field_name || '" text' ||',';
    END LOOP;
    str:= substring(str, 0, length(str));

    EXECUTE 'CREATE EXTENSION IF NOT EXISTS tablefunc;
    DROP TABLE IF EXISTS temp_issue_fields;
    CREATE TABLE temp_issue_fields AS
    SELECT *
    FROM crosstab(''select issue_id, field_name, field_value from issue_fields order by 1'',
                 ''SELECT DISTINCT field_name FROM issue_fields ORDER BY 1'')
         AS final_result ('|| str ||')';
END;
$$ LANGUAGE plpgsql;