но уже выяснили, на тестовом 16гб оперативки, на продуктиве 256гб так что тут теперь надо просто пройти этот шаг, что бы остальное протестировать

до сих пор висит создание индекса в активе хотя уже пол часа назад были отправлены команды на его отмену

Я мог пропустить... Про maintenance_work_mem говорили уже? Какое значение параметра сейчас?

до 14гб подняли, но то создание которое было, видит как 4гб

придется видимо килять прцесс(

Я бы не стал. Можете БД поломать. Если тест - лучше дождитесь, если конечно перезалить тест вас не пугает

не пугает, время еще есть

на создание индекса времени нет, но на накинуть из бекапа есть))))

можно даже смело откатываться до контрольной точки

тест)

Коллеги, добрый день, кто нибудь реализовывал партиционирование на постгресе 10-й версии для заббикса?

про партицирование в 10 тоже вопрос есть, там реализовано партицирование на таблицах на которые есть FK?

про партицирование в 10 тоже вопрос есть, там реализовано партицирование на таблицах на которые есть FK?

Никак

ок, спасибо

сэкономили кучу времени)

Коллеги, добрый день, кто нибудь реализовывал партиционирование на постгресе 10-й версии для заббикса?

Я выше описывал про pg_pathman как раз в разрезе zabbix

получается логику FK переводить на триггеры?

У вас секскан и сортировка тяжелая без индекса. Case тут не при чём

а не могли бы подсказать как тут лучше с индексом для сортировки поступить?

Коллеги, добрый день, кто нибудь реализовывал партиционирование на постгресе 10-й версии для заббикса?

Секционировал им history и trends по itemid. как пример - построение стандартного графика CPU Utilization сейчас за 7 дней (хранение истории 8 дней) занимает 536 мс До секционирования - секунд по 6-7 строился.

а не могли бы подсказать как тут лучше с индексом для сортировки поступить?

Индекс для сортировки очень редко поможет, тем более у тебя там составное сложное условие. Тебе надо переписывать запрос и уменьшать количество записей в наборе, улучшать критерии отбора записей ДО сортировки.

SELECT DISTINCT orders.order_id, CASE WHEN (orders.tip_id IS NOT NULL AND orders.customer_id = the_company()) THEN COALESCE(orders.tip_date, orders.current_req_for) ELSE COALESCE(orders.current_jobdate, orders.current_req_for) END as jobdate FROM orders WHERE orders.service_id NOT IN (7100,4100,7200,1000,8100) ORDER BY jobdate DESC NULLS LAST, order_id DESC LIMIT 100 OFFSET 0 как можно улучшить: CASE WHEN (orders.tip_id IS NOT NULL AND orders.customer_id = the_company()) THEN COALESCE(orders.tip_date, orders.current_req_for) ELSE COALESCE(orders.current_jobdate, orders.current_req_for) END as jobdate так как на нее уходит основное время запроса

По сути -то запрос идиотский полностью. Дай мне все записи из таблицы, кроме некоторых немногих, из них выдели только уникальные, потом отсортируй так так так так и так, и дай мне только 100 (вообще, хватило бы и 10и, но ладно уж, давай 100)

По сути -то запрос идиотский полностью. Дай мне все записи из таблицы, кроме некоторых немногих, из них выдели только уникальные, потом отсортируй так так так так и так, и дай мне только 100 (вообще, хватило бы и 10и, но ладно уж, давай 100)

так реализована пагинация - OFFSET динамически потом меняется.. - это нативный код) и да я на пути к тому чтобы этот запрос перестал быть идиотским

Ещё и пагинация ...

Я бы сразу увольнял того, кто это написал.

Секционировал им history и trends по itemid. как пример - построение стандартного графика CPU Utilization сейчас за 7 дней (хранение истории 8 дней) занимает 536 мс До секционирования - секунд по 6-7 строился.

Спасибо, почитал.буду разбираться.

а не могли бы подсказать как тут лучше с индексом для сортировки поступить?

Я бы думал в направлении разбить запрос на 2 части вместо кейса и потом склеить их через union all Ну и смотрите внимательно на индексы

Добрый день! У меня есть база на 400гб, репликация логическая идет уже больше 12 часов На будущее мне – есть ли способы ее ускорить?

Секционировал им history и trends по itemid. как пример - построение стандартного графика CPU Utilization сейчас за 7 дней (хранение истории 8 дней) занимает 536 мс До секционирования - секунд по 6-7 строился.

А это сколько partitions, примерно? Сравнивать с индексированием пробовали, кстати?

history сейчас 375 секций

Одной из целей было сокращение времени автовакуума

itemid 30295 штук. Изначально разбивал по 100 на секцию, но там происходили добавления/удаления и секций стало чуть больше

Понятно, спасибо.

всем привет, подскажите по параметру work_mem, сколько можно поставить, если: 1. много in и join в запросах 2. ОЗУ 132 Гб

ставь 256mb

всем привет, подскажите по параметру work_mem, сколько можно поставить, если: 1. много in и join в запросах 2. ОЗУ 132 Гб

Зависит от max_connections.

Зависит от max_connections.

стоит pgbouncer, там 1000 коннектов разрешено, на самом постгресе тоже 1000, т.к. у нас в пике около 60к пользователей, работающих одновременно

Ну вот посчитаете. От ОЗУ отнимите shared_mem и поделите результат на max_connections (локальных, без учёта bouncer'а).

Ну вот посчитаете. От ОЗУ отнимите shared_mem и поделите результат на max_connections (локальных, без учёта bouncer'а).

спасибо

всем привет, подскажите по параметру work_mem, сколько можно поставить, если: 1. много in и join в запросах 2. ОЗУ 132 Гб

http://kazhaev.ru/postgresql/ustanovka-i-nastrojka-postgresql-dlya-1s-predpriyatie/

http://kazhaev.ru/postgresql/ustanovka-i-nastrojka-postgresql-dlya-1s-predpriyatie/

спасибо, добавил в закладки

Ага

привет, а подскажите пожалуйста есть ли какаянибудь компрессия при потоковой репликации через слоты репликации

можно включить стандартную SSL компрессию У меня есть патч, который вклбчает компрессию в libpq не зависимо от SSL

привет, а подскажите пожалуйста есть ли какаянибудь компрессия при потоковой репликации через слоты репликации

А зачем?

можно включить стандартную SSL компрессию У меня есть патч, который вклбчает компрессию в libpq не зависимо от SSL

А это сильно сказывается на потреблении CPU процессом, накатывающем WAL?

ну как зачем. хочется уменьшить количество сетевого трафика. уменьшить тем самым лаг репликации, пусть и ценой нагрузки на проц

нет

А зачем?

Ну, например, если канал слабый, чтобы трафик уменьшить.

ну как зачем. хочется уменьшить количество сетевого трафика. уменьшить тем самым лаг репликации, пусть и ценой нагрузки на проц

Лаг скорее увеличится - вам сначала надо заполучить порцию данных, затем сжать, передать (тут воможен выигрыш для сжатых данных) , потом разжать

Я знаю одного товрища, который за счёт SSL компрессии раз в 10 разогнал систему, где клиент и сервер сильно гегорафически удалены, а результатами запросов является json. Для логической репликации компрессия ещё более полезна.

Например zstd сжимает данные COPY передоваемый pgbench -i в 63 раза!

можно включить стандартную SSL компрессию У меня есть патч, который вклбчает компрессию в libpq не зависимо от SSL

это нужно в primary_conninfo прописать sslcompression=9 ?

Как включать SSL - это лучше man почитать. SSLcompression вроде в Посгтресе стоит по умолчанию и значение у него булевское on/off.

Лаг скорее увеличится - вам сначала надо заполучить порцию данных, затем сжать, передать (тут воможен выигрыш для сжатых данных) , потом разжать

бывает лаг достигает нескольких минут, бывает за минуту под гигабайт валов пишется, особенно когда чекпойнт, канал 100 мегабит

бывает лаг достигает нескольких минут, бывает за минуту под гигабайт валов пишется, особенно когда чекпойнт, канал 100 мегабит

Должен минуты за полторы проскакивать тот гигабайт.

ну так проскакивает. бывает и больше пишется. когда полный реиндекс вкупе с вакуумом

IGNITEры есть? :)

а вообще как считаете оптимальнее организовать репликацию ? с помощью слотов репликации как более современного инструмента, или по старинке при помощи archive_command ?

Гуд Ивнинг, джентельмены и леди (если таковые имеются) :) Есть у нас в Днепре, Украина, позиция Senior SQL DB developer. Вилка по зп $2500 - 3500 Английский разговорный - Intermediate и выше. Если нужны еще какие-то подробности, то напишите мне ) Вот такое описание самого проекта: Project: The Customer is one of the world leader in factory solution provider the software for electronics manufactures (over 100,000 solutions installed). The customer’s enterprise software automates full circle related to production processes. This software suite includes automation for: · Manages information about production operations' required materials - including consumables and equipment resources. · Meet regulatory requirements-whether they are the industries, customer's, or your own. · Real-time monitoring factory performance of lines and machines. · Production visualization system. · Helps to make decisions on the acquisition, utilization and allocation of production resources to satisfy requirements efficiently. · Assists with changeover setup, splicing, and parts exhaust ensuring the right components are loaded into the right place. · Automatic line changeover management while integrating with other modules. · Connectivity with the other business systems at factory such as MRP/ERP (SAP, Oracle, etc.) The customer’s solutions works at all levels of production – Cloud, Enterprise, Facility and Machine levels. Customer is building a next generation factory solution that would eventually replace the core of current product. Since customer is in new product development mode, code quality and on time deliveries are very important. Customer is not only are looking for good software developers, but also detailed process-oriented people for quality verification, as well as for providing analytical information. As a real-time system, performance is key aspect of a deliverables Technical skills required: DBA experience with PostgreSQL or Microsoft SQL Server (2008 / 2012 or greater) in a production environment Experience configuring, implementing and supporting large highly available PostgreSQL Server environments Experience with SQL Server troubleshooting; ability to proactively identify, troubleshoot and resolve live database systems issues. · Strong working knowledge of query, index and DB I/O performance tuning, and Stored Procedures and SQL coding · Deep knowledge of SQL and DBMS procedural language (pgPL/SQL, PL SQL, SQL PL, T-SQL, etc.) · Database migration/ upgrade experience is highly desired. · Ability to manage all DB maintenance plan activities including backups, indexing, integrity and consistency checks, etc. · Excellent understanding of query execution plans. Knowledge of disaster recovery principles and practices, including planning, testing, backup/ restore using disk-based backup solutions. · Creates standards for SQL Server database administration that supports the use of optimal database server resources and performance. · Understanding of data management quality assurance principles · Strong knowledge of Windows server system 2012/2016 · Strong Linux user, experience with bash scripts · Understanding of code versioning tools, such as Git · MSc/MA in computer science, engineering, mathematics or relevant field · Outstanding customer service skills · Prioritizes tasks effectively to operate in a timely, accurate and professional manner.

а вообще как считаете оптимальнее организовать репликацию ? с помощью слотов репликации как более современного инструмента, или по старинке при помощи archive_command ?

Если слот "залипает" валы не удаляются, а копятся . В случае с archive_command очистка идет из archive_cleanup_command в recovery.conf или каким-то внешним скриптом. Слоты удобно, когда несколько стендбаев, но в 9.4 я бы не рекомендовал их использовать.

Если слот "залипает" валы не удаляются, а копятся . В случае с archive_command очистка идет из archive_cleanup_command в recovery.conf или каким-то внешним скриптом. Слоты удобно, когда несколько стендбаев, но в 9.4 я бы не рекомендовал их использовать.

использую 9.6. что значит слот "залипает"?

Зависает репликация. Логи не удаляются

такого пока не было. но и идет она пока пару недель ).

ERROR: S client not available

я вот думаю можно же эти два метода совместить?

Обычно после свичовера проблема возникает. На 9.6 всё должно быть ок со слотами

я вот думаю можно же эти два метода совместить?

Вы wal-файлы как бэкапите?

пока ни как не бэкапим. поставили задачу иметь горячий резерв, настроил через слоты. теперь вот думаю какие минусы, и что можно еще улучшить в плане надежности

реплика <> бэкап. Надеюсь тут вопросов нет.

бэкапы дампом делаются ежесуточные

Т.е. вы готовы потерять данные между бекапами?

ну и они как бы уже через сутки становятся неактуальны. потомучто терять день работы никто не захочет

нет не готовы)

Тогда ваш бэкап бесполезен

ну вот я и думаю. как это организовать по умному. еще на мастер добавить archive_command и лить валы кудато ?

помимо потоковой репликации

archive_command может сохранять ваши валы в отдельное место в том числе для бэкапа. Чистка этого места, так же как и копирование оттуда в бэкап - это уже дело вашей обвязки, а не постгреса

понятно

ну вот я и думаю. как это организовать по умному. еще на мастер добавить archive_command и лить валы кудато ?

это обязательно при потоковой репликации, иначе если реплика вдруг отстанет то ее хотя бы можно нагнать этими логами

а например когда слэйв который тянет данные с мастера со слотов, повышаю до мастера. то он может для восстановления эти валы из архива использовать?

Если используются слоты, то логи будут браться оттуда для реплик

А вот с бэкапом у товарища проблемы

это обязательно при потоковой репликации, иначе если реплика вдруг отстанет то ее хотя бы можно нагнать этими логами

со слотами валы с мастера не чистятся пока их реплика не выгркебет

Да. И это правильно.

А вот с бэкапом у товарища проблемы

ну вот посоветуйте тогда. лить на реплику еще и валы архивом? чтоб можно было на более ранний момент сделать восстановление при помощи рестор комманд ? когда реплику вдруг понадобилось мастером сделать.

Вы можете на сервере бэкапа использовать утилиту pg_receivexlog и ей выгребать логи из отдельного слота специально под бэкап

К этому же слоту можете цепляться pg_basebackup Он умеет бекапить через стрим сразу в консистентную копию

спасибо за наводку, буду изучать

а в чём проблема-то?

доброго времени суток, у меня такая проблема , не могу сделать импорт с одного компа на другой БД , файл выгрузил, сам файл готов но вот нету экспорта. возможна ли это из за разности версий?

работал pgAdmin

пардон, не туда посмотрел

импорт с одного на другой?

по человечески опишите ситуацию, без слов импорт и экспорт

ато у меня ощущение что вы всё перепутали