конфиг etcd : https://pastebin.com/gCYu9hJh

У тебя yaml структура то соблюдена?

также рекомендую использовать DNS SRV для etcd в patroni.yaml

я с книжки скопировал ,может в этом и проблема

Надо с сервера копировать а не с книжки

https://codebeautify.org/yaml-validator показывает что Valid YAML

возьму сейчас и переделаю шаблон патрони с сервера postgres0.yml

Игорь переделал шаблон https://pastebin.com/NUb8ymR3 теперь ругается : https://pastebin.com/5bR052tE

- createdb здесь лишний пробел

Игорь переделал шаблон https://pastebin.com/NUb8ymR3 теперь ругается : https://pastebin.com/5bR052tE

и логи смотри различные. Patroni у тебя 1.1 - там багов куча

Игорь а какая у них стабильная версия ?

git master

спасибо !

Всем доброго времени суток! Подскажите, пожалуйста, какие есть варианты удаления данных 30К+ из таблицы в пару лямов на production? Временно отключить констрейнты и delete, или есть что-то похитрее? На проде отключать констрейнты как-то не хочется, а delete работает убийственно медленно.

Точнее индексы.

Всем привет. Ребят, как понимаю joinы это плохо. А как без них можно обходиться?)

Всем доброго времени суток! Подскажите, пожалуйста, какие есть варианты удаления данных 30К+ из таблицы в пару лямов на production? Временно отключить констрейнты и delete, или есть что-то похитрее? На проде отключать констрейнты как-то не хочется, а delete работает убийственно медленно.

А что, постгрес медленно удаляет записи из таблицы в пару лямов?

Всем привет. Ребят, как понимаю joinы это плохо. А как без них можно обходиться?)

Кто такое сказал?

Кто такое сказал?

Слышал где то)

Где?

Где?

В highload в вк типа отказались от них типа это одна из проблем нагрузки была

Хайлоад хайлоаду рознь

У них, в зависимости, кто как шишки набил, и от времени, всегда разное мнение

Просто интересно как без них обходятся

Всем привет. Ребят, как понимаю joinы это плохо. А как без них можно обходиться?)

Это половинчатое решение. Учитесь обходиться без селектов!

Просто интересно как без них обходятся

Херачь в одну таблицу и потом ной по другим вопросам

Да у меня таких проблем пока нет))

Просто для общего развития

кто уже настраивал patroni + etcd можно пример шаблона patroni и etcd.cfg ?

а чего за патрони такие?

Просто интересно как без них обходятся

Далее пишу свое мнение. Возможно профи и старожилы чата со мной не согласятся. Не уверен что без джоинов можно ободиться при большой и сложной структуре. Ты всеравно будешь связывать на вывод несколько нормлизованных таблиц. А вообще зависит от задачи. Если, например тебе регулярно (каждую секунду) надо выводить какой-то неизменный текст собранный из множества таблиц (например собирать из таблиц "город", "улица", "дом" читабельный текст "адрес"). То лучше, сохранить сразу в таблице "дома" этот текст и пользоваться 1 селектом. А вот если ты выводишь связку баланса с пользователем (выводить имя пользователя и его баланс), то вероятно лучше пработать с планом, расставить правильно индексы и использовать join Тут как раз более динамичные данные и нужен ответ "налету"

Далее пишу свое мнение. Возможно профи и старожилы чата со мной не согласятся. Не уверен что без джоинов можно ободиться при большой и сложной структуре. Ты всеравно будешь связывать на вывод несколько нормлизованных таблиц. А вообще зависит от задачи. Если, например тебе регулярно (каждую секунду) надо выводить какой-то неизменный текст собранный из множества таблиц (например собирать из таблиц "город", "улица", "дом" читабельный текст "адрес"). То лучше, сохранить сразу в таблице "дома" этот текст и пользоваться 1 селектом. А вот если ты выводишь связку баланса с пользователем (выводить имя пользователя и его баланс), то вероятно лучше пработать с планом, расставить правильно индексы и использовать join Тут как раз более динамичные данные и нужен ответ "налету"

Спасибо понял

А что, постгрес медленно удаляет записи из таблицы в пару лямов?

За постгрес не скажу, вопрос как бы это сделать побыстрее. На таблице понавешано индексов.

За постгрес не скажу, вопрос как бы это сделать побыстрее. На таблице понавешано индексов.

Delete?

Создал релейшн и делал лишь импорт дампа в него, после импорта \d+ показывал размер 522ГБ. Сделал VACUUM FULL, стало 407GB. Откуда там фрагментация?

В highload в вк типа отказались от них типа это одна из проблем нагрузки была

была недавно статья на хабре про то что "мы не google", советую прочитать)

Delete?

Да)

а чего за патрони такие?

https://github.com/zalando/patroni

Это был последний?

Это был последний?

не, но самый крупный и самый битый

Как оценить, сколько места освободится после vacuum full? подойдет ли такая оценка сверху? select dead_tuple_len + free_space from pgstattuple('%tablename%')

не, но самый крупный и самый битый

какого же размера бд?

А что ж количество ошибок такое бешенное? Это не могло быть причиной такого долгого времени создания дампа? Что за ошибки не смотрели?

Всем привет! Подскажите, где почитать про права доступа к базе. А именно хочу дать пользователю привелегию на базу. Гуглю уже минут 15. Вижу как дать права на таблицу/цы. И не только саму команду, а лучше бы еще идеологию.

Хорошо но долго рассказывают и показывают здесь https://www.youtube.com/watch?v=gNFLEXEj5HQ&t=9s https://www.youtube.com/watch?v=Asicqi0ewO8

Хорошо но долго рассказывают и показывают здесь https://www.youtube.com/watch?v=gNFLEXEj5HQ&t=9s https://www.youtube.com/watch?v=Asicqi0ewO8

Спасибо!

Просто интересно как без них обходятся

вьюхи

Хорошо но долго рассказывают и показывают здесь https://www.youtube.com/watch?v=gNFLEXEj5HQ&t=9s https://www.youtube.com/watch?v=Asicqi0ewO8

Слайды тут: https://postgrespro.ru/education/courses/DBA1

какого же размера бд?

чуть более 4ТБ была до краша, но похоже много очистилось вакумом

чуть более 4ТБ была до краша, но похоже много очистилось вакумом

А почему крашнулась?

А что ж количество ошибок такое бешенное? Это не могло быть причиной такого долгого времени создания дампа? Что за ошибки не смотрели?

это дубликаты pkeys, которые остались и сдампились вместе с остальными данными после насильной легализации всех туплов

А почему крашнулась?

RAID полетел

RAID полетел

реплики не было?)

реплики не было?)

нет конечно, даже бекапов не было, иначе такой проблемы бы не возникло)

правильно!

работает - не трогай

а бэкапы/реплики - кому они нужны...

а бэкапы/реплики - кому они нужны...

Слабакам и прочим немощам. Тем лоботрясам и бездельникам, кто не хочет восстанавливать БД после сбоев путём рукоблудия в хекс-редакторе над файлами инстанса... А затем проверять корректность данных на основании непонятно чего.

Слабакам и прочим немощам. Тем лоботрясам и бездельникам, кто не хочет восстанавливать БД после сбоев путём рукоблудия в хекс-редакторе над файлами инстанса... А затем проверять корректность данных на основании непонятно чего.

Вот! О том и речь!

Коллеги, а у меня вот такой вот "праздный" вопрос про обновление мажорных версий: выставляем на мастере default_transaction_read_only в "on". Догоняем слейв и на обоих узлах делаем pg_upgrade. Слейв после такого непотребства взлетит (по предварительным обсуждениям с коллегами - не взлетит, хочется мнения коллективного разума) или таки медленно и печально переливать обновлённый инстанс? Или ещё какое-нибудь шаманство есть в такой ситуации, типа обновил мастер по через хардлинки, и рсинком каталоги с инстансами синхронизировал с соответствующей обработкой этих самых хардлинков...

Господа. А можно как-нибудь сделать дамп базы из под пользователя postgres, не указывая пароля?

ERROR: S client not available

Господа. А можно как-нибудь сделать дамп базы из под пользователя postgres, не указывая пароля?

Можно переменную окружения выставить

Или файл с паролем

ммм

пароля у меня вообще нет

и ставить свой не хочется

hba настройте

pg_hba.conf

Привет, подскажите плиз, такое лечится или выкинуть данные? Я с pgsql не имею опыта

createdb: database creation failed: ERROR: duplicate key value violates unique constraint "pg_database_datname_index" DETAIL: Key (datname)=(gitlabhq_production) already exists.

подскажите плиз

UPDATE public.cwd_user SET email_address='trash@fasten.com' WHERE email_address = (SELECT email_address FROM public.cwd_user where email_address LIKE '%taxi%');

UPDATE public.cwd_user SET email_address='trash@fasten.com' WHERE email_address LIKE '%taxi%';

выдает

execute cannot be used while an asynchronous query is underway********** Error ******

Привет, подскажите плиз, такое лечится или выкинуть данные? Я с pgsql не имею опыта

так в ошибке же все написано, что непонятно то?

так в ошибке же все написано, что непонятно то?

А базы нет

Это чья ошибка?

индекс пересобрать не пробовали?

Ни создать, ни подключиться

psql звездочек не рисует

эт pgadmin

UPDATE public.cwd_user SET email_address='trash@fasten.com' WHERE email_address = (SELECT email_address FROM public.cwd_user where email_address LIKE '%taxi%');

нельзя пилить сук, на котором ты сидишь

hba настройте

да, это было правильное направление мысли

индекс пересобрать не пробовали?

Ну вот я не шарю, но мысли в эту сторону были. Через пгадмин пробовал, но не особо понимаю что делал)

execute cannot be used while an asynchronous query is underway********** Error ******

https://stackoverflow.com/questions/29869118/python-error-execute-cannot-be-used-while-an-asynchronous-query-is-underway

нельзя пилить сук, на котором ты сидишь

спасибо понял)

так в ошибке же все написано, что непонятно то?

Базу юзал какое-то время, после перезапуска сервера такая ошибка стала. Это pgsql в докере, создаёт базу если её нет при старте

покажите, что у вас в pg_database

покажите, что у вас в pg_database

До компа дойти нужно, пока с телефона.