Ну шардинг это насколько я понимаю - anti HA

это почему ? :)

Ну выход из строя одного сервера к чему приведет?

можете пару слов написать про что почитать в современном постгресе для решения задачи? ну без объяснений - названия методов, экстеншенов?

решается на уровне приложения а не БД

решается на уровне приложения а не БД

допустим мне нужна транзакционность в рамках всех БД

Ну выход из строя одного сервера к чему приведет?

при грамотном проектировании почти ни к чему :)

но зависит от задачь

допустим мне нужна транзакционность в рамках всех БД

эт фантастика

эт фантастика

допустим это уже работает, но хотелось бы сделать удобнее и лучше

при грамотном проектировании почти ни к чему :)

Вот хотел бы пример. Я просто в шардинге реляционок не очень рабираюсь

допустим это уже работает, но хотелось бы сделать удобнее и лучше

давайте начнем с того что есть ?

Вот хотел бы пример. Я просто в шардинге реляционок не очень рабираюсь

закладываться на отказ любого узла.

давайте начнем с того что есть ?

надо подумать что и как я могу рассказать, я тогда пока паузу возьму

На самом деле нет разницы сколько их - хоть у каждого приложения свой - лишь бы чек мертвой ноды провалился и haproxy переключил на живую. Как раз за чек отвечает - получение статуса с patroni - не получил - или получил статус - реплика - трафик не шлешь

это да

Не поверю) если хапрокси один, то проблемы нет, он в конечном итоге определяет куда идет трафик. Если их несколько или сделано через список серверов в приложении, то есть.

Попытаюсь понять в данном сообщении как делают большинство (?) админов. Представим. У нас есть стол. На нем свитч, в него воткнуты в том числе 3 сервера. PG1 - master PG2 PG3 - replicas. На всех запущен и работает Patroni. Нет больше ничего (haproxy, и прочей ПО). Мы подключаемся напрямую к PG1 IP:port. Случился kill -9 patroni. PG1 работает как нивчем не бывало. Мы в него пишем. Через пару десятков секунд PG2 PG3 выбирают нового мастера. И становятся обособленным кластером. И у нас ДВА мастера. ОК Прошел год. Как мы писали в PG1мы и пишем в PG1.

Чтот странное вы написали. Как трафик узнает что через 3-8 секунд ему туда поступать не надо?

Это вам выше ответ

Мы бы кстати у себя в офисе с удовольствием бы послушали какуюнибудь презенташку про Ваш кейс. Приходите как-нибудь к нам в ПостгресПро у нас есть печеньки и куча благодарных слушателей =)

вам выше ответ

Попытаюсь понять в данном сообщении как делают большинство (?) админов. Представим. У нас есть стол. На нем свитч, в него воткнуты в том числе 3 сервера. PG1 - master PG2 PG3 - replicas. На всех запущен и работает Patroni. Нет больше ничего (haproxy, и прочей ПО). Мы подключаемся напрямую к PG1 IP:port. Случился kill -9 patroni. PG1 работает как нивчем не бывало. Мы в него пишем. Через пару десятков секунд PG2 PG3 выбирают нового мастера. И становятся обособленным кластером. И у нас ДВА мастера. ОК Прошел год. Как мы писали в PG1мы и пишем в PG1.

и остались без реплики - это плохой пример

Это да, Но к задаче не относится

Когда есть реплика то есть и баунсер и прокси и OSPF (BGP) и 3 ДЦ и отдел админов и т.п.

вам выше ответ

гиде

про 6 секуд вы не поняли

Погнали в CSGO

мой любимый стикер!!!

между прочим тема интересная и я бы предложил бы активным участникам дисскуссии податься на доклады на pgconf2018 - https://pgconf.ru/

Попытаюсь понять в данном сообщении как делают большинство (?) админов. Представим. У нас есть стол. На нем свитч, в него воткнуты в том числе 3 сервера. PG1 - master PG2 PG3 - replicas. На всех запущен и работает Patroni. Нет больше ничего (haproxy, и прочей ПО). Мы подключаемся напрямую к PG1 IP:port. Случился kill -9 patroni. PG1 работает как нивчем не бывало. Мы в него пишем. Через пару десятков секунд PG2 PG3 выбирают нового мастера. И становятся обособленным кластером. И у нас ДВА мастера. ОК Прошел год. Как мы писали в PG1мы и пишем в PG1.

Вы третий раз описываете такой сценарий и не пытаетесь прочитать, что я написал, хотя я дал достаточно конкретное описание сбоя. Давайте по-другому. Один кластер из мастер-реплика-реплика может прикрывать несколько хапрокси или он всегда один и его (хапрокси) нельзя автоматом поднять новый.

При этом я не утверждаю, что патрони это плохо, просто пытаюсь донести логику людей которые топят за физический фенсинг

При этом я не утверждаю, что патрони это плохо, просто пытаюсь донести логику людей которые топят за физический фенсинг

не топлю

Вы третий раз описываете такой сценарий и не пытаетесь прочитать, что я написал, хотя я дал достаточно конкретное описание сбоя. Давайте по-другому. Один кластер из мастер-реплика-реплика может прикрывать несколько хапрокси или он всегда один и его (хапрокси) нельзя автоматом поднять новый.

утром попытаюсь осознать)

точно уже позно и пора спать!

не топлю

Так я и не про вас

:-)

всем привет! Как вы храните историю изменений данных? http://clarkdave.net/2015/02/historical-records-with-postgresql-and-temporal-tables-and-sql-2011/. Эту статью нашел в интернете. Кто нибудь пользуется этим плагином и нету ли там минусов.

Утречка чятаны, Звучит как неочень, но все же. Крутит кто-то инстансы постгре в докере? Данные, разумеется, примонтированы и хранятся не в контейнере. TLDR: Случилось так, что пг обновилась в контейнере с 9.6 до 10, а примонтированные данные нужно pg_upgrade'ом пройтись. Есть какие-то бестпрактики как это можно сделать? Счас на скорую руку подняли виртуалку с 9.6 и 10 и конвертнули данные в лоб.

Утречка чятаны, Звучит как неочень, но все же. Крутит кто-то инстансы постгре в докере? Данные, разумеется, примонтированы и хранятся не в контейнере. TLDR: Случилось так, что пг обновилась в контейнере с 9.6 до 10, а примонтированные данные нужно pg_upgrade'ом пройтись. Есть какие-то бестпрактики как это можно сделать? Счас на скорую руку подняли виртуалку с 9.6 и 10 и конвертнули данные в лоб.

Она сама обновилась что ли? Что значит в лоб?

Она сама обновилась что ли? Что значит в лоб?

Вероятнее всего был указан тег использовать latest контейнер. Докер запуллил втихаря образ 10 (тк он счас лейтест). И при отвале первого сервера - соответственно развернул новый лейтест контейнер на другом севере

Утречка чятаны, Звучит как неочень, но все же. Крутит кто-то инстансы постгре в докере? Данные, разумеется, примонтированы и хранятся не в контейнере. TLDR: Случилось так, что пг обновилась в контейнере с 9.6 до 10, а примонтированные данные нужно pg_upgrade'ом пройтись. Есть какие-то бестпрактики как это можно сделать? Счас на скорую руку подняли виртуалку с 9.6 и 10 и конвертнули данные в лоб.

Принято считать, что держать СУБД в докере несколько опасно. Сам так не делал и другие не советовали.

для дев окружений это бывает удобно

Она сама обновилась что ли? Что значит в лоб?

в лоб - значит просто поставили инстансы 9 и 10, сконвертировали базы, копирнули обратно и раздали нужные права на файлы

Принято считать, что держать СУБД в докере несколько опасно. Сам так не делал и другие не советовали.

Опасно данные в контейнер класть ЕМНИП

в лоб - значит просто поставили инстансы 9 и 10, сконвертировали базы, копирнули обратно и раздали нужные права на файлы

Ну это не в лоб. Это нормально если использовать pg_upgrade

В принципе у нас критичного ничего не случилось и прод не упал. Мы только вкатываемся в докер, поэтому он у нас только на дев-машинах. Собираем подводные камни и грабли

Ну это не в лоб. Это нормально если использовать pg_upgrade

Ну да. Вопрос был есть ли что-то более элегантное, чем поднимать отдельную машину для конвертации

Ну да. Вопрос был есть ли что-то более элегантное, чем поднимать отдельную машину для конвертации

Зачем отдельную машину? Они и на одной машине нормально устанавливаются.

Утречка чятаны, Звучит как неочень, но все же. Крутит кто-то инстансы постгре в докере? Данные, разумеется, примонтированы и хранятся не в контейнере. TLDR: Случилось так, что пг обновилась в контейнере с 9.6 до 10, а примонтированные данные нужно pg_upgrade'ом пройтись. Есть какие-то бестпрактики как это можно сделать? Счас на скорую руку подняли виртуалку с 9.6 и 10 и конвертнули данные в лоб.

а что если зааттачиться к контейнейрсу и внутри пгупгрэйд запустить

Зачем отдельную машину? Они и на одной машине нормально устанавливаются.

Ты имеешь в виду 9 и 10? Их да, на одной машине поставили

он примонтированные файлы апнет

а что если зааттачиться к контейнейрсу и внутри пгупгрэйд запустить

подробнее плиз

ну заходишь в докер

там вроде можно только контейнер с параметрами запускать

через exec

а что если зааттачиться к контейнейрсу и внутри пгупгрэйд запустить

Не получается так. В контейнере же только одна версия

там и запускаешь пгапгрейд

Не получается так. В контейнере же только одна версия

+

там вроде можно только контейнер с параметрами запускать

ВНУТРЬ КОНТЕЙНЕРА

баш там запустить

там и запускаешь пгапгрейд

нужно старые бинарники и новые + старый кластер и новый

баш там запустить

Если только потом руками поставить там вторую версию

Если только потом руками поставить там вторую версию

например

например

проще на виртуалке сразу все сделать, зачем так извращатся?

Геморрой всё это. Лучше использовать чисто машину, без этих новомодных докеров.

ну вообще бд в докере стартовать это такое

ну вообще бд в докере стартовать это такое

Динозавры вкатываются, дай почувствовать себя молодым ?

ну вообще бд в докере стартовать это такое

перечисли потенциальные\реальные проблемы?

перечисли потенциальные\реальные проблемы?

монтирование может отваливаться

внешних каталогов

были проблемы такие у людей

и вообще по канонам контейнер должен быть stateless

кароч докер не для баз

кароч докер не для баз

я бы больше сказал. Докер не для продакшена. Но сейчас меня помидорами закидают.

Тобишь базы для прода лучше ранить мануально?

я бы больше сказал. Докер не для продакшена. Но сейчас меня помидорами закидают.

Это только баз косается или вообще всего?

Это только баз косается или вообще всего?

не только баз. Докер хорошо в разработке, когда нужно протестить кучу разных вариатов и сред. В проде от него больше проблем, чем профита, имхо.

не только баз. Докер хорошо в разработке, когда нужно протестить кучу разных вариатов и сред. В проде от него больше проблем, чем профита, имхо.

какие проблемы например?

При хороших системах оркестрации, например, у меня проблем не возникало

например две БД рядом в разных докерах могуть требовать разных настроек sysctl

Но тот же PgPool в докере не очень ясно как стартовать

Но тот же PgPool в докере не очень ясно как стартовать

в чём не ясность?

например две БД рядом в разных докерах могуть требовать разных настроек sysctl

не понял шутки

не понял шутки

например монго и постгрес рядом.

в чём не ясность?

Неясность скорее не в самом докере, а в системе оркестрации, разные системы по разному конфигурятся, и например под нар rancher cattle pgpool не заходит

1. падает хостпроцесс - падают все контейнеры 2. сеть пробрасывается через NAT что офигительный overhead при активном использовании сети 3. уже говороли про проблемы с FS так там оно еще и фрагментируется что тоже overhead 4. размер обновлений (особенно если софт писать на экспорт наружу) 5. необнодимо выпускать обновление при проблемах в любой либе в выпущенном контейнере (даже чужой)

Или плохое исполнение:)

я бы больше сказал. Докер не для продакшена. Но сейчас меня помидорами закидают.

почему?

например монго и постгрес рядом.

плохая идея

1. падает хостпроцесс - падают все контейнеры 2. сеть пробрасывается через NAT что офигительный overhead при активном использовании сети 3. уже говороли про проблемы с FS так там оно еще и фрагментируется что тоже overhead 4. размер обновлений (особенно если софт писать на экспорт наружу) 5. необнодимо выпускать обновление при проблемах в любой либе в выпущенном контейнере (даже чужой)

не используй нат

удобно же девопсить имаджы

плохая идея

as is

1. падает хостпроцесс - падают все контейнеры 2. сеть пробрасывается через NAT что офигительный overhead при активном использовании сети 3. уже говороли про проблемы с FS так там оно еще и фрагментируется что тоже overhead 4. размер обновлений (особенно если софт писать на экспорт наружу) 5. необнодимо выпускать обновление при проблемах в любой либе в выпущенном контейнере (даже чужой)

в чём проблема обновлений? в том что они ставятся легко и не напрягают?

ага..... софтинка на 300кб кода тянес с собой 4 гига в образе.

ага..... софтинка на 300кб кода тянес с собой 4 гига в образе.

Всегда можно поправить в контейнере, если это незначительная обнова

ты это покупателям твоего софта скажешь, когда они твой контейнер купят.