зукипер (да-да, нужен еще и зукипер) держит пул реплик, которые по мнению мастера не отстают

и им разрешено соревноваться за следующего лидера

что и порождает вопрос - а что будет, если ISR (in-sync replica) будет ноль?

тут либо мастеру придется подтормаживать, либо гарантированная доставка будем не совсем гарантированной

зукипер (да-да, нужен еще и зукипер) держит пул реплик, которые по мнению мастера не отстают

Стоп, но писать можно только в один мастер, я правильно понял?

Стоп, но писать можно только в один мастер, я правильно понял?

http://blog.cloudera.com/blog/2014/09/apache-kafka-for-beginners/

а хз, до туда я не дочитал. скорее всего каждая нода может служить координатором

т.е. сбросить можно в любую, но учет все равно будет вестись на мастере

но это брокеры сообщений, тут иначе никак

любая штука с консенсусом просто прибьет всю производительность

плюс у них еще очень клевая модель - тут нет такой штуки, что кто-то забрал сообщение. есть просто длинный список сообщений, который потребитель может читать с какого-то порядкового номера

поэтому читать в принципе можно и с реплики

Ну значит опять по скорости проседания.

Ладно, от теории к практике - в последние время не выпадают записи из мэмкэша по ТТЛ, куда копать?

Здравствуйте!

Здравствуйте!

Утро доброе.

Утро доброе.

Вечер же :)

Вечер же :)

Рассвет за моим окном с тобой не согласен.

Рассвет за моим окном с тобой не согласен.

Это закат

У тебя просто не правильная точка зрения на светило :)

У тебя просто не правильная точка зрения на светило :)

Светило удаляется от горизонта и становится светлее вокруг, как ещё можно трактовать сий феномен?

Светило удаляется от горизонта и становится светлее вокруг, как ещё можно трактовать сий феномен?

Земля плоская? Гы

Даже если бы было так, и?

Ниче не знаю у меня вечер

Слушай. Мне пофигу. Вы еще давайте научите меня детей делать. У меня ребенок уже в универ поступать собирается

Наличие ребенка не гарантирует из тебя сделать ловеласа, скорее наоборот... Но это так, миниоффтоп

Наличие ребенка не гарантирует из тебя сделать ловеласа, скорее наоборот... Но это так, миниоффтоп

Зато гарантирует наличие достаточного опыта в общении с протвоположным полом :)

Зато гарантирует наличие достаточного опыта в общении с протвоположным полом :)

Гарантирует опыт только с одной противоположного пола. Не стоит завышать

Всем доброе утро Хочу разобраться в горизонтальном масштабировании pg Накидайте, пожалуйста, терминов, чтобы я знал, о чем читать и что гуглить Разворачивать буду в контейнерах (думаю, стоит это упомянуть)

Стоит упомянуть, что реляционные БД вообще плохо горизонтально масштабируются. Вам стоит почитать про шардинг. Приложение соответственно должно быть спроектировано с учетом шардирования. Ну и если вам дороги ваши данные, контейнеры пока не стоит под это дело подводить. Это всё-таки для stateless хостов больше технология.

Стоит упомянуть, что реляционные БД вообще плохо горизонтально масштабируются. Вам стоит почитать про шардинг. Приложение соответственно должно быть спроектировано с учетом шардирования. Ну и если вам дороги ваши данные, контейнеры пока не стоит под это дело подводить. Это всё-таки для stateless хостов больше технология.

На хосте планирую запускать только один контейнер с базой, дабы не мешались Спасибо

Ну кто предупреждён, тот вооружен. На митапе по кубернейтсу ребята из авито вот не рекомендовали категорически контейнеры для БД.

А есть статья по митапу?

Статья по митапу - это как? Видео вроде было...

с конфы хайлоада в мск иногда на хабре статьи выкладывают

https://habrahabr.ru/company/oleg-bunin/blog/309330/ Например

https://habrahabr.ru/company/avito/blog/325026/

А чем плохи контейнеры ?

Контейнеры хороши, но не для БД.

https://habrahabr.ru/company/avito/blog/325026/

От души

если с VM всё понятно, но где проблема с докером ? Как я понимаю используется только другое окружение, а фактически этот процесс выполняется так же как и обычный процесс.

(спрашиваю безотносительно к запуску нескольких контейнеров на одном хосте)

Для контейнера БД - внешний объект. И он не всегда с ним корректно работает. Если кратко.

Для контейнера БД - внешний объект. И он не всегда с ним корректно работает. Если кратко.

Кстати да Вчера с этим столкнулся, когда страдал в чате

Можно хоть как-то больше инфы по этому поводу ? или где почитать. Пока то что я вижу БД корректно и стартует и стопится, и не очень понятно в чем может быть косяк.

Фак, 50 минут видос идет

Последняя ссыль Дмитрия, адресованная мне, как раз об этом

Окей, попозже гляну.

Пока единственный тезис "Docker swarm могут сделать платным"

https://habrahabr.ru/post/310460/ - вот ещё ман хороший

если с VM всё понятно, но где проблема с докером ? Как я понимаю используется только другое окружение, а фактически этот процесс выполняется так же как и обычный процесс.

у stateful приложений проблема с докером только из-за хранилища. с одним хостом\нодой проблем вообще нет, в случае кластера ты не сможешь мигрировать контейнер без общего хранилища что не особо нужно для stateles контейнеров которые в большей части вообще имутабельны. Есть драйвера внешних хранилищ и те же БД работают в докере с ними.

а если брать к примеру Галеру - то вопрос вообще отпадает, дамп только сливай куда-то и всё

а вообще вилкомен https://t.me/docker_ru

И чем это будет отличатся от миграции обычного кластера без докера ? помоему это не проблема, а вполне очевидная вещь

я ничего не понял)

что будет отличаться от чего и что очевидно? (

Есть кластер на 3 нодах, надо куда-то смигрировать - остановили, собрали в кучу - мигрировали запустили. С докером вроде тоже самое, или не ?

да и дамп не всегда возможен.

ну да, у докера проблема только с хранилищем, что мешает пользоваться той же БД как другими stateles контейнерами, которые можно таскать куда и как угодно.

но если ты в докер кластер подключишь внешнее хранилище, то и с БД проблем не будет

вопрос в целесообразности

ну я и говорю что это вроде очевидно.

Целесообразность проста чтобы как минимум на машинах разработчиков не было вопросов "а какой экстеншн надо было еще воткнуть"

ERROR: S client not available

как пример

под БД отдельные дедики-кластеры собирают, какие тут виртуалки и контейнеры

в продакшене понятно что базы без докеров. но для остальных окружений что мешает то использовать ?

для докера на одной ноде вопросов вообще нет, используешь локальное хранилище и не паришься

или мапишь папку в проект

кэп!

серьёзно?

ты задал вопрос, я разжевал и получил скаркастическое ""кэп?

кто разбирается в elasticsearch ?

ты задал вопрос, я разжевал и получил скаркастическое ""кэп?

яж сразу сказал что это очевидно :) ну и потом когда подразумеваются проблемы с какой либо технологией-то ожидаешь получить какой либо фидбек на тему более фундаментальных проблем

я извиняюсь конечно за сарказм, но думал есть более фундаментальные проблемы.

Я понял твой вопрос, как будто ты знакомишься с докером, оказалось всё куда банальнее

На хосте планирую запускать только один контейнер с базой, дабы не мешались Спасибо

С контейнерами и виртуалочками сразу дам наводку (не могу вспомнить кто с этим жестко попадал), при копировании машины и запуске типа нового сервера у неё будет такой же uuid, что приведёт к конфликтам.

В последние время не выпадают записи из мэмкэша по ТТЛ, куда копать? Из скриптов вроде-бы ничего не менялось (

Стоит упомянуть, что реляционные БД вообще плохо горизонтально масштабируются. Вам стоит почитать про шардинг. Приложение соответственно должно быть спроектировано с учетом шардирования. Ну и если вам дороги ваши данные, контейнеры пока не стоит под это дело подводить. Это всё-таки для stateless хостов больше технология.

да хватит воспринимать cgroups как магию

Ну кто предупреждён, тот вооружен. На митапе по кубернейтсу ребята из авито вот не рекомендовали категорически контейнеры для БД.

потому что в кубе поды могут мигрировать туда-сюда, а не потому что там Разрушающая Магия происходит

а вообще вилкомен https://t.me/docker_ru

я не выдержал ежедневных выступлений и тупо свалил оттуда

кто разбирается в elasticsearch ?

чуток

+ @elasticsearch_ru

я не выдержал ежедневных выступлений и тупо свалил оттуда

Что за выступления?

с утра обязательно приходит какой-нибудь чувак и начинает задвигать Тему уровня пятого класса

что кэш не работает

что кэш работает

что нужно срочно поклоняться новому богу

что нужно делать как-то по-особому, потому что он, просветленный, прочитал целую статью в интернете от таких же неграмотных, как он

Добрый день, уважаемые специалисты. Ищу промышленое решение для обмена (рпеликации) данными (например справочники) между несколькими SQL базами. Необхоимо уйти от использования репликатора на уровне приложения . Может у кого - то имеется профессиональный опыт?

с утра обязательно приходит какой-нибудь чувак и начинает задвигать Тему уровня пятого класса

фи, мистер. да вы сноб ))))

ну да, скобочками-то общаться гораздо лучший выбор

с утра обязательно приходит какой-нибудь чувак и начинает задвигать Тему уровня пятого класса

Тоже мне повод)))

так там ничего больше и нет