@dba_ru

Страница 63 из 718
KOT
22.11.2016
18:53:16
лолшто
Извиняюсь, возможно, был тут Игорь, писал всегда очень невежливо, но открыл глаза на интересные вещи.

Fike
22.11.2016
18:53:33
да чего извиняться, будь как Игорь

KOT
22.11.2016
18:56:16
Не не, спасибо, я умею выносить уроки из проёбов. Тут задавать более вопросы не имеет смысла, можно лишь иногда читать. А в других местах не стоит расписывать смысл того, что я хочу сделать, а на вопросы о сути проекта и данных отвечать "doesn't matter".

неучтенный подводный камень, да, забыл. географическое удаленное расположение мастеров означает большие пинги и т.д. то есть синхронная репликация невозможна. у асинхронной есть большие минусы - в первую очередь ненадежность.
Синхронная репликация не в коем случае и не подразумевалась. Ибо тогда надо ждать этот самый пинг до дачи ответа скрипту, а это полностью ломает весь смысл задуманого.

Google
Fike
22.11.2016
18:57:42
если бы ты задал вопрос про геораспределенную штуку с транзакциями, я бы тебе все равно ответил, что транзакции не нужны, а штука на мускуле не взлетит

Akzhan
22.11.2016
19:02:10
https://habrahabr.ru/company/bitrix/blog/146490/

https://pgconf.ru/media2015c/tsarev.pdf

Fike
22.11.2016
19:02:27
мир баз данных не ограничивается мускулом. более того, явозьму на себя смелость утверждать, что мускул, не знающий даже понятия "дата с таймзоной", является одним из самых ущербных кусков этого мира.

Akzhan
22.11.2016
19:03:46
в общем, почитайте эти пару ссылок. не нужен вам мастер-мастер, только проблемы. я бы зарубил эту идею на корню (для mysql точно)

Al
22.11.2016
19:07:25
Чей-то попытался представить каким макаром организация очереди ВНЕЗАПНО сгладит пики... и не смог

Видимо какая то секретная магия

Akzhan
22.11.2016
19:08:39
@AlexCAD легко. нет необходимости иметь точные данные на данную миллисекунду. если пик, клиент получит ответ все равно немедленно. а в БД попадет ну спустя секунды три, например

Al
22.11.2016
19:09:55
@AlexCAD легко. нет необходимости иметь точные данные на данную миллисекунду. если пик, клиент получит ответ все равно немедленно. а в БД попадет ну спустя секунды три, например
Ой... получит ответ не попав в бд... точно магия.. а дунуть нужно? А то Амояк Акопян всегда говорит что если не дунуть то магии не получится.

Google
Akzhan
22.11.2016
19:11:38
Нужно. Не у всех получается ?

Alex
22.11.2016
19:13:47
Ну могут еще воркеры сложиться :)

Не менее элегантно

Al
22.11.2016
19:14:02
А, ясно, он вышел из конфы.
Из того что я видел в нагруженых системах. Они обычно решают кэшированием всей фигни на стороне приложения. В смысле всегда почти можно предсказать чего там приложению понадобится и выдать ему сразу весь пакет. Типа пусть возится.

Alex
22.11.2016
19:14:42
Тут специфика некоторая все же есть. Предсказать не получится иногда

Al
22.11.2016
19:14:54
ИНОГДА

Но это не часто и можно пережить

Alex
22.11.2016
19:15:15
Слишком частое иногда.

Al
22.11.2016
19:15:43
Внезапно приложение запросит блекджек со шлюхами?

Alex
22.11.2016
19:15:51
Именно

Al
22.11.2016
19:16:14
Тогда поднимаешь свой зад идешь к разрабу и

Alex
22.11.2016
19:16:41
Тогда уж к клиенту

Разраб не причем

Al
22.11.2016
19:17:32
Тогда уж к клиенту
Если разраб дал клиенту в приложении формировать произвольные запросы к дб.. то еще и руки такому разрабу поломать.

И каждую фалангу на каждом пальце молоточком

Alex
22.11.2016
19:18:06
Дык я и кэширую повсюду. Там задача уменьшить отклик юзеру
И как ты инвалидируешь кеш при нарушении лимитов ?

Но да наймите или хорошего CTO или DBA

Akzhan
22.11.2016
19:20:31
На текущем месте работы первое, что я сделал - выкинул кэширование запросов к БД... ну и mysql заодно

Alex
22.11.2016
19:20:52
+1

Google
Akzhan
22.11.2016
19:22:48
это заняло месяц где-то в сумме (два человека)

KOT
22.11.2016
19:23:22
И как ты инвалидируешь кеш при нарушении лимитов ?
"инвалидируешь кеш" вот это словообразование можно на более простом русском пожалуйста?

Al
22.11.2016
19:27:38
"инвалидируешь кеш" вот это словообразование можно на более простом русском пожалуйста?
Подозреваю что они сами мало понимают что обозначают слова которыми пользуются

Al
22.11.2016
19:29:41
Подозреваю, что вам тоже гугл поможет
Это типа меня так изыскано послали? Если вы не в силах обьяснить свой совет. То лучше помолчите тихонько в уголку. Тут не конкурс "кто напишет кирилицей больше странных слов"

Alex
22.11.2016
19:30:16
Общепринятые понятия знать маст хев

Akzhan
22.11.2016
19:30:55
Это типа меня так изыскано послали? Если вы не в силах обьяснить свой совет. То лучше помолчите тихонько в уголку. Тут не конкурс "кто напишет кирилицей больше странных слов"
как бы подразумевается, что базовая терминология вам известна. вообще говоря, инвалидация кэша - одна из интересных задач при наличии связей между обьектами. говоря попросту, как кэш узнает, что данные неактуальны?

Alex
22.11.2016
19:32:38
Ггг

Fike
22.11.2016
19:32:38
ВАСЯ, РЕБУТНИ СЕРВАК КЭШ УСТАРЕЛ

Alex
22.11.2016
19:32:48
Он просто пхпшник

:)

Al
22.11.2016
19:32:56
Google
Fike
22.11.2016
19:33:05
и так сойдет.жпг

Al
22.11.2016
19:33:20
ВАСЯ, РЕБУТНИ СЕРВАК КЭШ УСТАРЕЛ
Это не про сервак а про приложение на клиентской стороне.

Alex
22.11.2016
19:33:20
Жалко лайки нельзя ставить

Fike
22.11.2016
19:33:41
снимать нагрузку кэшированием на клиентской стороне?

Al
22.11.2016
19:34:07
Fike
22.11.2016
19:34:23
а кто им выдал бейдж "нагруженной системы"?

Al
22.11.2016
19:34:26
Остановись :)
Скажи это RBC

Admin
ERROR: S client not available

Alex
22.11.2016
19:34:59
Эм никогда не трепетал перед бреедами

Al
22.11.2016
19:35:01
а кто им выдал бейдж "нагруженной системы"?
Они самый большой банк канады :)

Alex
22.11.2016
19:35:17
Там бывает понамешано такое что лучше не смотреть

Fike
22.11.2016
19:35:20
https://ru.wikipedia.org/wiki/%D0%AD%D1%84%D1%84%D0%B5%D0%BA%D1%82_%D0%94%D0%B0%D0%BD%D0%BD%D0%B8%D0%BD%D0%B3%D0%B0_%E2%80%94_%D0%9A%D1%80%D1%8E%D0%B3%D0%B5%D1%80%D0%B0 без этой ссылки тут никак, боюсь

Alex
22.11.2016
19:35:29
Лол

Это он, да :)

Al
22.11.2016
19:36:04
Там бывает понамешано такое что лучше не смотреть
Они и не смотрят походу. Просто клеют новое поверх старого

Alex
22.11.2016
19:36:28
Бггг

А что здесь вообще происходит?

Заббикс используете?

Google
Alex
22.11.2016
19:36:41
Да куда мне с моими скромными решениями для Visa :)

Alex
22.11.2016
19:36:54
Так, постойте

Я в этом чате админ

But how come

Al
22.11.2016
19:37:25
А что здесь вообще происходит?
Как обычно ж. Некоторые строят из себя профи. Плвышают свое чсв

Alex
22.11.2016
19:37:28
Александр, читайте и наслаждайтесь :)

Alex
22.11.2016
19:37:43
А, все понял

Akzhan
22.11.2016
19:38:21
Есть задача. Надо сделать максимально быстрой отклик в любой части планеты. Проект - рекламный трафик. Нужно записывать КАЖДЫЙ переход в базу, при этом делать это максимально быстро. В момент захода на сервер скрипт делает 2 запроса выборки данные и до трёх INSERT´ов. Сейчас сделано по принципу 1 мастер и 3 репликации. Мастер стоит в Ирландии, рядом сервер со скриптом, там код отдаётся за 9мс, второй слейв стоит в северной вирджинии, там время отдачи 1с, ещё один в мумбае, там примерно 2с. Задержка из-за INSERT´ов, это время максимальное, при всех трёх (один минимум). Задача: поднять локации по всему миру с минимальным откликом. В планах решить сразу несколько вопросов: 1. Подтянуть мастера к удалёным точкам 2. Сделать резервные копии на случай выпадения мастера по жести Выбранная схема: Мультимастер Актив-Актив, 3 штуки, в Ирландии, Сингапуре и Северной Вирджинии, репликации "все на всех", чтобы не было зависимости от "кольца". Далее у каждого мастера будут ещё свои слейв репликации по стандартной топологии звезды мастер-слейв актив-пассив. Не стал сразу всё делать, а вынашиваю идею уже полтора месяца и постепенно начитался и наслушался, но пора начинать. Постепенно понял, что мне не нужно реплицировать ВСЕ данные во все стороны. А именно, данные деляться на 3 типа: 1. Записи трафика во время прохода, один проход одна стрoка в таблице 2. Данные из админки, настройки компаний и прочая шелуха 3. Сводные данные трафика, раз в час идёт выжимка из первого типа данных, где групируется по источнику, чтобы по ним потом отдавать гибкую статистику. Первые данные надо раскидывать репликой Мультимастер Актив-Актив, это для резервного бэкапа и для других вычислений. Вторые данные в принципе по сути будут всегда писаться из админки, её я пока не планирую разносить, будет в одном месте, писать будет в один мастер (если тот не отвалится), потому не уверен, есть ли смысл её реплицировать по той же схеме. Третьи данные, это вообще жесткая такая нагрузка на базу, когда надо несколько миллионов, а может и несколько десятков миллионов прогнать математикой и записать. Потэтому не сильно хочется хочется грузить все мастера такой задачей, было бы интересней придумать схему, где скрипт, который это делает, опрашивал бы все 3 мастера на предмет загруженности ЦПУ, выбирал бы самый слакающий и на нём гнал, а остальным передавал row based репликацию. Либо же эту сводную базу не реплицировать, а каждый будет делать из своих данных, учитывая, что раз в час он обновляет не только часовую сводку но и немного предыдущей, то любые лаги репликации будут догоняться. В качестве ДБ сервера подумываю взять последнию Перкону, она базируется на последнем mysql, а значит там есть и многопоточная репликация и паралельная репликация. Какие подводные камни я уже наметил: авто инкреминенты надо юзать с настройкай шага и оффсета забыть про юник ключи в мастер-мастер схемах забыть про триггеры, процедуры и прочие безконтрольные элементы, которые могут сломать репликацию Не использывать запросы из разряда генерируемых сервером или основывающиеся на других данных, которые могут быть разными на разных мастерах. Помогите котику найти брод в этом океане подводных камней. Просьба: Не предлагайте уйти от мультимастера. Всё остальное преветствуется ^_^
читать отсюда :)

Alex
22.11.2016
19:38:47
Мать моя женщина

KOT
22.11.2016
19:38:59
Я в этом чате админ
Да ладно. Пошли пиво пить) я задолбался))

Alex
22.11.2016
19:39:00
Мультимастер актив-актив это же педерастия в чистом виде

Alex
22.11.2016
19:39:55
Это кстати идея, в Питере с пивом похоливарить

Al
22.11.2016
19:40:21
Мультимастер актив-актив это же педерастия в чистом виде
Свальный грех же, а не пидерастия. Не путай понятия.

Alex
22.11.2016
19:40:58
Меня правда при этом наверное побьют, но я наверное к этому готов :)

KOT
22.11.2016
19:42:04
Мать моя женщина
Отец твой мужчина, надо было вопрос сисадминам вбрасывать, не ожидал такого проёба времени.

Al
22.11.2016
19:43:36
Отец твой мужчина, надо было вопрос сисадминам вбрасывать, не ожидал такого проёба времени.
Там будет тоже самое. Очевидно же универсального решения нет. И человека с подобным опытом ты если и встретишь, то врятли тебе его опыт поможет.

Alex
22.11.2016
19:44:23
Я писал, но кто бы слушал :)

Страница 63 из 718