Есть задача. Надо сделать максимально быстрой отклик в любой части планеты. Проект - рекламный трафик. Нужно записывать КАЖДЫЙ переход в базу, при этом делать это максимально быстро. В момент захода на сервер скрипт делает 2 запроса выборки данные и до трёх INSERT´ов. Сейчас сделано по принципу 1 мастер и 3 репликации. Мастер стоит в Ирландии, рядом сервер со скриптом, там код отдаётся за 9мс, второй слейв стоит в северной вирджинии, там время отдачи 1с, ещё один в мумбае, там примерно 2с. Задержка из-за INSERT´ов, это время максимальное, при всех трёх (один минимум). Задача: поднять локации по всему миру с минимальным откликом. В планах решить сразу несколько вопросов: 1. Подтянуть мастера к удалёным точкам 2. Сделать резервные копии на случай выпадения мастера по жести Выбранная схема: Мультимастер Актив-Актив, 3 штуки, в Ирландии, Сингапуре и Северной Вирджинии, репликации "все на всех", чтобы не было зависимости от "кольца". Далее у каждого мастера будут ещё свои слейв репликации по стандартной топологии звезды мастер-слейв актив-пассив. Не стал сразу всё делать, а вынашиваю идею уже полтора месяца и постепенно начитался и наслушался, но пора начинать. Постепенно понял, что мне не нужно реплицировать ВСЕ данные во все стороны. А именно, данные деляться на 3 типа: 1. Записи трафика во время прохода, один проход одна стрoка в таблице 2. Данные из админки, настройки компаний и прочая шелуха 3. Сводные данные трафика, раз в час идёт выжимка из первого типа данных, где групируется по источнику, чтобы по ним потом отдавать гибкую статистику. Первые данные надо раскидывать репликой Мультимастер Актив-Актив, это для резервного бэкапа и для других вычислений. Вторые данные в принципе по сути будут всегда писаться из админки, её я пока не планирую разносить, будет в одном месте, писать будет в один мастер (если тот не отвалится), потому не уверен, есть ли смысл её реплицировать по той же схеме. Третьи данные, это вообще жесткая такая нагрузка на базу, когда надо несколько миллионов, а может и несколько десятков миллионов прогнать математикой и записать. Потэтому не сильно хочется хочется грузить все мастера такой задачей, было бы интересней придумать схему, где скрипт, который это делает, опрашивал бы все 3 мастера на предмет загруженности ЦПУ, выбирал бы самый слакающий и на нём гнал, а остальным передавал row based репликацию. Либо же эту сводную базу не реплицировать, а каждый будет делать из своих данных, учитывая, что раз в час он обновляет не только часовую сводку но и немного предыдущей, то любые лаги репликации будут догоняться. В качестве ДБ сервера подумываю взять последнию Перкону, она базируется на последнем mysql, а значит там есть и многопоточная репликация и паралельная репликация. Какие подводные камни я уже наметил: авто инкреминенты надо юзать с настройкай шага и оффсета забыть про юник ключи в мастер-мастер схемах забыть про триггеры, процедуры и прочие безконтрольные элементы, которые могут сломать репликацию Не использывать запросы из разряда генерируемых сервером или основывающиеся на других данных, которые могут быть разными на разных мастерах. Помогите котику найти брод в этом океане подводных камней. Просьба: Не предлагайте уйти от мультимастера. Всё остальное преветствуется ^_^

забудь про производительность тогда

100-300 запросов в секунду это мелочи, подключится к вам какой нить индус с посещаемостью в 1кк в секунду

Глядя на рынок рекламных сеток. чую пора делать свою :)

Хорошо, поясню тебе на более простых вещах - у тебя есть город, его инфраструктура расчитана на передвижение 500К машин по городу, а тут вдруг ожиатаж, блэкфрайдэй, все ТЦ в центре города и с области туда пытаются заехать 5М машин. Твои действия?

особенно когда вижу как иногда эти самые сети пишут

Лечь под нагрузкой в вашем случае.

Флаг в руки, сетки что держутся на технологиях есть, их ты ничем не сдвинешь, там всё идеально, остальные быдаются засчёт рекломодателей, когда у тебя будет пул тех, кто платит, тогда оно взлетит. Это не первый проект с рекламой, где я присуствую с самого начала.

Нет, поставить КПП на подъезде, и разворачивать все машины с номерами из области.

разница ТОЛЬКО в технологиях.

Тоже вариант. Нет, я понимаю бизнес-требования, вижу, собаку в этом съели. Но вы на пустом месте все-таки попадаете на падения. Пока персонал отреагирует, инфраструктура уже ляжет. И хорошо, если данные не испортятся.

Автоматизация. Ну а если реально будет дикий скачёк, то да, будет попадалово, тут так же, как и с возможной ДДоС атакой, мы CF прикрыться не можем.

так что объяснять что вам не нужна производительность = утверждать вы согласны не зарабатывать денег, и не расти.

это я говорю, как CTO

Вот реально, парни, написал в 15:19 сейчас 21:02, проебал почти 6 часов времени, не сделав несколько важных тасков, потому, что лазил читать, про тарантулы, про касандры, апача кафки, отложеные очереди и прочую туфтохрень. Я даже не знаю, какими ещё нормальными словами, описать суть того, что я хочу донести. Просто очень устаёшь, когда в 80% чатов/форумах/ещё где-то, на простейшии вопросы люди, которые могут ответить нормально, отвечают кашей. НАХУЯ?

На фоне вот этого всего, человек, который здесь больше всех бычил (@rhcsa ) дал в своё время самый дельный совет про использование компрессед для ускорение дб