что то мне казалось что перкона это полноценный форк

Перкона и майсиквел взаимозаменяемые, вы в любой момент сможете уйти с перконы и наоборот, с МариаДБ - ни

Никто не хочет подсказать заблудшей душе по синхронизации структуры??

Никто не хочет подсказать заблудшей душе по синхронизации структуры??

у аудит лог оверхед конечно небольшой. но всё равно зачем, если бинлог наверняка уже есть?

из бинлога чуть тяжелее. + у аудита есть такая прекрасная плюшка, как известный источник БД. Но тоже вариант, спасибо))))

подсоединяться как реплика к мастеру (таких готовых библиотек уже вагон на любом языке), парсить изменения, прикладывать ddl, выбрасывать всё остальное

из бинлога чуть тяжелее. + у аудита есть такая прекрасная плюшка, как известный источник БД. Но тоже вариант, спасибо))))

не понял, что за известный источник БД?

Извиняюсь, не дописал. Источни изменений БД. Конкретное лицо, которое изменило структуру или код и которое потом можно за это изменение слегка подкорректировать))))

Это не относится к самой задаче, просто как бонус.

а, ну если нужно именно это, то это аудит и называется

Я от devart смотрел синхронизатор схем. Даже по расписанию умеет, но такой тормозной, что просто жуть.

Slow/general logs?

так он наверное сравнивает каждый раз все таблицы?

И делает это ужасно убого. До абсурда убого я бы даже сказал

так он наверное сравнивает каждый раз все таблицы?

так для этого https://dev.mysql.com/doc/mysql-utilities/1.5/en/mysqldbcompare.html есть

Slow/general logs?

slow в таблице.. Тоже классный вариант может быть, если посттоянно грепать. Но не будет ли от этого большой оверхед?

я правда сам не пользовался. но тут суть в том, что если нужны не разовые (редкие) синхронизации, а непрерывные, то тогда репликация

Реплика и данныые тянетт, что неприемлемо. Я рассматтривал вариант с dev-сервером, на котором нет данных, но с него льются изменения везде, но это организационно даёт много проблем.

"реплика" не обязательно должна быть на целевом хосте

она может быть на мастере, а к целевому хосту коннектиться как обычный клиент и уже туда скармлиать распарсенные ddl

так gh-ost, например делает

Сейчас работаем в подобном направлении, может и получится))))

собственно, вам нужен gh-ost за вычетом синхронизации данных. может даже там есть такой режим. или его просто добавить

slow в таблице.. Тоже классный вариант может быть, если посттоянно грепать. Но не будет ли от этого большой оверхед?

Slow ты ж можешь не грепать, а триггер написать

с каких пор в мускуле можно повесить триггер на служебную таблицу?

Я вообще это как в итоге хочу видеть - каждое изменение прикрреплено к сотруднику. Соттрудник периодически открывает список своих изменений и доразливает то, что недорпазлил сразу. Но это конечно в идеале.

но это в идеальном мире с розовыми пони)))) А так хоть бы как-нибудь сделать?

нет, ну можно и так конечно. но тогда аудит плагин. или взять готовый, а потом парсить вывод, а лучше вообще свой написать

там несложно

Написать свой аудит плагин?

с каких пор в мускуле можно повесить триггер на служебную таблицу?

Действительно. Sorry (

были б триггеры - горя бы не знал)))))

но низя, ибо часть из этих служебных таблиц - не совсем таблицы

видимо, копну в эту сторону. Тем более, у нас был где-то черновик, который грепает аудит плагин и тащит всё в гитхаб. НА проде правда не пробовали, но на тесте взлетело душевно?

Хочу убить двух зайцев сразу - и решить задачу и смотреть, что кто понакодил за день. Дальше соответственно принимать меры карательного характера

а на системные таблицы триггеры нигде нельзя. но даже не в этом дело. во-первых пока триггер не отработает, клиентский запрос не завершится (с перформансом беда будет), а во-вторых проблемы с распуханием и ротацией

Эх, вроде и задача вроде такая, с которой столкнулось много людей. А красивого решения нет и вряд ли будет. Это какой-то крест ДБА, ни IDE безглючной, ни отладчика хорошего, ни контроля версий. Одно сплошное "ничего"?

много людей столкнулось, много и решений ? https://github.com/wushujames/mysql-cdc-projects/wiki

В целом половину из них видел. Но велосипеды же всё, согласись?))))) Да и решают только задачу "вытянуть запрос". Но это же самое простое из того, что сделать надо. Вот например, изменение кода - это удаление и создание заново. Отлично, я, кретин такой, сохранял чтто-то не то и за 5 минут сделал 5-10 сохранениий процедуры. Вопрос - зачем их синкать все? А ведь незачем. Посему будем строить свой велосипед, пока это вижу запихиванием в гитхаб, а там посмотрим?

ну тут какая-то специфисская задача. хорошо, за 5 минут все изменения не надо синкать. а за час надо? а за сутки? потому что в зависимости от частоты и объёмов, может действительно ну его, и mysqldbcompare вполне подойдёт?

А вот в том и фишка, что выбирать приориттеттность должен ДБА. А вдруг это мега-крутой альтер тейбл, под который надо останавливать всю систему? Значит, надо оттложить синк именно этой фичи

ну тогда тут явно не репликация и не аудит. тут что-то явно ручное, тёплое и ламповое просится

аудит+гит+какая-нибудь красивая кнопочка "разлей" кастомная. Пока как-то так

Доброго утра, товарищи. Подскажите, это нормальное поведение или нет? Процесс mysqld (CentOS) использует порядка 3 гигов памяти, но размер виртуальной у него почти 10 гиг. Может быть недокручего чего?

День добрый. Может кто подскажет? Как организовать вывод таблиц(ы) в консоль без разделителя полей "|"?

--batch, -B Print results using tab as the column separator, with each row on a new line. With this option, mysql does not use the history file. Batch mode results in nontabular output format and escaping of special characters. Escaping may be disabled by using raw mode; see the description for the --raw option.

Всем доброго времени суток! Есть mysql база. На данный момент просто бэкапится. Планирую настроить master-slave репликацию для резервирования. Подскажите, какими средствами можно обеспечить проксирование, чтобы в случае падения мастера все запросы перенаправлялись на слэйв. И есть ли возможность настроить систему так, чтобы при поднятии мастера, мастер и слэйв менялись ролями, пока мастер не "догонит" слэйв, а потом переключались в исходное состояние(эти манипуляции нужны потому что slave сервер менее производительный чем master)? Я не уверен, что моё виденье системы верное, по этому, буду рад, если подскажите какие-нибудь бэст практис на этот счёт. Смысл затеи в том, чтобы обеспечить доступность базы при падении одной из нод репликации.

Всем доброго времени суток! Есть mysql база. На данный момент просто бэкапится. Планирую настроить master-slave репликацию для резервирования. Подскажите, какими средствами можно обеспечить проксирование, чтобы в случае падения мастера все запросы перенаправлялись на слэйв. И есть ли возможность настроить систему так, чтобы при поднятии мастера, мастер и слэйв менялись ролями, пока мастер не "догонит" слэйв, а потом переключались в исходное состояние(эти манипуляции нужны потому что slave сервер менее производительный чем master)? Я не уверен, что моё виденье системы верное, по этому, буду рад, если подскажите какие-нибудь бэст практис на этот счёт. Смысл затеи в том, чтобы обеспечить доступность базы при падении одной из нод репликации.

общее видение правильное, да. но тема очень обширная. тут вот Петя даёт краткий обзор доступных решений: https://youtu.be/eDh9x5PuhxQ

Ага, спасибо, посмотрю.

Тебе тогда не мастер-слей, а мастер-мастер нужен

https://t.me/oracle_ru

если коротко и нужна кнопка "сделать всё классно", то вот они: innodb_flush_method=O_DIRECT innodb_numa_interleave=1

Кстати, за это, отдельное спасибо. Изменил эти параметры, плюс сделал некоторые изменения в системе, такие как vm.vfs_cache_pressure=1000, vm.swappiness=5 и стало получше:)

Памяти всё равно жрёт больше чем должна по калькулятору, но хотя бы oom killer детей в жертву не приносит, пока что)

ok! хотя вот выбор параметров интересный

а что, вот была ощутимая разница между vm.swappiness=5 и 1?

Тебе тогда не мастер-слей, а мастер-мастер нужен

Читал, что при тmaster-master есть неиллюзорный шанс потерять какие-то данные, при падении одной из нод. Ну и опять же, на слейве сервак послабее будет.

А как ты догонять собираешься?

Если у тебя мастер будет в ауте

РУками тока если, но это же больно))))

а что, вот была ощутимая разница между vm.swappiness=5 и 1?

было 10, сделал 5. 10 все таки до неприличия много про оперативке в 256ГБ. А 1 не поставили, дабы подстраховаться.

кстати, хорошая статья про swap попалась недавно: https://chrisdown.name/2018/01/02/in-defence-of-swap.html

А как ты догонять собираешься?

Ну вот потому я и рассматриваю различные варианты)

ну, одно дело - балансир, другое - консистентность

У тебя ушёл мастер, все пишут на слейв

А как потом жданные вернуть?

Реплика мастер-мастер должна быть

ну необязательно. есть же semi-synchronous реплкикация

её в общем как раз для этого и сделали

Читал ещё про репликацию внешними средствами, чтобы в 2 базы сразу отправлять запросы. Есть мысль чтение делать из той, что находится на более мощной железки, а запись вести в обе одновременно.

от мастер-мастер для данного конкретного случая только и требуется, что синхронность. а в остальном это overkill

Читал ещё про репликацию внешними средствами, чтобы в 2 базы сразу отправлять запросы. Есть мысль чтение делать из той, что находится на более мощной железки, а запись вести в обе одновременно.

можно, да. но геморрой

" а запись вести в обе одновременно." - опасно это. Например, с инкрементами ошибся или ещё что. И рассинхрон полный

А распараллелить через какой-нибудь прокси не получится?

А зачем?

Имеешь ту же ситуацию. НА одном выполнилось, на втором условно дедлок. И ищи их потом...

Имеешь ту же ситуацию. НА одном выполнилось, на втором условно дедлок. И ищи их потом...

Ну да. Причем очень высока вероятность, именно такого сценария.

ну необязательно. есть же semi-synchronous реплкикация

А скорость сильно проседает?

А скорость сильно проседает?

в каждый комит добавляется время на то, чтобы: 1) передать соответствующую запись в бинлоге на реплику 2) сохранить запись в relay log на реплике и 3) передать подтверждение от реплики обратно на мастер

то есть + 1 network round trip + 1 fsync. сколько это в абсолютных величинах зависит от оборудования

Ну да, я прочитал, что мастер ждёт acknowledge от слэйва, но не ждёт подтверждения коммита. То есть вопрос по большей части в задержке сети.

и fsync на relay log на слейве. то есть, производительность диска на слейве тоже имеет значение

комиты транзакций из relay log потом происходят асинхронно, поэтому да, подтверждения коммита на слейве не ждём

а, окей

ну я вот отсюда читаю http://highload.guide/blog/mysql_replication_2015.html

ну там несколько упрощённо всё

например, sync — это необязательно "local + remote commit"

а semi — это не только "local + remote ack"

но в целом хороший ликбез, одобряю

Всем привет, подкиньте идей для хранимых процедур, попрактиковаться в написании хочется, только прошу чтобы задачу она выполняла нужную, ну т.е. для этой задачи лучше всего подходит хранимая процедура, а не триггер, представление или что-нибудь. Спасибо.

А сам себе поставить задачу ты не в состоянии?)

да не видя базы, кто тебе что поставит? Любая бизнес-логика с циклами/курсорами например

дай тому виртуальных монет, а если у него осталось много, у другого отбери. Всё это в транзакции и в курсоре по пользователям сайта