Navern
эм....
Navern
чот не оч понятно что ты делаешь
Navern
помувай папку
Navern
создай новую
Navern
и восстанови туда
Andrey
для восстановления большого объема БД лучше, чем xtrabackup ничего не слышал
Stefan
чот не оч понятно что ты делаешь
xtrabackup --force-non-empty-directories --datadir=/mnt/mysql_data/data --copy-back --target-dir=/home/ec2-user/2020-06-15_21-45-12
Combot
George Gaál (21.14) увеличил репутацию Andrey A (2.41) (+1.2)
Dmitry
всем привет) тренируюсь в создании и восстановлении бэкапов при помощи xtrabackup это что действительно правда, что нельзя восстановить бэкап в папку, в которой уже существуют данные? пишет в —help и на оф. сайте что нужно дропать всё содержимое 😳 --force-non-empty-directories This option, when specified, makes --copy-back or --move-back transfer files to non-empty directories. Note that no existing files will be overwritten. If --copy-back or --nove-back has to copy a file from the backup directory which already exists in the destination directory, it will still fail with an error. действительно падает с ошибкой: xtrabackup: Can't create/write to file '/mnt/mysql_data/data/ib_logfile0' (Errcode: 17 - File exists) [01] error: cannot open the destination stream for ib_logfile0 [01] Error: copy_file() failed. кто юзает такую тулзу, как вы с этим живете??? или может посоветуете другие хорошие тулзы, можно и платные
юзаю, правда innobackupex (более низкоуровневая, которую использует xtrabackup). Восстанавливаю бэкап просто переносом данных в /var/lib/mysql. Ну или сразу восстанавливаю их в пустой папке
Dmitry
то есть так или иначе сначала в пустую выливается, а потом cp/rsync в datadir?
да я даже не искал других вариантов если честно. Я лучше предостерегусь, и сделаю rm -rf /var/lib/mysql, и точно буду уверен что я восстановил из бэкапа
Vladimir
но если у тебя базы по полтора ТБ? а нужно только одну восстановить, rm -rf ниок
с mysql все в этом плане не так просто, потому что у тебя есть файлы общие между базами (как раз на которых бэкапилка падает)
Stefan
я так понимаю имея например один фулловый и один инкрементальный, я ж могу просто мувнуть данные в рабочую папку мускуля и стартонуть его? при этом учесть пермишены
Stefan
а то я так только что с фулловым сделал, удалил папку с базой данных и мувнул в папку мускуля и всё норм
Dmitry
но если у тебя базы по полтора ТБ? а нужно только одну восстановить, rm -rf ниок
так это же hot backup, он же не дампы баз делает, а тупо бинарные данные сохранаяет. Там у тебя могут быть базы как в ibdata1 так и в отдельных папках. Но у них что-то на эту темы было, но я не уверен, что это можно провернуть на живую субд (https://www.percona.com/blog/2020/04/10/percona-xtrabackup-backup-and-restore-of-a-single-table-or-database/)
Vladimir
а то я так только что с фулловым сделал, удалил папку с базой данных и мувнул в папку мускуля и всё норм
может быть и не норм, потому что кусок данных в ibd* файлах лежат. Если тебе повезло у тебя юэкап директории будет работать, но если база была используемой и нормальной - то ты получишь сильно побитый бэкап
Stefan
я хот бэкапы делаю 🤷
хот бэкапы делаются, речь о ресторе уже)
Stefan
хот бэкапы можно делать естесна
Dmitry
хот бэкапы делаются, речь о ресторе уже)
Ну вон почитай: https://www.percona.com/blog/2020/04/10/percona-xtrabackup-backup-and-restore-of-a-single-table-or-database/ Что-то у них было на эту тему
Vladimir
на живую низя, стопать надо, либо другой тип бэкапа юзать надо, не помню как называется
xtrabackup работает без стопа базы, просто в процессе бэкапа оно будет нагружать базу, поэтому типично под это дело выделяют реплику специально под бэкап, останавливают реплику, делают снэпшот, стартуют реплику обратно и со снэпшота уже тянут бэкап, иначе на большой базе может стать грустно.
Dmitry
но доп нагрузку все равно создает)
ну реплика жеж, зато остановок никаких не надо делать
Vladimir
поэтому все равно делают по старинке со снэпшотом сначала, а потом уже экстрабэкапом в фоне
Stefan
может быть и не норм, потому что кусок данных в ibd* файлах лежат. Если тебе повезло у тебя юэкап директории будет работать, но если база была используемой и нормальной - то ты получишь сильно побитый бэкап
значит в таком случае лучше делать так: 1. делается фулл бэкап и допустим инкрементальный 2. делается —prepare бэкапа 3. восстанавливаются в какую-то любую пустую папку данные с бэкапа 4. cp/rsync данных в рабочую папку мускуля верно?
Dmitry
поэтому все равно делают по старинке со снэпшотом сначала, а потом уже экстрабэкапом в фоне
а смысл бояться нагрузки на реплике, если ты все равно ее стопаешь? Ну то есть, вряд-ли ты туда запросы с бэков отправляешь, если реплика стопнута
Vladimir
и придется после бэкапа реплику пересинкивать, что не очень приятно
Vladimir
даже с учетом всей автоматизации вокруг
Dmitry
в очень крайнем случаи за время работы бэкапа может безнадежно остать и развалится)
а почему развалится? У меня реплики и на несколько дней отставали (не из-за бэкапов) и норм. Единственное главное чтобы не остало больше чем на binlog expires day
Vladimir
но это вопрос нагрузки, чаще всего правда не нужно
Vladimir
а почему развалится? У меня реплики и на несколько дней отставали (не из-за бэкапов) и норм. Единственное главное чтобы не остало больше чем на binlog expires day
вопрос в объеме записей которые надо реплицировать, может быть потом так что оно будет догоняться очень долго или что хранить бинлоги столько дней просто сложно
Vladimir
но может что-то конечно и поменялось с тех пор как последний раз приходилось об этом слушать (несколько лет назад)
Dmitry
вопрос в объеме записей которые надо реплицировать, может быть потом так что оно будет догоняться очень долго или что хранить бинлоги столько дней просто сложно
у меня база на 1 TB, реплика при бэкапах вообще не остает. На самом деле достаточно просто бэкапить на другой диск, нагрузку база вообще не почувствует, по CPU бэкапилка тоже сильно не кушает
Vladimir
у меня база на 1 TB, реплика при бэкапах вообще не остает. На самом деле достаточно просто бэкапить на другой диск, нагрузку база вообще не почувствует, по CPU бэкапилка тоже сильно не кушает
ну справедливости ради я не помню объем базы которая тогда была, просто помню что приходилось дополнительно делать снэпшот и бэкапить со снэпшота, иначе было грустно
Stefan
стремно просто если честно дропать полностью /var/lib/mysql, ради того чтоб восстановить одну базу например
Stefan
это ж долго потом всё будет
Dmitry
но я думаю тут важно чтобы у тебя была опция innodb_file_per_table включена
Dmitry
стремно просто если честно дропать полностью /var/lib/mysql, ради того чтоб восстановить одну базу например
ну xtrabackup не для таких кейсов, мне кажется. Утилита больше для бэкапа всей СУБД
Dmitry
А в postresql кстати как щас с этим? с хот бэкапами и восстанвлением?
Stefan
хоть бери и на rsync всё городи)))
Dmitry
хоть бери и на rsync всё городи)))
не получится. Ну без стопов бд имеется в виду. Главные фичи же xtrabackup это hot backup и тому подобное. Он у них используется в xtradb cluster, для того чтобы поднять с нуля ноду, как только ты ее подключил в кластер
Dmitry
хоть бери и на rsync всё городи)))
а если ты там все стопаешь, почему просто дамп обычный не сделаешь (mysqldump)?
Антон [R13 🍆 Ivelok]
Stefan
не получится. Ну без стопов бд имеется в виду. Главные фичи же xtrabackup это hot backup и тому подобное. Он у них используется в xtradb cluster, для того чтобы поднять с нуля ноду, как только ты ее подключил в кластер
я просто тогда не понимаю, поломалась одна база, есть бэкапы нормальные, но чтоб её восстановить надо дропать всю папку мускуля, когда это совсем не нужно(
Stefan
это кажется не логичным с точки зрения восстановления
Stefan
крайне важна гранулярность
Andrey
это физический бекап, мне кажется за гранулярностью надо юзать логический бекап
Dmitry
+
Dmitry
Да вроде всё также, всё хорошо :)
pg_dump? он разве подходит для hot бэкапов?
Andrey
сейчас там куча вариантов бекапов, мы у себя используем pg_probackup
Антон [R13 🍆 Ivelok]
pg_dump? он разве подходит для hot бэкапов?
Да, он делает нормальный консистетный бэкап и не стопает базу.
Dmitry
Да, он делает нормальный консистетный бэкап и не стопает базу.
а блокировки на таблицы вешает, во время бэкапа?
Антон [R13 🍆 Ivelok]
Антон [R13 🍆 Ivelok]
Там больше проблема в том, что если у тебя база на 400+ гигов - pg_dump будет выполняться очень долго)
Andrey
я б выразился точнее - не dump, а restore c него)
Антон [R13 🍆 Ivelok]
я б выразился точнее - не dump, а restore c него)
Ну рестор параллелится, но тоже будет очень долго, да)
Антон [R13 🍆 Ivelok]
в mysql с логическими дампами не очень круто, по крайней мере даже на innodb у меня не очень получалось незаметно для пользователей сделать логический дамп, даже с single-transaction и ещё какими-то опциями.
Антон [R13 🍆 Ivelok]
может конечно я не сильно старался, но innobackupex/xtrabackup делали дамп 800+гб базы за 10-15 минут и локом на 1 секунду в самом конце, что не критично.
Andrey
типа да, но там есть какие-то еще более быстрые утилиты
Andrey
вспомнил - https://github.com/maxbube/mydumper не юзал, просто когда-то смотрел
Stefan
вспомнил - https://github.com/maxbube/mydumper не юзал, просто когда-то смотрел
спасиб, отличная возможность поэксперемнтировать)
Stefan
просто не слышал раньше о такой терминологии
Andrey
хз, я вообще не специалист по ним). Лучше спросить в соответствующем канале
Старый
в @dba_ru ?
https://t.me/mysql_db
Stefan
https://t.me/mysql_db
о спасиб
Alexander 🐕
а зачем лок? сейчас синг транзакция
Метаданные хранятся в MyISAM до сих пор, потому что