Исть ли какие-то удобные инструменты для централизованной настройки бэкапов БД? Желательно универасальные, но главное Postgres

Исть ли какие-то удобные инструменты для централизованной настройки бэкапов БД? Желательно универасальные, но главное Postgres

Универсальных бэкапов не бывает, даже принципы везде разные.

Я под универсальными имел ввиду что разные СУБД

Чтобы я мог сказать "Вот тебе 2 постгреса и одна монга, делай бэкапы каждую ночь "

Но можно и по отдельности

Иначе какие подходы используют? Не самописные же скрипты в кроне

Иначе какие подходы используют? Не самописные же скрипты в кроне

Да лаааадно))))

Я под универсальными имел ввиду что разные СУБД

Я тоже

Все базы спать на ночь и пофайлово - вперед

Иначе какие подходы используют? Не самописные же скрипты в кроне

А чем плохо?

Или тебе веб-морда с хипстерской кнопочкой нужна?

И подписью "сделать круто"

А чем плохо?

Неудобства управления и модификации. Плюс не увидеть глобальную ситуацию.

Или тебе веб-морда с хипстерской кнопочкой нужна?

Ну неплохо конечно и так))

Неудобства управления и модификации. Плюс не увидеть глобальную ситуацию.

top ?

top ?

Мы же о разных хостах говорим

Еще и на разных хостах...

Давайте проковыряем большие дырки в хостах. Зато бэкап будет красивый с кнопочкой

ssh top

ssh top

Ну не. Нужно все порты открыть. С любых ип (вдруг с мобилки там бэкап запустить или с планшетика посмотреть как отработало).

Должно быть весело же

Да, зачем жить скучно? Надо жить весело!

Исть ли какие-то удобные инструменты для централизованной настройки бэкапов БД? Желательно универасальные, но главное Postgres

Bareos + bareos-webui. Интерфейс для посмотреть, как обстановка. Централизованное хранилище и гибкие расписания, а сам бэкап БД скриптами

Кому надо для винды - агент умеет VSS

Да, зачем жить скучно? Надо жить весело!

Дык и хакеров нужно поддерживать. Эт ж только унылые лохи делают так что к бд можно только с пары ип пробиться.

Bareos + bareos-webui. Интерфейс для посмотреть, как обстановка. Централизованное хранилище и гибкие расписания, а сам бэкап БД скриптами

Спасибо, посмотрю

Я нисколько не настаиваю что моя идея хорошая, моя цель понять какие есть практики. В плане безопасности думал через ssh tunnel или ограничения по ip

А и в моем случае речь про закрытую сеть

Есть 3 таблицы на 3ГБ в общей сложности данных. Есть машины с 16ГБ памяти и недостаточно быстрым для сложности запросов диском. И есть дикое желание переместить все данные с диска в оперативу. Какие есть способы это сделать?

Это не прод, это домашний комп, где мне с данными надо поработать, сделать графики на основе анализа и забить, так что все негативные стороны для прода отпадают.

Mysql / Percona 5.7

Я думал сделать таблицу с движком MEMORY и портануть туда данные. Но более 8К записей не могу туда запихнуть, возвращает ошибку "table is full"

Увеличивал параметры через файл конфига, не помогает, гугл других вариантов решения проблемы не подсказывает (

Я думал сделать таблицу с движком MEMORY и портануть туда данные. Но более 8К записей не могу туда запихнуть, возвращает ошибку "table is full"

innodb всё равно будет считывать всё с диска при первом доступе, и использовать кэш в памяти при последующих обращениях. копирование данных в MEMORY таблицу, построение индексов (если есть), блокировки на уровне таблиц в MEMORY — зачем это всё?

Ради одного расчёта анализа данных

У меня сейчас там на 100 строках оно 50-70 секунд колбасит, а там нужно 400К перелопатить.

ну так вот этот весь колхоз с копированием в memory по сумме всех накладных расходов только медленнее получится

Таблица А 18М строк Таблица Б 400К строк Нужно: перебирая все строки из таблицы Б, по связному полю смотреть в таблицу А и искать все записи ДО метки времени и отдельно ПОСЛЕ метки времени.

а, ну да. и А в память не влезает, а хочется чтобы Б была всегда в памяти?

Оба влезут

Памяти 16ГБ

Таблицы весят все суммарно 3ГБ

Память при всех мои издевательствах ни разу больше 5ГБ не использовалась

Я пытался для начала хотя бы Б в MEMORY таблицу перекинуть, не хочет больше 7748 записей туда писать и всё тут, увеличиваю tmp_table_size=8G и max_heap_table_size=8G всё равно "Table is full" заладил, как "ПОПКА ДУРАК!" и фиг поймёшь куда ему и чего ему

это скорее всего max_rows при создании таблицы. но быстрее-то не станет. я даже не знаю, с чего начать объяснение. вроде и так всё должно быть очевидно?

То есть ты хочешь сказать, что боттнек не в диске?

@alexey_kopytov ну станет же, если запрос построен так, ЧТо тамм по 5 раз одни и те же данные сканит))))

Диск у меня старичок, ХДД на 10К оборотов рапторовский.

@alexey_kopytov ну станет же, если запрос построен так, ЧТо тамм по 5 раз одни и те же данные сканит))))

4 раза перебирает 18М записей (но через индекс составной) для каждой из 400К строк

так если через индекс, то не перебирает

вот эти 3ГБ нужно во-первых с диска прочитать, а во-вторых чего-то там с ними сделать. можно просто начинать делать, кэшируя прочитанные страницы в памяти. А можно считать _все_ данные, возможно построив при этом индексы с нуля, а потом что-то с ними делать. в чём профит-то?

так если через индекс, то не перебирает

там составной индекс, сначала идёт прямой столбец связи, а потом RANGE по второму столбцу индекса

ну тады тебе с лихвой должно хватить буффер-пула

НА размеры индексов

ну вот, там ещё и индексы есть

которые при копировании в memory нужно ещё перестроить

Я буфферпул ставил 12ГБ, он его не юзает (

В плане в админке написано, что испоьлзование 86-95%, но оперативы не более 5ГБ занято

И то далеко на базой

В плане в админке написано, что испоьлзование 86-95%, но оперативы не более 5ГБ занято

тут ещё и админка какая-то есть...

тут ещё и админка какая-то есть...

mysql workbench

ERROR: S client not available

не знаю, что там за админка и что она пишет. но смотреть нужно на show status like 'Innodb_buffer%';

я на картинке вижу дефолтный innodb_buffer_pool_size (128M), который весь занят

Предлагаю начать думать о праздниках. Я вот салун нашел на диком западе

вот, у @AlexCAD картинки интереснее

а та была скучная

я на картинке вижу дефолтный innodb_buffer_pool_size (128M), который весь занят

Где ты size там рассмотрел?

Где ты size там рассмотрел?

Innodb_buffer_pool_pages_total (8191) * 16384 (размер страницы) ~ 128 M

case closed

Innodb_buffer_pool_pages_total (8191) * 16384 (размер страницы) ~ 128 M

Погоди

Погоди

Ты дай минут 20 что бы он в память с диска зашрузил. Это не быстро

так он ничего не грузит при простое. Прогреть надо))))

А при полном скане он не прогревается?

Нет

За прогрев

сманиваешь...

Отчего происходит игнорирование настроек?

Куда копать?

А рестарт делал?

Делал

Системы или mysql?

Service mysql restart

mysql

Бля, мозги уже набекрень, я апач рестартил, совсем ебанулся в край

?