Алексей
он как то работает зараза в полудуплексном режиме, не может одновременно и читать и писать)
Vladislav
George
George
но 100% цпу давать не должен тоже
George
я бы пробовал блок поменьше
Алексей
бакапы
George
тем более lz4 юзать стоит тогда
но в контексте поиска проблемы надо пробовать менять
George
и блок тоже
Vladislav
Vladislav
iotop -o
Как вариант
Vladislav
И
vmstat
Vladislav
Из vmstat колонка wa
Алексей
но там по нулям в этой колонке
Алексей
хотя нет единицы
Алексей
в общем он явно может больше но соптимизирован так что больше не даёт
Алексей
на txg он кладёт ,пишет той же синусоидой во времени - длина волны не поменялась
Georg🎞️🎥
он как то работает зараза в полудуплексном режиме, не может одновременно и читать и писать)
Используем sas диски)))
Алексей
Они умеют в полный дуплекс , и писать и читать 😰
да, но пишет он порциями, а когда пишет, чтение проседает, это прям четко видно
Алексей
причем пишет в пиках аж почти гиг,
Алексей
а читать он так в /dev/null тоже может
Алексей
но одновременно и то и другое у него не случается
Georg🎞️🎥
да, но пишет он порциями, а когда пишет, чтение проседает, это прям четко видно
Я ставил рендер с 5 машин 🤔и выгрузку на сервак - не сказать что сильно все просело тогда
Алексей
писать рендер и копировать с места на место очевидно другой паттерн
Georg🎞️🎥
писать рендер и копировать с места на место очевидно другой паттерн
Ну как … читаешь жирное видео, пересчитываешь его в нежирное и тут же пишешь на сервак , тот же поток файлов, только не жирный ))
С места на место если пульнуть 100 тер думаю знатно будет тупить ))
Vladislav
да, но пишет он порциями, а когда пишет, чтение проседает, это прям четко видно
Это обычно связано с тем, что tgx пытается записаться на диски и стопает запись
Алексей
Это обычно связано с тем, что tgx пытается записаться на диски и стопает запись
да, понятно, но почему он кладет на tgx_timeout?
Vladislav
да, но пишет он порциями, а когда пишет, чтение проседает, это прям четко видно
Кстати, а у тебя как диски распределены? Именно по портам
Алексей
Кстати, а у тебя как диски распределены? Именно по портам
даже и не знаю как сказать. слегка в перемешку
Ортонормированная
хочу делать снэпшоты постгреса и уметь с них быстро восстанавливаться
пишут вроде что снэпшот атомарный
но у постгреса не все сразу записывается на диск
могу ли я базу под нагрузкой снэпшотить? насколько будет корректно потом восстановление
Denis
George
Vladislav
хочу делать снэпшоты постгреса и уметь с них быстро восстанавливаться
пишут вроде что снэпшот атомарный
но у постгреса не все сразу записывается на диск
могу ли я базу под нагрузкой снэпшотить? насколько будет корректно потом восстановление
Отсюда
https://t.me/ITRadiosu_chat/60302
И до сюда
https://t.me/ITRadiosu_chat/61029
Vladislav
Читать много, местами флуд
Ортонормированная
Отсюда
https://t.me/ITRadiosu_chat/60302
И до сюда
https://t.me/ITRadiosu_chat/61029
круто а вот в postgres есть pg_start_backup
оно разве не поможет?
Roman
Отсюда
https://t.me/ITRadiosu_chat/60302
И до сюда
https://t.me/ITRadiosu_chat/61029
Сейчас бы снапшоты ВМ сравнивать со снапшотами на уровне zfs.
Ортонормированная
Сейчас бы снапшоты ВМ сравнивать со снапшотами на уровне zfs.
в вм помоему и оперативка должна снэпшотится? но по идее база в вм будет медленная?
Roman
Отсюда
https://t.me/ITRadiosu_chat/60302
И до сюда
https://t.me/ITRadiosu_chat/61029
не обсуждение, а постная херота, ей богу.
Ортонормированная
снапшот + чекпоинт должно быть стабильно
а вот почему так? Можно как-то где-то получить какие-то гарантии
Vladislav
Сейчас бы снапшоты ВМ сравнивать со снапшотами на уровне zfs.
Конечно, снапшот ВМ хотя бы можно подготовить, а в случае ZFS просто оторвали сторадж
Ivan
в каком порядке? нужен start_backup?
чекпоинты и так по дефолту делаются часто. в случае если даже снапшот окажется битым, то можно до чекпоинта откатить транзакции.
Ivan
хотя без безумных оптимизаций бд снапшот не должен оказаться битым
Roman
а что думаете вы?
Что блоки zfs пишет атомарно на диск, что fsync для пг или прошел или нет, никакой частичной записи нет.
Т.е делая снапшот на уровне зфс мы получаем полноценно записанные данные на фс, но важное условие: в снапшоте должны быть все файлы бд и wal тоже.
вот тут пишут, что не нужно делать start_backup
https://postgrespro.ru/list/id/8B1637E3-3FC8-450A-9E7C-5035417C2C48@likeness.com#head
Roman
Roman
Вот тут целую ферму тестовых и не только бд можно из снапшотов разворачивать.
https://github.com/postgres-ai/database-lab-engine
Vladislav
Это не так работает.
Так и работает. Снапшот всегда = оторвали сторадж у процесса. Без подготовки БД к этому - разницы между снапшотом и дёрнули питание нет
Vladislav
Если постгре на zfs переживает что у него дёрнули питание, то и снапшот переживет, тут согласен
Vladislav
Если есть автоматизированный процесс проверки консистентности раз в неделю/после бэкапов, то ок
Roman
Δαρθ
Если постгре на zfs переживает что у него дёрнули питание, то и снапшот переживет, тут согласен
Ну обычно дёрг питания поддерживается журналированием в логе, а снапшоты?
Δαρθ
в логе ФС в смысле
Δαρθ
иначе на каждую синхр запись надо отписывать всё вплоть до суперблока
Δαρθ
ZIL
Δαρθ
сихронные записи как минимум
Vladislav
Это немного не журнал, потому что журнал скажет "ну, у меня что-то записалось, но куда и что я без понятия, ищи в lost+found"
Vladislav
Где-то уже было про в деталях тут, момент найду
Vladislav
https://docs.oracle.com/cd/E19120-01/open.solaris/817-2271/gaypi/index.html
Roman
Vladislav
@lvdmhm