В целом, на основе успешной отработки pg_dump на данный момент имеется гарантия что данные консистенты?

неа

без чексуммы никогда не будешь уверен

да и с ней не все 100 %

Как-то странно звучит. Получается база не дает гарантии консистентности :)

Думается мне не должно быть так.

а раид спасает думаешь от всего?

А кроме системных индексов на пользовательские тож ругалось?

А кроме системных индексов на пользовательские тож ругалось?

Нет

Думается мне не должно быть так.

Если база запрашивает синхронный I/O и ответ от фс приходит операция I/O завершена, то база подразумивает что данные действительно записаны и ей беспокоится не о чем. Если файловая система не обеспечивает целостность данных, то это проблема фс, а не базы.

но все равно шанс что что не проиндексировал мал вроде

Посмотрел английскую версию текста. Там тоже самое написано. Так что по сути reindex database должен обрабатывать и системные каталоги. Т.е. смысла делать отдельный реиндекс по ним, похоже, нет.

Да неврн

Тогда вопрос остается открытым, почему произошел рецидив. В логах ошибок по файловой системе не видно.

Тогда вопрос остается открытым, почему произошел рецидив. В логах ошибок по файловой системе не видно.

В ее прогоняли через FSCK? Какую файловую систему используете?

используете какой либо RAID?

Там все сложно. Это виртуалка на esxi. Там конечно рейды. Файловая система в самой виртуалке ext4.

Был сбой фс. Его поличили. Пару баз восстановили из бэкапа. Потом все некоторое время крутилось без проблем. Потом возникла первая ситуация, был сделан reindex. Вроде все стало тихо и хорошо, но через 2 дня повторения и опять reindex - щас опять все тихо. С момента сбоя фс и ее лечения больше проблем не наблюдалось с ней.

Чем был обусловлен сбой фс - не понятно. Гугл сказал что проблема по ошибке ( что писала фс) известная, решения нет.

Точнее решение - fsck :)

И с такими вводными вопрос про постгрю? Нормально.

И с такими вводными вопрос про постгрю? Нормально.

Вопрос что с этим делать и почему возникает рецедив с индексами.

ext4 - консистетна после сбоя согласно своим метаданным.

» Вопрос что с этим делать https://clusterhq.com/2014/09/11/file-systems-data-loss-zfs/ https://blogs.oracle.com/bonwick/entry/zfs_end_to_end_data

Ответ: разбираться и чинить.

Zfs не лучший выбор

Со временем все начнёт тупить

если памяти много

Всеравно

я скинул ссылку что есть фс которые обеспечивают консистенотность

ZFS ненативная в виртуалке для базы данных? Смело.

» Со временем все начнёт тупить надо правильно собрать zpool

Ну как хотите конечно

Никак

Здесь вопрос не в файловой системе как таковой — а вопрос, что конкретно происходит в операционной системе конкретной.

Ну да

Практика говорит ненадо zfs

Бенчмарки, сама по себе ZFS отлична.

Практика говорит ненадо zfs

ну наверное у каждого разная практика

Ну ладно

Но ненадо

ну да, про сбой в файловой системе не говорили, если дамп базы восстановили, а не всего кластера допустим, то системный каталог не восстановили, и он оказался поврежденным выходит, хотя почему после реиндексации опять такие же ошибки конечно непонятно пока все равно

По вводной "у меня что-то ломалось, не знаю что, что-то починили, где-то там вот вообще, а теперь индексы, что делать?" — ничего не сказать кроме как "разбираться и чинить".

?

Ext4 рулит

Бенчмарки, сама по себе ZFS отлична.

если сравнивать 1 диск и на нем zfs vs ext4 то exxt4 рулит если сравнивать 90 дисков и у вас есть пару ssd под ZIL и пару под L2ARC у ext4 нет шансов

Xfs тоже ненадо

По вводной "у меня что-то ломалось, не знаю что, что-то починили, где-то там вот вообще, а теперь индексы, что делать?" — ничего не сказать кроме как "разбираться и чинить".

Каламбур это хорошо. Но я и пытаюсь разбираться.

Ну дело хозяйское :-)

ну да, про сбой в файловой системе не говорили, если дамп базы восстановили, а не всего кластера допустим, то системный каталог не восстановили, и он оказался поврежденным выходит, хотя почему после реиндексации опять такие же ошибки конечно непонятно пока все равно

Да. Вопрос про рецидив.

Шансов есть :-)

если сравнивать 1 диск и на нем zfs vs ext4 то exxt4 рулит если сравнивать 90 дисков и у вас есть пару ssd под ZIL и пару под L2ARC у ext4 нет шансов

Справедливое сравнение — накрутить SLC кешей на запись и MLC кешей на чтение, а потом сравнивать с голой FS на жёстких дисках. Справедливо.

если сравнивать 1 диск и на нем zfs vs ext4 то exxt4 рулит если сравнивать 90 дисков и у вас есть пару ssd под ZIL и пару под L2ARC у ext4 нет шансов

да всё зависит от размеров и ресурсов

Предлагаю сравнить двигатель от Boeing 777-300ER с двигателем Toyota Camri.

:-)

Предлагаю сравнить двигатель от Boeing 777-300ER с двигателем Toyota Camri.

?

Я не сравниваю, потому что имел разный геморрой с zfs, xfs, на ссд, хранилах, и прочем сатанизме

:-) ext4

и у вас есть пару ssd под ZIL и пару под L2ARC у ext4 нет шансов — Это прямое сравнение.

Ну это на первые полгода

:-)

При чём одна позиция бустится SSD, а другая — нет. Почему? Про память тоже отличная тема. А давайте отдадим под ARC 128 гигабайт ZFS и сравним с EXT* на 8 гигабайтах памяти всего.

Ой, первое, наверное, будет отлично работать.

Патом начнутся странности

А зачем, блин

Ну ладно, я вообщем фанат ext4

А я вооообщем — ZFS. :)

Ну ладно

Просто при нагрузке оно будет тупить через какое-то время

И ничего не сделать

Вообще

* ну вы можете отдать под zfs и меньше памяти. *просто zfs это COW файловая система, от сюда всякие плюшки в виде снапшотов. по этой же причине она менее производительна на синхронную запись на одном диски, но зато более производительна если у вас их 10-ть * zfs консистена и если она не консистентна ( у вас нет рейда) она это покажет * zfs не использует PageCache, у нее он свой, по данной причине, бэкап с последовательным чтение не испортит вам его и у вас не начнет тупить * zfs действительно надо около 1% свободного места при размере пула более 5тб и около 10% при размере пула до 1тб, чтобы он быстрее выбирал места куда записать новые данные. когда впервые увидел ZFS в году 2006 были действительно там проблемы но вот честно использую ее активно таки с года 2008 и все гуд.

Ну ладно

да согласен

чат про посгрес

А если это прод на 6 слейвах

И больше серверов не дадут

И оно тупит

7 тупящих железяк :-)

зачем вам 6 слейвов?

Критично очень

Простой цифра о 8 знаках

В час :-)

у zfs есть возможность кидать реплику ФС на другие серваки, вот вам вместо слейва

Щас уже там 10

Ага, 10 тер

Сто с чем-то тышь транзакций в минуту

:-)

у zfs есть возможность кидать реплику ФС на другие серваки, вот вам вместо слейва

она будет асинхронная

лучше уж слейв

Ага

Xfs в нагрузке при выгорании плашки памяти в труху развалит базу

В треш просто

Ext4 за этим не замечена

?

ну блин развели холивар :)

А че блин

zfs - хорошая файловая система.

только использовать её не нужно.