@pgsql

Страница 72 из 1062
AbiGeuS
24.08.2016
10:58:07
В целом, на основе успешной отработки pg_dump на данный момент имеется гарантия что данные консистенты?

Айтуар
24.08.2016
10:59:24
неа

без чексуммы никогда не будешь уверен

да и с ней не все 100 %

Google
AbiGeuS
24.08.2016
11:01:42
Как-то странно звучит. Получается база не дает гарантии консистентности :)

Думается мне не должно быть так.

Айтуар
24.08.2016
11:06:17
а раид спасает думаешь от всего?

Vadim
24.08.2016
11:07:18
А кроме системных индексов на пользовательские тож ругалось?

Artem
24.08.2016
11:17:08
Думается мне не должно быть так.
Если база запрашивает синхронный I/O и ответ от фс приходит операция I/O завершена, то база подразумивает что данные действительно записаны и ей беспокоится не о чем. Если файловая система не обеспечивает целостность данных, то это проблема фс, а не базы.

AbiGeuS
24.08.2016
11:26:57
но все равно шанс что что не проиндексировал мал вроде
Посмотрел английскую версию текста. Там тоже самое написано. Так что по сути reindex database должен обрабатывать и системные каталоги. Т.е. смысла делать отдельный реиндекс по ним, похоже, нет.

Vadim
24.08.2016
11:27:39
Да неврн

AbiGeuS
24.08.2016
11:28:51
Тогда вопрос остается открытым, почему произошел рецидив. В логах ошибок по файловой системе не видно.

Artem
24.08.2016
11:40:15
используете какой либо RAID?

AbiGeuS
24.08.2016
11:46:13
Там все сложно. Это виртуалка на esxi. Там конечно рейды. Файловая система в самой виртуалке ext4.

Был сбой фс. Его поличили. Пару баз восстановили из бэкапа. Потом все некоторое время крутилось без проблем. Потом возникла первая ситуация, был сделан reindex. Вроде все стало тихо и хорошо, но через 2 дня повторения и опять reindex - щас опять все тихо. С момента сбоя фс и ее лечения больше проблем не наблюдалось с ней.

Google
AbiGeuS
24.08.2016
11:51:19
Чем был обусловлен сбой фс - не понятно. Гугл сказал что проблема по ошибке ( что писала фс) известная, решения нет.

Точнее решение - fsck :)

Alexey
24.08.2016
11:53:26
И с такими вводными вопрос про постгрю? Нормально.

AbiGeuS
24.08.2016
11:54:17
И с такими вводными вопрос про постгрю? Нормально.
Вопрос что с этим делать и почему возникает рецедив с индексами.

Artem
24.08.2016
11:54:31
ext4 - консистетна после сбоя согласно своим метаданным.

» Вопрос что с этим делать https://clusterhq.com/2014/09/11/file-systems-data-loss-zfs/ https://blogs.oracle.com/bonwick/entry/zfs_end_to_end_data

Alexey
24.08.2016
11:55:06
Ответ: разбираться и чинить.

Konstantin
24.08.2016
11:56:04
Zfs не лучший выбор

Со временем все начнёт тупить

Айтуар
24.08.2016
11:56:24
если памяти много

Konstantin
24.08.2016
11:56:30
Всеравно

Artem
24.08.2016
11:56:32
я скинул ссылку что есть фс которые обеспечивают консистенотность

Alexey
24.08.2016
11:56:34
ZFS ненативная в виртуалке для базы данных? Смело.

Artem
24.08.2016
11:56:51
» Со временем все начнёт тупить надо правильно собрать zpool

Konstantin
24.08.2016
11:56:54
Ну как хотите конечно

Никак

Alexey
24.08.2016
11:57:04
Здесь вопрос не в файловой системе как таковой — а вопрос, что конкретно происходит в операционной системе конкретной.

Konstantin
24.08.2016
11:57:15
Ну да

Практика говорит ненадо zfs

Alexey
24.08.2016
11:57:48
Бенчмарки, сама по себе ZFS отлична.

Google
Artem
24.08.2016
11:57:56
Практика говорит ненадо zfs
ну наверное у каждого разная практика

Konstantin
24.08.2016
11:57:58
Ну ладно

Но ненадо

Vadim
24.08.2016
11:58:13
ну да, про сбой в файловой системе не говорили, если дамп базы восстановили, а не всего кластера допустим, то системный каталог не восстановили, и он оказался поврежденным выходит, хотя почему после реиндексации опять такие же ошибки конечно непонятно пока все равно

Alexey
24.08.2016
11:58:15
По вводной "у меня что-то ломалось, не знаю что, что-то починили, где-то там вот вообще, а теперь индексы, что делать?" — ничего не сказать кроме как "разбираться и чинить".

Konstantin
24.08.2016
11:58:26
?

Ext4 рулит

Artem
24.08.2016
11:58:58
Бенчмарки, сама по себе ZFS отлична.
если сравнивать 1 диск и на нем zfs vs ext4 то exxt4 рулит если сравнивать 90 дисков и у вас есть пару ssd под ZIL и пару под L2ARC у ext4 нет шансов

Konstantin
24.08.2016
11:59:00
Xfs тоже ненадо

Konstantin
24.08.2016
11:59:46
Ну дело хозяйское :-)

Konstantin
24.08.2016
12:00:10
Шансов есть :-)

Alexey
24.08.2016
12:00:16
если сравнивать 1 диск и на нем zfs vs ext4 то exxt4 рулит если сравнивать 90 дисков и у вас есть пару ssd под ZIL и пару под L2ARC у ext4 нет шансов
Справедливое сравнение — накрутить SLC кешей на запись и MLC кешей на чтение, а потом сравнивать с голой FS на жёстких дисках. Справедливо.

Alexey
24.08.2016
12:00:43
Предлагаю сравнить двигатель от Boeing 777-300ER с двигателем Toyota Camri.

Konstantin
24.08.2016
12:00:50
:-)

Konstantin
24.08.2016
12:01:50
Я не сравниваю, потому что имел разный геморрой с zfs, xfs, на ссд, хранилах, и прочем сатанизме

:-) ext4

Google
Alexey
24.08.2016
12:02:10
и у вас есть пару ssd под ZIL и пару под L2ARC у ext4 нет шансов — Это прямое сравнение.

Konstantin
24.08.2016
12:02:37
Ну это на первые полгода

:-)

Alexey
24.08.2016
12:02:57
При чём одна позиция бустится SSD, а другая — нет. Почему? Про память тоже отличная тема. А давайте отдадим под ARC 128 гигабайт ZFS и сравним с EXT* на 8 гигабайтах памяти всего.

Ой, первое, наверное, будет отлично работать.

Konstantin
24.08.2016
12:03:09
Патом начнутся странности

А зачем, блин

Ну ладно, я вообщем фанат ext4

Alexey
24.08.2016
12:05:47
А я вооообщем — ZFS. :)

Konstantin
24.08.2016
12:06:00
Ну ладно

Просто при нагрузке оно будет тупить через какое-то время

И ничего не сделать

Вообще

Artem
24.08.2016
12:07:41
* ну вы можете отдать под zfs и меньше памяти. *просто zfs это COW файловая система, от сюда всякие плюшки в виде снапшотов. по этой же причине она менее производительна на синхронную запись на одном диски, но зато более производительна если у вас их 10-ть * zfs консистена и если она не консистентна ( у вас нет рейда) она это покажет * zfs не использует PageCache, у нее он свой, по данной причине, бэкап с последовательным чтение не испортит вам его и у вас не начнет тупить * zfs действительно надо около 1% свободного места при размере пула более 5тб и около 10% при размере пула до 1тб, чтобы он быстрее выбирал места куда записать новые данные. когда впервые увидел ZFS в году 2006 были действительно там проблемы но вот честно использую ее активно таки с года 2008 и все гуд.

Konstantin
24.08.2016
12:07:58
Ну ладно

Artem
24.08.2016
12:08:11
да согласен

чат про посгрес

Konstantin
24.08.2016
12:08:31
А если это прод на 6 слейвах

И больше серверов не дадут

И оно тупит

Google
Konstantin
24.08.2016
12:09:22
7 тупящих железяк :-)

Айтуар
24.08.2016
12:09:25
зачем вам 6 слейвов?

Konstantin
24.08.2016
12:09:37
Критично очень

Простой цифра о 8 знаках

В час :-)

Айтуар
24.08.2016
12:10:49
у zfs есть возможность кидать реплику ФС на другие серваки, вот вам вместо слейва

Konstantin
24.08.2016
12:10:54
Щас уже там 10

Ага, 10 тер

Сто с чем-то тышь транзакций в минуту

:-)

Konstantin
24.08.2016
12:13:17
Ага

Xfs в нагрузке при выгорании плашки памяти в труху развалит базу

В треш просто

Ext4 за этим не замечена

?

Artem
24.08.2016
12:16:51
ну блин развели холивар :)

Konstantin
24.08.2016
12:17:16
А че блин

nietzschebrod
24.08.2016
12:17:58
zfs - хорошая файловая система.

только использовать её не нужно.

Страница 72 из 1062