?

Да

на вкус и цвет все ФС разные

Вкуса крови :-) и нервов

Коллеги, ваше обсуждение конечно занимательно, но все же, почему после переиндексации (которая решила приему с сыпающимися ошибками) произошел рецидив? Есть какие-либо идеи? Да и вообще это нормальная ситуация если postgres при каких-то повреэдениях системного каталога заводится без забот?

Повтор №4: потому что.

Это не юрисдикция Postgres.

c точки зрения слона, все в шеколаде

Она вообще не имеет никакого отношения к тому как хранятся данные на диске. Этим занимается ядро и дисковая подсистема.

если не доверяете фс то юзайте чексуммы посгреса, либо юзайте фс которая гарантирует консистентность данных

Это все ясно. Но процедура переиндексации на валидной фс решила проблему. Больше проблем с фс не было. А проблема с индексами повторилась.

только использовать её не нужно.

а что нужно?

Коллеги, ваше обсуждение конечно занимательно, но все же, почему после переиндексации (которая решила приему с сыпающимися ошибками) произошел рецидив? Есть какие-либо идеи? Да и вообще это нормальная ситуация если postgres при каких-то повреэдениях системного каталога заводится без забот?

при каких-то заведется, тем более только индекс, при повреждении имено данных не заведется наверно

а что нужно?

ext4. Только на пустую кишку, и только с молитвой.

Дадада

Скорее всего в рейде есть диск на грани помирания

Если поискать то оно найдётся

Его так не видно для рейда, но пакостит оно именно так

+много

Почему?

что? я согласен с вашим утверждением :)

у меня было так

Да эта все вера людей в рейды

Только молитвой бесы изгоняются с рейда :-)

И 10 слейвов

:-)

Самое интересное, что даже 10 рейд не спасает, по какой-то причине временами под нагрузкой начинает сисспу расти

Репакали пару часов назад

Это вот это самое, с диском зомби

Если одна дисковая группа на все lun

Ладно, жить страшно, но весело :-)

Вопрос по чексумам: Насколько значительно снижение производительности при включении?

В доке: Enabling checksums may incur a noticeable performance penalty. Есть ли где-то тесты? Стоит ли включать?

вторая ссылка в гугле бенчмарк на 9.4

да и при желании самому запгбенчить можно

ext4 не надежнее чем xfs и наоборот по дизайну

Вы - специалист в области файловых систем?

zfs - хорошая файловая система.

Она немного не для того.

Вы - специалист в области файловых систем?

Вот здесь разработчик поливает ext4 нехорошими словами : https://www.patreon.com/bcachefs

Вот здесь разработчик поливает ext4 нехорошими словами : https://www.patreon.com/bcachefs

Я с ним согласен. Пока только на xfs нормально работает aio(и даже без o_direct, бгыгы). Правда aio нет в pg, но это другая боль.

Критика ext4 есть и в http://xfs.org/images/d/d1/Xfs-scalability-lca2012.pdf

Дисковый aio - это вообще отдельная головная боль...

Дисковый aio - это вообще отдельная головная боль...

Ну вот nginx собранный с file aio на xfs работает. На ext4 можно вляпаться в d-state

Ну вот nginx собранный с file aio на xfs работает. На ext4 можно вляпаться в d-state

Потому и боль. А ещё там с кроссплатформенностью беда, емнип

Потому и боль. А ещё там с кроссплатформенностью беда, емнип

Для кроссплатформенности надо думать про posix aio и велосипедить через ld_preload трансляцию в native aio

Пришёл Рома, который пару собак съел на этом — и закрыл срач. :)

Я с ним согласен. Пока только на xfs нормально работает aio(и даже без o_direct, бгыгы). Правда aio нет в pg, но это другая боль.

а я не согласен, я могу также сказать что его система гавно а ext4 все зашибись

никаких пруфов, ничего

а я не согласен, я могу также сказать что его система гавно а ext4 все зашибись

Так может сказать даже алкоголик Федор

ext4/nginx есть опыт кеширвоания/доставки видео контента скромным потоком в 50гбит, несколько десятков эджей, с кешами по 500к объектов, за последний год ниразу не вляпывались в dstate

ext4/nginx есть опыт кеширвоания/доставки видео контента скромным потоком в 50гбит, несколько десятков эджей, с кешами по 500к объектов, за последний год ниразу не вляпывались в dstate

Оох... Стоит начать с того, что эти 50гбит - это агрегированная полоса? Или 50гбит с одной коробки?

суммарно.

И о железе тогда стоит рассказать, а то получится как с графитом, 2млн метрик в секунду и все это работало только потому что raid0 из ssd

суммарно.

А с коробки сколько?

до 2х.

~1000 raspberry pi b смогут раздать без особых проблем

ну мы же про диски и фс, и маленькие чанки контента, с адским рандом ио на диск

насколько маленькие? насколько от них спасёт readahead?

ну мы же про диски и фс, и маленькие чанки контента, с адским рандом ио на диск

Ты не понимаешь проблему.

насколько маленькие? насколько от них спасёт readahead?

150кб-8мб

Ты не понимаешь проблему.

ну ка, объясни. желательн ос пруфами

это не маленькие :)

ну ка, объясни. желательн ос пруфами

Ок. open(2) может занимать совершенно непредсказуемое время. Та же ситуация и с read/sendfile/splice

пока ты не демонстрируешь глубины понимания d state

расскажи мне про чтение страничек анонимных, или mmap которые к этому приводят, и как это вся завязано на open / sendfile

мне правда интересно понять глубинную механику.

расскажи мне про чтение страничек анонимных, или mmap которые к этому приводят, и как это вся завязано на open / sendfile

ну как бы поднятие страничек с диска - не мгновенная операция

не мгновенная но завершаемая, как же мы поймаем d ?

пока это происходит, ты не имеешь над этим контроля и ничего с этим сделать не можешь.

не мгновенная но завершаемая, как же мы поймаем d ?

а где гарантия, что завершаемая?

с локальной фс ?

наверно гарантия в ио шедулере

такие они конечно ) вяленькие )

вот у нас блочное устройство по iscsi и до таргета rtt ~ 200ms и вообще там 2% пакетлос.

погоди, я думал мы говорили про локальные диски и ext4

наверно гарантия в ио шедулере

планировщик ничего не сможет сделать с латентностью блочного устройства. и если у тебя seek time ~ 10ms, то сходить к диску - это 10ms

если нет, то я отказываюсь )

vps думают, что это локальные диски :)

погоди, я думал мы говорили про локальные диски и ext4

а значения не имеет. вот у тебя 1 sata диск, у которого seek time в 10ms.

конечно не сможет, дело в том что я не очен ьпонимаю как мы на всегда можем словить D на процессе, работающим с локальным диском

bad cluster с десятью попытками перечитывания и 10мс на попытку :3

ну это же не навсегда )

это значит, что если твое приложение захотело почитать с диска, а странички нет в page cache, то 10ms ты будешь отдыхать. для обычного приложения это не страшно, а для мультиплексоров вроде nginx - это боль.

вы не отвечаете на мой ответ )

ну это же не навсегда )

ещё раз: страницы нет в кеше - твой процесс "залипает" на время пока её не поднимут с диска. aio - это про то, что ты ставишь в очередь к диску запрос и тебе ядро сигналит, что данные можно забирать.

т.е. тебя не снимают с исполнения на время пока всё это происходит.

я может просто что то не так понял, и не хочу выяснять недопонимания "вляпаться в d state" - я понял это как "у нас процесс навсегда залип в d-state и не может никак перейти к следующей операции"

я может просто что то не так понял, и не хочу выяснять недопонимания "вляпаться в d state" - я понял это как "у нас процесс навсегда залип в d-state и не может никак перейти к следующей операции"

ну залип на 10ms. ты глазом не увидишь, а на нагрузке это будет заметно. почитай, зачем в nginx сделали aio threads

aio threads ?

Если у вас проблемы с диском, залипнит пока таймаут на SCSI Операцию не пройдет либо проблемы с файловой системой

это вы про posix glibc вариант чтоли ?

так это ваще не aio это пародия

а бли вы про nginx ) сорян) туплю)

но это как бы не новость Валентин год назад рассказывал про все это зачем для чего и как