@pgsql

Страница 73 из 1062
Konstantin
24.08.2016
12:18:10
?

Да

Айтуар
24.08.2016
12:18:16
на вкус и цвет все ФС разные

Konstantin
24.08.2016
12:18:40
Вкуса крови :-) и нервов

Google
AbiGeuS
24.08.2016
12:19:17
Коллеги, ваше обсуждение конечно занимательно, но все же, почему после переиндексации (которая решила приему с сыпающимися ошибками) произошел рецидив? Есть какие-либо идеи? Да и вообще это нормальная ситуация если postgres при каких-то повреэдениях системного каталога заводится без забот?

Alexey
24.08.2016
12:19:44
Повтор №4: потому что.

Это не юрисдикция Postgres.

Artem
24.08.2016
12:20:11
c точки зрения слона, все в шеколаде

Alexey
24.08.2016
12:20:11
Она вообще не имеет никакого отношения к тому как хранятся данные на диске. Этим занимается ядро и дисковая подсистема.

Artem
24.08.2016
12:21:54
если не доверяете фс то юзайте чексуммы посгреса, либо юзайте фс которая гарантирует консистентность данных

AbiGeuS
24.08.2016
12:21:57
Это все ясно. Но процедура переиндексации на валидной фс решила проблему. Больше проблем с фс не было. А проблема с индексами повторилась.

Phil
24.08.2016
12:27:02
nietzschebrod
24.08.2016
12:34:41
а что нужно?
ext4. Только на пустую кишку, и только с молитвой.

Konstantin
24.08.2016
12:59:34
Дадада

Скорее всего в рейде есть диск на грани помирания

Если поискать то оно найдётся

Google
Konstantin
24.08.2016
13:01:36
Его так не видно для рейда, но пакостит оно именно так

Juriy
24.08.2016
13:02:01
+много

Konstantin
24.08.2016
13:02:14
Почему?

Juriy
24.08.2016
13:03:59
что? я согласен с вашим утверждением :)

у меня было так

Konstantin
24.08.2016
13:04:30
Да эта все вера людей в рейды

Только молитвой бесы изгоняются с рейда :-)

И 10 слейвов

:-)

Самое интересное, что даже 10 рейд не спасает, по какой-то причине временами под нагрузкой начинает сисспу расти

Репакали пару часов назад

Это вот это самое, с диском зомби

Если одна дисковая группа на все lun

Ладно, жить страшно, но весело :-)

Dmitriy
24.08.2016
16:44:39
Вопрос по чексумам: Насколько значительно снижение производительности при включении?

В доке: Enabling checksums may incur a noticeable performance penalty. Есть ли где-то тесты? Стоит ли включать?

nietzschebrod
24.08.2016
16:48:06
вторая ссылка в гугле бенчмарк на 9.4

да и при желании самому запгбенчить можно

Roman
24.08.2016
18:25:33
ext4 не надежнее чем xfs и наоборот по дизайну
Вы - специалист в области файловых систем?

zfs - хорошая файловая система.
Она немного не для того.

Google
Sergey
24.08.2016
18:29:38
Вы - специалист в области файловых систем?
Вот здесь разработчик поливает ext4 нехорошими словами : https://www.patreon.com/bcachefs

Roman
24.08.2016
18:36:03
Вот здесь разработчик поливает ext4 нехорошими словами : https://www.patreon.com/bcachefs
Я с ним согласен. Пока только на xfs нормально работает aio(и даже без o_direct, бгыгы). Правда aio нет в pg, но это другая боль.

Критика ext4 есть и в http://xfs.org/images/d/d1/Xfs-scalability-lca2012.pdf

Sergey
24.08.2016
18:37:24
Дисковый aio - это вообще отдельная головная боль...

Roman
24.08.2016
18:38:46
Дисковый aio - это вообще отдельная головная боль...
Ну вот nginx собранный с file aio на xfs работает. На ext4 можно вляпаться в d-state

Sergey
24.08.2016
18:41:48
Ну вот nginx собранный с file aio на xfs работает. На ext4 можно вляпаться в d-state
Потому и боль. А ещё там с кроссплатформенностью беда, емнип

Roman
24.08.2016
18:46:04
Потому и боль. А ещё там с кроссплатформенностью беда, емнип
Для кроссплатформенности надо думать про posix aio и велосипедить через ld_preload трансляцию в native aio

Alexey
24.08.2016
18:47:48
Пришёл Рома, который пару собак съел на этом — и закрыл срач. :)

ptchol
24.08.2016
18:51:13
никаких пруфов, ничего

Roman
24.08.2016
18:51:48
ptchol
24.08.2016
18:53:26
ext4/nginx есть опыт кеширвоания/доставки видео контента скромным потоком в 50гбит, несколько десятков эджей, с кешами по 500к объектов, за последний год ниразу не вляпывались в dstate

ptchol
24.08.2016
18:57:32
суммарно.

Roman
24.08.2016
18:58:36
И о железе тогда стоит рассказать, а то получится как с графитом, 2млн метрик в секунду и все это работало только потому что raid0 из ssd

суммарно.
А с коробки сколько?

ptchol
24.08.2016
18:59:19
до 2х.

Darafei
24.08.2016
18:59:23
~1000 raspberry pi b смогут раздать без особых проблем

ptchol
24.08.2016
19:00:01
ну мы же про диски и фс, и маленькие чанки контента, с адским рандом ио на диск

Darafei
24.08.2016
19:00:38
насколько маленькие? насколько от них спасёт readahead?

Google
ptchol
24.08.2016
19:01:10
Ты не понимаешь проблему.
ну ка, объясни. желательн ос пруфами

Darafei
24.08.2016
19:01:31
это не маленькие :)

Roman
24.08.2016
19:02:38
ну ка, объясни. желательн ос пруфами
Ок. open(2) может занимать совершенно непредсказуемое время. Та же ситуация и с read/sendfile/splice

ptchol
24.08.2016
19:04:38
пока ты не демонстрируешь глубины понимания d state

расскажи мне про чтение страничек анонимных, или mmap которые к этому приводят, и как это вся завязано на open / sendfile

мне правда интересно понять глубинную механику.

Roman
24.08.2016
19:07:11
ptchol
24.08.2016
19:07:51
не мгновенная но завершаемая, как же мы поймаем d ?

Roman
24.08.2016
19:07:53
пока это происходит, ты не имеешь над этим контроля и ничего с этим сделать не можешь.

ptchol
24.08.2016
19:08:16
с локальной фс ?

наверно гарантия в ио шедулере

такие они конечно ) вяленькие )

Roman
24.08.2016
19:14:37
вот у нас блочное устройство по iscsi и до таргета rtt ~ 200ms и вообще там 2% пакетлос.

ptchol
24.08.2016
19:16:10
погоди, я думал мы говорили про локальные диски и ext4

Roman
24.08.2016
19:16:17
наверно гарантия в ио шедулере
планировщик ничего не сможет сделать с латентностью блочного устройства. и если у тебя seek time ~ 10ms, то сходить к диску - это 10ms

ptchol
24.08.2016
19:16:23
если нет, то я отказываюсь )

Darafei
24.08.2016
19:16:42
vps думают, что это локальные диски :)

Google
Roman
24.08.2016
19:16:43
погоди, я думал мы говорили про локальные диски и ext4
а значения не имеет. вот у тебя 1 sata диск, у которого seek time в 10ms.

ptchol
24.08.2016
19:17:12
конечно не сможет, дело в том что я не очен ьпонимаю как мы на всегда можем словить D на процессе, работающим с локальным диском

Darafei
24.08.2016
19:17:36
bad cluster с десятью попытками перечитывания и 10мс на попытку :3

ptchol
24.08.2016
19:17:51
ну это же не навсегда )

Roman
24.08.2016
19:17:52
это значит, что если твое приложение захотело почитать с диска, а странички нет в page cache, то 10ms ты будешь отдыхать. для обычного приложения это не страшно, а для мультиплексоров вроде nginx - это боль.

ptchol
24.08.2016
19:18:31
вы не отвечаете на мой ответ )

Roman
24.08.2016
19:19:24
ну это же не навсегда )
ещё раз: страницы нет в кеше - твой процесс "залипает" на время пока её не поднимут с диска. aio - это про то, что ты ставишь в очередь к диску запрос и тебе ядро сигналит, что данные можно забирать.

т.е. тебя не снимают с исполнения на время пока всё это происходит.

ptchol
24.08.2016
19:19:55
я может просто что то не так понял, и не хочу выяснять недопонимания "вляпаться в d state" - я понял это как "у нас процесс навсегда залип в d-state и не может никак перейти к следующей операции"

ptchol
24.08.2016
19:22:37
aio threads ?

Artem
24.08.2016
19:22:58
Если у вас проблемы с диском, залипнит пока таймаут на SCSI Операцию не пройдет либо проблемы с файловой системой

ptchol
24.08.2016
19:23:00
это вы про posix glibc вариант чтоли ?

так это ваще не aio это пародия

а бли вы про nginx ) сорян) туплю)

но это как бы не новость Валентин год назад рассказывал про все это зачем для чего и как

Страница 73 из 1062