
Konstantin
24.08.2016
12:18:10
?
Да

Айтуар
24.08.2016
12:18:16
на вкус и цвет все ФС разные

Konstantin
24.08.2016
12:18:40
Вкуса крови :-) и нервов

Google

AbiGeuS
24.08.2016
12:19:17
Коллеги, ваше обсуждение конечно занимательно, но все же, почему после переиндексации (которая решила приему с сыпающимися ошибками) произошел рецидив? Есть какие-либо идеи? Да и вообще это нормальная ситуация если postgres при каких-то повреэдениях системного каталога заводится без забот?

Alexey
24.08.2016
12:19:44
Повтор №4: потому что.
Это не юрисдикция Postgres.

Artem
24.08.2016
12:20:11
c точки зрения слона, все в шеколаде

Alexey
24.08.2016
12:20:11
Она вообще не имеет никакого отношения к тому как хранятся данные на диске. Этим занимается ядро и дисковая подсистема.

Artem
24.08.2016
12:21:54
если не доверяете фс то юзайте чексуммы посгреса, либо юзайте фс которая гарантирует консистентность данных

AbiGeuS
24.08.2016
12:21:57
Это все ясно. Но процедура переиндексации на валидной фс решила проблему. Больше проблем с фс не было. А проблема с индексами повторилась.

Phil
24.08.2016
12:27:02

Vadim
24.08.2016
12:29:40

nietzschebrod
24.08.2016
12:34:41
а что нужно?
ext4. Только на пустую кишку, и только с молитвой.

Konstantin
24.08.2016
12:59:34
Дадада
Скорее всего в рейде есть диск на грани помирания
Если поискать то оно найдётся

Google

Konstantin
24.08.2016
13:01:36
Его так не видно для рейда, но пакостит оно именно так

Juriy
24.08.2016
13:02:01
+много

Konstantin
24.08.2016
13:02:14
Почему?

Juriy
24.08.2016
13:03:59
что? я согласен с вашим утверждением :)
у меня было так

Konstantin
24.08.2016
13:04:30
Да эта все вера людей в рейды
Только молитвой бесы изгоняются с рейда :-)
И 10 слейвов
:-)
Самое интересное, что даже 10 рейд не спасает, по какой-то причине временами под нагрузкой начинает сисспу расти
Репакали пару часов назад
Это вот это самое, с диском зомби
Если одна дисковая группа на все lun
Ладно, жить страшно, но весело :-)

Dmitriy
24.08.2016
16:44:39
Вопрос по чексумам: Насколько значительно снижение производительности при включении?
В доке: Enabling checksums may incur a noticeable performance penalty.
Есть ли где-то тесты? Стоит ли включать?

nietzschebrod
24.08.2016
16:48:06
вторая ссылка в гугле бенчмарк на 9.4
да и при желании самому запгбенчить можно

Roman
24.08.2016
18:25:33

Google

Sergey
24.08.2016
18:29:38

Roman
24.08.2016
18:36:03
Критика ext4 есть и в http://xfs.org/images/d/d1/Xfs-scalability-lca2012.pdf

Sergey
24.08.2016
18:37:24
Дисковый aio - это вообще отдельная головная боль...

Roman
24.08.2016
18:38:46

Sergey
24.08.2016
18:41:48

Roman
24.08.2016
18:46:04

Alexey
24.08.2016
18:47:48
Пришёл Рома, который пару собак съел на этом — и закрыл срач. :)

ptchol
24.08.2016
18:51:13
никаких пруфов, ничего

Roman
24.08.2016
18:51:48

ptchol
24.08.2016
18:53:26
ext4/nginx есть опыт кеширвоания/доставки видео контента скромным потоком в 50гбит, несколько десятков эджей, с кешами по 500к объектов, за последний год ниразу не вляпывались в dstate

Roman
24.08.2016
18:56:43

ptchol
24.08.2016
18:57:32
суммарно.

Roman
24.08.2016
18:58:36
И о железе тогда стоит рассказать, а то получится как с графитом, 2млн метрик в секунду и все это работало только потому что raid0 из ssd

ptchol
24.08.2016
18:59:19
до 2х.

Darafei
24.08.2016
18:59:23
~1000 raspberry pi b смогут раздать без особых проблем

ptchol
24.08.2016
19:00:01
ну мы же про диски и фс, и маленькие чанки контента, с адским рандом ио на диск

Darafei
24.08.2016
19:00:38
насколько маленькие? насколько от них спасёт readahead?

Google

Roman
24.08.2016
19:00:54

ptchol
24.08.2016
19:01:10

Darafei
24.08.2016
19:01:31
это не маленькие :)

Roman
24.08.2016
19:02:38

ptchol
24.08.2016
19:04:38
пока ты не демонстрируешь глубины понимания d state
расскажи мне про чтение страничек анонимных, или mmap которые к этому приводят, и как это вся завязано на open / sendfile
мне правда интересно понять глубинную механику.

Roman
24.08.2016
19:07:11

ptchol
24.08.2016
19:07:51
не мгновенная но завершаемая, как же мы поймаем d ?

Roman
24.08.2016
19:07:53
пока это происходит, ты не имеешь над этим контроля и ничего с этим сделать не можешь.

ptchol
24.08.2016
19:08:16
с локальной фс ?
наверно гарантия в ио шедулере
такие они конечно ) вяленькие )

Roman
24.08.2016
19:14:37
вот у нас блочное устройство по iscsi и до таргета rtt ~ 200ms и вообще там 2% пакетлос.

ptchol
24.08.2016
19:16:10
погоди, я думал мы говорили про локальные диски и ext4

Roman
24.08.2016
19:16:17
наверно гарантия в ио шедулере
планировщик ничего не сможет сделать с латентностью блочного устройства. и если у тебя seek time ~ 10ms, то сходить к диску - это 10ms

ptchol
24.08.2016
19:16:23
если нет, то я отказываюсь )

Darafei
24.08.2016
19:16:42
vps думают, что это локальные диски :)

Google

Roman
24.08.2016
19:16:43

ptchol
24.08.2016
19:17:12
конечно не сможет, дело в том что я не очен ьпонимаю как мы на всегда можем словить D на процессе, работающим с локальным диском

Darafei
24.08.2016
19:17:36
bad cluster с десятью попытками перечитывания и 10мс на попытку :3

ptchol
24.08.2016
19:17:51
ну это же не навсегда )

Roman
24.08.2016
19:17:52
это значит, что если твое приложение захотело почитать с диска, а странички нет в page cache, то 10ms ты будешь отдыхать. для обычного приложения это не страшно, а для мультиплексоров вроде nginx - это боль.

ptchol
24.08.2016
19:18:31
вы не отвечаете на мой ответ )

Roman
24.08.2016
19:19:24
ну это же не навсегда )
ещё раз: страницы нет в кеше - твой процесс "залипает" на время пока её не поднимут с диска. aio - это про то, что ты ставишь в очередь к диску запрос и тебе ядро сигналит, что данные можно забирать.
т.е. тебя не снимают с исполнения на время пока всё это происходит.

ptchol
24.08.2016
19:19:55
я может просто что то не так понял, и не хочу выяснять недопонимания "вляпаться в d state" - я понял это как "у нас процесс навсегда залип в d-state и не может никак перейти к следующей операции"

Roman
24.08.2016
19:20:44

ptchol
24.08.2016
19:22:37
aio threads ?

Artem
24.08.2016
19:22:58
Если у вас проблемы с диском, залипнит пока таймаут на SCSI Операцию не пройдет либо проблемы с файловой системой

ptchol
24.08.2016
19:23:00
это вы про posix glibc вариант чтоли ?
так это ваще не aio это пародия
а бли вы про nginx ) сорян) туплю)
но это как бы не новость Валентин год назад рассказывал про все это зачем для чего и как