Привет чат!

А можно ли как-то отключить счётчики aggsum?

А то postgres при чтении с диска постоянно в него утыкается 77,77% [kernel] [k] osq_lock 2,45% postgres [.] LWLockAttemptLock 1,70% [kernel] [k] mutex_spin_on_owner 1,52% postgres [.] GetSnapshotData 1,18% postgres [.] LWLockRelease 1,14% [kernel] [k] lz4_decompress_zfs 0,65% postgres [.] heap_page_prune 0,59% [kernel] [k] aggsum_flush_bucket.isra.3 0,49% libc-2.28.so [.] __strcoll_l postgres 1221930/1221930 3372684.555130: cycles: ffffffffa7709fa9 osq_lock ([kernel.kallsyms]) ffffffffa7e920e4 __mutex_lock.isra.5 ([kernel.kallsyms]) ffffffffc2ea5180 aggsum_add ([kernel.kallsyms]) ffffffffc2ea9edd arc_free_data_buf.isra.40 ([kernel.kallsyms]) ffffffffc2eab059 arc_buf_destroy_impl ([kernel.kallsyms]) ffffffffc2eaef6f arc_buf_destroy ([kernel.kallsyms]) ffffffffc2eb7c2e dbuf_destroy ([kernel.kallsyms]) ffffffffc2eb80dc dbuf_evict_one ([kernel.kallsyms]) ffffffffc2eb7ad3 dbuf_rele_and_unlock ([kernel.kallsyms]) ffffffffc2ec1605 dmu_buf_rele_array.part.6 ([kernel.kallsyms]) ffffffffc2ec3ce8 dmu_read_uio_dnode ([kernel.kallsyms]) ffffffffc2ec3d4f dmu_read_uio_dbuf ([kernel.kallsyms]) ffffffffc2f86287 zfs_read ([kernel.kallsyms]) ffffffffc2fab0e1 zpl_read_common_iovec ([kernel.kallsyms]) ffffffffc2fab4da zpl_iter_read ([kernel.kallsyms]) ffffffffa78c4871 new_sync_read ([kernel.kallsyms]) ffffffffa78c70c1 vfs_read ([kernel.kallsyms]) ffffffffa78c74ff ksys_read ([kernel.kallsyms]) ffffffffa760419b do_syscall_64 ([kernel.kallsyms]) ffffffffa80000ad entry_SYSCALL_64_after_hwframe ([kernel.kallsyms]) 7f2310c9f8c2 __libc_read (/usr/lib64/libpthread-2.28.so) 71460b read (inlined) 71460b FileRead (/usr/pgsql-10/bin/postgres)

Версия древняя - 0.8.4, система с 8 NUMA нодами и 192 ядрами в сумме.

@gmelikov , help please if possible. Очень буду благодарен совет ибо вопрос для меня срочный

@gmelikov , help please if possible. Очень буду благодарен совет ибо вопрос для меня срочный

емнип нет, но последние пару месяцев в мастер по ним как раз идёт серия патчей на сильную оптимизацию, например https://github.com/openzfs/zfs/pull/12145

да, я видел фиксы от Александра Мотина

да, я видел фиксы от Александра Мотина

ага, от него

нагрузка всего то до 10KIOPs

Копейки

а система вообще в клинче

а точно ли в это утыкается? pg_stat_activity может чуть больше рассказать - на нумах иногда встречаются весёлые эффекты при хорошей нагрузке.

нума и пг вообще не бро

очень не бро. :)

и чем такие красивые картинки рисуются?)

и чем такие красивые картинки рисуются?)

Приятно видеть использования перфа. Про флеймграфы можно в первоисточнике посмотреть

а точно ли в это утыкается? pg_stat_activity может чуть больше рассказать - на нумах иногда встречаются весёлые эффекты при хорошей нагрузке.

Чтение с диска - 1.2мс, постгресс же читает блок за 22мс. Flamegraph как пруф что в счётчики утыкается

нума и пг вообще не бро

Бро, не Бро, но работает с патчами даже на страшных нума где latency порядка 1мкс. :) тут версия без патчей, latency в пределах 240нс, и проблема больше не в pg, а в ядре linux, точнее zfs. Буду пробовать выбить тестовую прощадку, воспроизвести проблему и пробовать свежие версии. Да и читать код.

Бро, не Бро, но работает с патчами даже на страшных нума где latency порядка 1мкс. :) тут версия без патчей, latency в пределах 240нс, и проблема больше не в pg, а в ядре linux, точнее zfs. Буду пробовать выбить тестовую прощадку, воспроизвести проблему и пробовать свежие версии. Да и читать код.

А если ext3/4 поверх Zvol, или без разницы?

Ну поскольку это из dmu, то думаю что не будет разницы

А если ext3/4 поверх Zvol, или без разницы?

Доп. слой абстракций не всегда хорошее решение

Доп. слой абстракций не всегда хорошее решение

Некоторые жаловались, что в ZFS тормозит именно FS, даже я с таким сталкивался в комплекте с ZoneMinder, в таких случаях zvol+Ext/XFS помогает. Но если на более низком уровне типа DMU, то конечно смысла нет.

Некоторые жаловались, что в ZFS тормозит именно FS, даже я с таким сталкивался в комплекте с ZoneMinder, в таких случаях zvol+Ext/XFS помогает. Но если на более низком уровне типа DMU, то конечно смысла нет.

zeneminder на всем тормозит

zeneminder на всем тормозит

На ZFS сильнее, чем на ext4 over zvol

А кто-нибудь знает хорошую систему видеонаблюдения? Open source под Linux.

zeneminder на всем тормозит

О, не только у меня с zoneminder траблы. У меня он и на zfs и на xfs чудеса тормозов показывал. Перевел все на чистый ext4 поверх lvm и все стало ОК. Я хз почему так, но вот как есть.

А кто-нибудь знает хорошую систему видеонаблюдения? Open source под Linux.

только зонеминдер, других нет, и он не плохой сам по себе

по крайней мере у меня с ним явных проблем нет, а в связке с zm-ninja вообще норм

О, не только у меня с zoneminder траблы. У меня он и на zfs и на xfs чудеса тормозов показывал. Перевел все на чистый ext4 поверх lvm и все стало ОК. Я хз почему так, но вот как есть.

Даже на SSD хотя бы для кэша ZFS?

Даже на SSD хотя бы для кэша ZFS?

Вообще тормозит, основные тормоза видны когда в рабочее время пытаешься просмотреть эвенты, система просто вешается, т.е .он с диска эвент считать не может. Потом выдает ошибку - типа эвента нет. Но на диске он есть и читается. Сменил все на lvm+ext4 и вуаля, ни одной проблемы с просмотром и экспортом. Мистика.

Изначально был xfs, потом я втулил zfs c SLOG-ом на ссд, а потом перевел все на ext4

Вообще тормозит, основные тормоза видны когда в рабочее время пытаешься просмотреть эвенты, система просто вешается, т.е .он с диска эвент считать не может. Потом выдает ошибку - типа эвента нет. Но на диске он есть и читается. Сменил все на lvm+ext4 и вуаля, ни одной проблемы с просмотром и экспортом. Мистика.

А если ext4-> LVM -> ZVol :)

А если ext4-> LVM -> ZVol :)

Да ну нахер =)

:)

Ну хорошо, что нашлось решение, надо будет взять на заметку.

А если ext4-> LVM -> ZVol :)

предлагаю еще с десяток фс внутрь всунуть

у меня было: AFS поверх NTFS поверх NFS поверх ZFS. кто больше?

На ZFS сильнее, чем на ext4 over zvol

думаю стоит потюнить фс

А если ext4-> LVM -> ZVol :)

Хватит уже :)

А если ext4-> LVM -> ZVol :)

ненене, тут вместо ext4 должен стоять бтрфс

ненене, тут вместо ext4 должен стоять бтрфс

И все это поверх нтфс!

вообще, вы все фигней занимаетесь. если в цепочке нет FAT, желательно 16 (но можно и 12) это все не тру

у винта сверх урочные. загрузка 102%

вообще, вы все фигней занимаетесь. если в цепочке нет FAT, желательно 16 (но можно и 12) это все не тру

фат 12))), я такое не застал)), мощь)

я думал там типа всегда на 2 умножение, фат 8 фат 16), не?)

я думал там типа всегда на 2 умножение, фат 8 фат 16), не?)

фат12 это на дискетах было

фат12 это на дискетах было

дискеты застал, понимание что такое файловая система не было тогда))

дискеты, еще лет 10 назад в налоговой требовали)

ну может чуть больше

я к тому, что у планировщика linux есть еще куча параметров и одна смена планировщика ничего в принципе не даст. Например для noop мы можем установить размер очереди 10000, а для deadline только 128 максимум

вернусь к тебе с результатами своих тестов

в файлике результаты моих тестов, если кому интересно. они подтверждают то, что я писал выше - смена планировщика на уровне block device не дает никакого эффекта.

отдельно по поводу параметра nr_requests - как видно из файла в моей системе (CentOS Linux release 8.4.2105) по умолчанию он задан равным 6448, что более чем достаточно для любого устройства кроме nvme диска. изменение этого параметра на, например, 100 не дает никакого эффекта, так как значение параметра aqu-sz при подаче нагрузки не превышает 10. убирать его до 1 не вижу никакого смысла, это ни как не повлияет на количество iops, просто тупо поднимет latency..

фат12 это на дискетах было

Между прочим у флоповода нет АНБшной прошивки, а у печенюх есть дверца по защите от затроянивания загрузчика ;) Его драйвер даже хотели выкинуть из ядра :( Но добавить его вручную нам несложно ...

Фолкс, а есть у кого понимание когда draid подвезут?

Между прочим у флоповода нет АНБшной прошивки, а у печенюх есть дверца по защите от затроянивания загрузчика ;) Его драйвер даже хотели выкинуть из ядра :( Но добавить его вручную нам несложно ...

Кто аналоговый?

Кто аналоговый?

Флоповод же (привод для работы с печенюхами 1.44")

Даже кассетник- и тот цифровой

привет

Флоповод же (привод для работы с печенюхами 1.44")

Никому только не рассказывай. А то смеяться будут

В современных винтах аналога больше чем там

В современных винтах аналога больше чем там

Так суть не в наличии аналога, а в отсутствии сложной микропроцессорной цифры с программами. В современных винтах на борту HDD комп такой мощности, что в него наверно можно запихать даже микро Linux, не говоря уж о закладках для связи через PLC.

Так суть не в наличии аналога, а в отсутствии сложной микропроцессорной цифры с программами. В современных винтах на борту HDD комп такой мощности, что в него наверно можно запихать даже микро Linux, не говоря уж о закладках для связи через PLC.

причем тут мощность до цифры?

CGA были цифровые, а VGA аналоговые

народ, напомните как в фре префетч отключить?

sysctl vfs.zfs.prefetch_disable=0 sysctl: unknown oid 'vfs.zfs.prefetch_disable'

ругается

причем тут мощность до цифры?

1) В FDD никакой сложной цифровой логики уровня on board CPU с прошивками в нем нет. 2) В современных HDD там целый вычислительный центр, которому позавидует телефон 15 летней давности.

1) В FDD никакой сложной цифровой логики уровня on board CPU с прошивками в нем нет. 2) В современных HDD там целый вычислительный центр, которому позавидует телефон 15 летней давности.

ню ню

1) В FDD никакой сложной цифровой логики уровня on board CPU с прошивками в нем нет. 2) В современных HDD там целый вычислительный центр, которому позавидует телефон 15 летней давности.

флопик с винилом перепутал. ниче, бывает.

флопик с винилом перепутал. ниче, бывает.

:)))

Я не про кодирование сигнала для магнитного слоя, а про управление сервоприводом.

Я не про кодирование сигнала для магнитного слоя, а про управление сервоприводом.

вычислительная моща в моторчике?

вычислительная моща в моторчике?

В драйвере на Linux хосте же. По крайне мере так было написано в одной доке, погуглю еще потом.

В драйвере на Linux хосте же. По крайне мере так было написано в одной доке, погуглю еще потом.

и при чем тут аналог или цифра?

и при чем тут аналог или цифра?

Что в самом флоповоде НЕТ прошивок с троянами. По крайне мере в трушных с широким шлейфом, а не современных USB с алишки.