Всегда текстовый в extended query (этот тот, который с prepare и bind) или я неправильно перевожу...

Тормозят массовые операции. (xfs btree вызывает большое число syscall), и давно уже понятно что менять пора схему хранения. Но при таких объемах это небыстро и решения надо подбирать тщательно

чтобля про xfs и сисколлы ?

Можно, но так же легко промахнутся с их числом. А операции с метаданными в xfs быстрее. Плюс, в xfs сейчас более-менее работает aio

Что значит более-менее работает aio? Мне впринципе не понятно. Разве можно работать с диском асинхронно в линуксе (в одном потоке/процессе)? И причём тут xfs. Вы же не работаете с ней напрямую, у вас есть системные функции в библитеках по работе с диском в ОС. Т.е. интерфейс работы с какой-то конкретной ФС должен быть скрыт для программиста.

чтобля про xfs и сисколлы ?

Генеришь дохулиард файлов... удаляешь четверть... пробуешь писать достаточно интенсивно. Приложение которое пишет файлы процессор в 100... характер нагрузки syscall

мало кто имплементирует бинарный output, к сожалению. а кто имплементируют, те потом давятся кастомными типами :)

Спасибо)

Генеришь дохулиард файлов... удаляешь четверть... пробуешь писать достаточно интенсивно. Приложение которое пишет файлы процессор в 100... характер нагрузки syscall

"характер нагрузки syscall" ? ШТА

Что значит более-менее работает aio? Мне впринципе не понятно. Разве можно работать с диском асинхронно в линуксе (в одном потоке/процессе)? И причём тут xfs. Вы же не работаете с ней напрямую, у вас есть системные функции в библитеках по работе с диском в ОС. Т.е. интерфейс работы с какой-то конкретной ФС должен быть скрыт для программиста.

Почитайте ман на io_submit

Марк, не выебывайся. Сисколы конкретные strace у приложения не показывает - видимо потому что они вызываются процессами xfs

поддерживал многотерабайтное хранилище - да, XFS подходит, но два нюанса 1) всегда надо иметь запас свободного места, иначе разваливается 2) если разваливается, иногда восстановлению не подлежит. хотел попробовал zfs, но сменил профиль деятельности

Генеришь дохулиард файлов... удаляешь четверть... пробуешь писать достаточно интенсивно. Приложение которое пишет файлы процессор в 100... характер нагрузки syscall

у меня XFS. а есть bash-скрипт который покажет как сделать то о чём ты говоришь ? ну... там важно — в одном каталоге файлы или нет. делали ли ты sync и в каких местах

Марк, не выебывайся. Сисколы конкретные strace у приложения не показывает - видимо потому что они вызываются процессами xfs

дальше разговаривать нет смысла.

у меня XFS. а есть bash-скрипт который покажет как сделать то о чём ты говоришь ? ну... там важно — в одном каталоге файлы или нет. делали ли ты sync и в каких местах

Каталогов много. До каждого файла вложенность 13 каталогов

ну замечательно. значит можешь сделать баш-скрипт который воспроизводит проблему? ну... генерит каталоги, а потом удаляет часть и что-то интенсивно пишет....

а то я уж как только не трахал XFS а проблем не обнаружил.

обычно в таких хранилищах основная нагрузка write new file only, and a lot of reads :)

а то я уж как только не трахал XFS а проблем не обнаружил.

у меня вот ceph и понятно на XFS и понятно что там дохулиарда объектов

и более того, красношляп всячески рекомендует именно его

Марк, не выебывайся. Сисколы конкретные strace у приложения не показывает - видимо потому что они вызываются процессами xfs

Сисколлы от фс не зависят. Вот вообще.

ну замечательно. значит можешь сделать баш-скрипт который воспроизводит проблему? ну... генерит каталоги, а потом удаляет часть и что-то интенсивно пишет....

Зачем мне скрипт - у меня система такая есть )). 150 млн объектов. После удаления 27 млн - система сутки работала с LA 4xCPU. При этом RAM не использовала. А потом резко отпустило.

Каталогов много. До каждого файла вложенность 13 каталогов

Зачем так делать?

Зачем мне скрипт - у меня система такая есть )). 150 млн объектов. После удаления 27 млн - система сутки работала с LA 4xCPU. При этом RAM не использовала. А потом резко отпустило.

Ээээ... Какой la был?

Ээээ... Какой la был?

4xCPU - там на тот момемнт кажется 8 ядер было - LA - 32

Щас поищу в истории скрины

4xCPU - там на тот момемнт кажется 8 ядер было - LA - 32

Ну 32. И? Это много?

Для 8 ядер - очень )

Зачем так делать?

чем больше файлов в одном каталоге, тем хуже файловой системе. поэтому обычно делают дробление минимум на три уровня вложенности, а то и более.

Для 8 ядер - очень )

Почему?

чем больше файлов в одном каталоге, тем хуже файловой системе. поэтому обычно делают дробление минимум на три уровня вложенности, а то и более.

Нет

чем больше файлов в одном каталоге, тем хуже файловой системе. поэтому обычно делают дробление минимум на три уровня вложенности, а то и более.

в этом случае перборщили малось :)))

> @pragus Нет что значит нет ?

Почему?

Это означает, что процессору приходит в 4 раза больше задач, чем он может обработать. Ну не знаю хорошо ли это ))

Нет

http://be-n.com/spw/you-can-list-a-million-files-in-a-directory-but-not-with-ls.html

> @pragus Нет что значит нет ?

"нет" означает что ваш тезис неверный

и это лишь одна из статей. де факто под ext4, например, оптимум до 10k файлов в каталоге

Это означает, что процессору приходит в 4 раза больше задач, чем он может обработать. Ну не знаю хорошо ли это ))

Что значит "может обработать" в контексте вытесняющей многозадачности?

эм, неспособность работать ls не означает, что файловой системе плохо

Почитайте ман на io_submit

Да, вижу, аж в 2.5 появилось. Тогда как это от ФС зависит?) Хм, почему я не видел ниодного AIO в ФС с eventloop-ом...

эм, неспособность работать ls не означает, что файловой системе плохо

+много

http://be-n.com/spw/you-can-list-a-million-files-in-a-directory-but-not-with-ls.html

И? Что происходит когда вы набираете в каталоге ls ?

И? Что происходит когда вы набираете в каталоге ls ?

А в какой ФС?

Речь о том, что каталоги в той же XFS организованы как B+trees, поэтому там проблема не так очевидна, как в EXT etc.. Но тем не менее, я и там храню файлы в древовидной структуре. Возможно, смысла уже не столь много, но привычка осталась. В ранних FS доступ к файлу в большом каталоге был крайне медленным.

Что значит "может обработать" в контексте вытесняющей многозадачности?

В контексте многозадачности не скажу - в контексте работы реального приложения - увеличения времени отклика в сотни раз. Причем я не зря написал 4xCPU - увеличение числа CPU никак не влияло на соотношение LA к CPU - на 4х ядрах - LA 16, на 8 - 32, на 16 - 64. При этом iostat говорил о незагруженности дисков

Да, вижу, аж в 2.5 появилось. Тогда как это от ФС зависит?) Хм, почему я не видел ниодного AIO в ФС с eventloop-ом...

Видимо не все ФС реализуют интерфейс асинхронный, т.е. они работают там видимо синхронно.

Можно, но так же легко промахнутся с их числом. А операции с метаданными в xfs быстрее. Плюс, в xfs сейчас более-менее работает aio

aio есть и в ext4 в которой вроде даже раньше появилось.

aio есть и в ext4 в которой вроде даже раньше появилось.

http://www.scylladb.com/2016/02/09/qualifying-filesystems/

А в какой ФС?

от фс не зависит, потому что всё бежит через vfs, которая абстрагирует от конкретной фс.

Речь о том, что каталоги в той же XFS организованы как B+trees, поэтому там проблема не так очевидна, как в EXT etc.. Но тем не менее, я и там храню файлы в древовидной структуре. Возможно, смысла уже не столь много, но привычка осталась. В ранних FS доступ к файлу в большом каталоге был крайне медленным.

что значит "доступ к файлу"? open? stat?

В контексте многозадачности не скажу - в контексте работы реального приложения - увеличения времени отклика в сотни раз. Причем я не зря написал 4xCPU - увеличение числа CPU никак не влияло на соотношение LA к CPU - на 4х ядрах - LA 16, на 8 - 32, на 16 - 64. При этом iostat говорил о незагруженности дисков

98% кандидатов на собеседовании не могут ответить на вопрос "что такое la".

обычно open(r), open(w).

все метаданные были в СУБД, так что ничего иного, кроме как отдачи файлов через nginx обычно не происходило (большАя нагрузка)

98% кандидатов на собеседовании не могут ответить на вопрос "что такое la".

ага особенно когда спрашиваешь почему при использовании NFS оно бывает иногда over 100500

98% кандидатов на собеседовании не могут ответить на вопрос "что такое la".

Так что такое - LA? Мое представление близко к модели трассы и автомобилей. Количество CPU - полосы.

блять. это среднее количество не-спящих процессов

так вот если он застрял на диске или нфс — то он сука не спит

А спящий процесс разве время процессора не потребляет?

блять. это среднее количество не-спящих процессов

на самом деле количество процессов в очереди планировщика )

The global load average is an exponentially decaying average of nr_running + nr_uninterruptible

детали вот тут: http://lxr.free-electrons.com/source/kernel/sched/loadavg.c

садись, пять

детали вот тут: http://lxr.free-electrons.com/source/kernel/sched/loadavg.c

Воу

обычно open(r), open(w).

open может занимать от нескольких десятков нс до бесконечности.

http://www.scylladb.com/2016/02/09/qualifying-filesystems/

отчасти на рекламму походит, aio есть у ext4 другой разговор что оно немного блокирует append. Но! Если что то выполняется асинхронно это ещё не значит что быстро.

время кореллирует с r_await в iostat.

а по всем тестам ext4 лучше

а по всем тестам ext4 лучше

ну каким тестам? как только наступает параллельный доступ к фс - ext4 превращается в тыкву =(

в любом случае теоретические рассуждения меня мало волнуют. было хранилище 800Tb и росло со временем, спустя год стало вполне стабильным, и я занимался другими задачами.

плюс, подарок в виде фиксированного количества айнод.

в любом случае теоретические рассуждения меня мало волнуют. было хранилище 800Tb и росло со временем, спустя год стало вполне стабильным, и я занимался другими задачами.

800Tb на ext4?

xfs, конечно

ну каким тестам? как только наступает параллельный доступ к фс - ext4 превращается в тыкву =(

после внедрения Q-spin locks всё стало куда лучше

разбито по гармошкам 40|80|120Tb, с дублированием данных (это помимо raid10 на самих гармошках)

после внедрения Q-spin locks всё стало куда лучше

ну, они в 4.2 появились.

http://www.phoronix.com/scan.php?page=article&item=4fs-linux-4649&num=1 тут можно глянуть

и если уж сравнивать, то скоро в xfs будет copy on write.

к слову F2FS меня давно интересует

http://www.phoronix.com/scan.php?page=article&item=4fs-linux-4649&num=1 тут можно глянуть

странный тест. почти везде результаты на уровне погрешности.

на эту тему можно много тестов у Майкла найти

к слову есть ещё один интересный показатель

который сильно плох у btrfs/zfs - это сколько тратится ресурсов CPU на деятельность FS

который сильно плох у btrfs/zfs - это сколько тратится ресурсов CPU на деятельность FS

скорость storage - вечность по сравнению с cpu.

скорость storage - вечность по сравнению с cpu.

а на работу системы в целом это влияет особенно при конкурентном доступе

скорость storage - вечность по сравнению с cpu.

у нас тут optane на подходе

у нас тут optane на подходе

и сколько будут стоит 64Тб на нем?

отличный аргумент

отличный аргумент

Решающий я бы сказал. В конечном счете все из-за денег )

какие ваши доказательства?

Ну а что? Если речь о "любой ценой", то есть полностью на ssd системы и машины куда можно воткнуть несколько ТБ оперативки.

и сколько будут стоит 64Тб на нем?

ну не всем нужны 64ТБ... у всех разные потребности.

Ребята, привет. Помогите, пожалуйста, с запросом (не спец) есть таблица category. в этой таблице: name character varying(255) NOT NULL. id integer ... есть таблица goods. в этой таблице: category_id integer нужен запрос чтобы удалить в таблице goods строки, в которых в поле категория указано "Конструкторы" или "Радиоуправляемые игрушки" или "Книги%"

Написать сначало селект, а потом подправить его в делит. И на забыть все завернуть в транзакцию

а зачем в транзакцию?

Чтоб посмотреть, что сделал гавно и откатиться

Select * from goods where category_id in (select id from category where name like 'Книги %' or name='Конструкторы' or name='Радиоуправляемые игрушки')

Как то так

Написать сначало селект, а потом подправить его в делит. И на забыть все завернуть в транзакцию

Человек же написал, что не специалист. Конечно транзакция как раз подойдёт, но вы бы ему ещё бэкап снять посоветовали ))

Vladislav ???? SLASH_CyberPunk, [29.12.16 11:25] Чтоб посмотреть, что сделал гавно и откатиться

Человек же написал, что не специалист. Конечно транзакция как раз подойдёт, но вы бы ему ещё бэкап снять посоветовали ))

Я бы ему вообще не советовал это делать, именно поэтому я запрос и не написал

хорошая идея...