так вот, если у тебя i/o будет больше чем max_sectors_kb, то запрос побьётся и попадёт в очередь устройства уже в виде нескольких
ну. тоесть линукс потенциально копит запросы чтобы потом протолкнуть их в диск всеё пачкой. верно ?
Mark ☢️
Mark ☢️
и копилки эти по-процессно. верно ?
Viktor
а из того что пригодится в цефе ?
От нагрузки зависит, к примеру sas передаёт в дуплексе данные, в случае больших массивов может быть полезно, не блокирует порт 1 устройством в случае использования експандеров
Roman
ну. тоесть линукс потенциально копит запросы чтобы потом протолкнуть их в диск всеё пачкой. верно ?
он копит в своей очереди
Viktor
А вообще начните с вики, там для затравки немного расписано
Mark ☢️
От нагрузки зависит, к примеру sas передаёт в дуплексе данные, в случае больших массивов может быть полезно, не блокирует порт 1 устройством в случае использования експандеров
экспандеров нет (у меня) нагрузка в основном на запись.
Roman
экспандеров нет (у меня) нагрузка в основном на запись.
я предлагаю подумать над относительно простым сценарием: у тебя аппаратный рейд и пачка дисков с ncq. у рейда будет tcq с глубиной очерди в 255 команд + очереди ncq в дисках. + очередь в linux к блочному устройству рейда.
Mark ☢️
Mark ☢️
у меня рэйдов нет и не планируется
Mark ☢️
будут по 4 диска в ноде
Mark ☢️
под цеф
Mark ☢️
а я и забил. вопрос был про NCQ и полезен ли он в цефе.
Viktor
пока не станет много или/и диски не станут БЫСТРЫМИ тебе sas не нужен
Mark ☢️
и самое важное — как проверить по факту диск занимается тем самым прописыванием нескольких секторов за проворот или нет
Mark ☢️
пока не станет много или/и диски не станут БЫСТРЫМИ тебе sas не нужен
мне нужно собрать из говна и палок. но всё же, в говне поискать орешки
Mark ☢️
кароче.
Mark ☢️
как проверить NCQ в деле ? (измерить тоесть)
Mark ☢️
а стоп.
Mark ☢️
погодите.
Mark ☢️
погодите.
Mark ☢️
а сколько сата диск секторов (или команд?) может одновременно делать? все которые в его кэше набрались?
Roman
Roman
смотри, у тебя сколько время позиционирования башки?
Mark ☢️
ну допустим, Х
Viktor
Viktor
секторов = кол-ву головок
Mark ☢️
одновременно - 1
а как же тот самый чёртов NCQ который позволяет за проворот до 32 секторов писать
Mark ☢️
типа
Roman
проблема в том, что время позиционирования неприлично велико
Mark ☢️
так. и чего
Viktor
он позволяет собрать очередь глубиной до 32 команд
Viktor
а как же тот самый чёртов NCQ который позволяет за проворот до 32 секторов писать
с какого потолка это?
Viktor
и в этой очереди пытатся что-то оптимизировать перестановками
Mark ☢️
и в этой очереди пытатся что-то оптимизировать перестановками
1. а эта очередь она из чего? запросы? сектора ?
2. когда именно диск вытскивает из неё элементы? сразу несколько? по одному?
Viktor
1) запросы
Viktor
2) на усмотрение диска
Mark ☢️
окей. тоесть запрос — это потенциально несколько секторов
Mark ☢️
ну и когда NCQ он может усмотреть так что вытащит более чем один запрос за проворот. верно ?
Viktor
на заре sata были диски с фейковым ncq, хитрыми тестами это вычисляли
Viktor
на практике разница была заметна только в специфических бенчмарках
Mark ☢️
на заре sata были диски с фейковым ncq, хитрыми тестами это вычисляли
у меня подозрение что у меня заря.
Viktor
не парься на тему ncq
Mark ☢️
ну как не парься. я хочу понять. а то шуму много, а на деле какой-то пшик.
Viktor
я не шарю в CEPH но имхо больше пользы будет от тюнинга шедулера ОС
Mark ☢️
я и хочу понять — это комерческий развод, или кривые руки или мне попались говнодиски
Mark ☢️
я не шарю в CEPH но имхо больше пользы будет от тюнинга шедулера ОС
по скриншотам Iostat диагноз сможешь поставить?
Mark ☢️
ну и или подсказать как с помощью fio узнать говно ли диск
Viktor
название диска дай
Mark ☢️
(то есть, я от теории прешёл к пратике, ибо теорию так до конца и не понял)
Viktor
и что значит "говно диск"?
Mark ☢️
например
Mark ☢️
говно-диск — этот тот который на рандомной записи превращается в тыкву
Viktor
рандомно он должен давать около 150 IOPS
Mark ☢️
да, но при каких задержках ?
Mark ☢️
иопсы есть. даже больше.
Viktor
в смысле? это в секунду
Mark ☢️
блджад
Mark ☢️
сколько в среднем запрос ждёт пока его пропишут
Viktor
от шедулера + диск
Mark ☢️
супер. +диск
Mark ☢️
сечёшь о чём я ?
Viktor
Mark ☢️
не помню. несколько нраз делал эксперименты с разными дисками
Mark ☢️
могу по заказу для тебя сделать :)
Viktor
я не очень пойму что ты хочешь намерять
Viktor
среднее латенси? iops? band?
Viktor
читани amarao на хабре
Mark ☢️
я хочу понять, может ли диск за один проворот действительно писнуть более одного сектора
Viktor
он делал несколько статей где подробно раскладывал по полочкам как это все между собой связано
Roman