Unsupported
могу на 7 сделать :)
Mike
ответил выше: чтобы не вырубили хосты c мониторами
Тебе все равно нужен монитор вне этих двух площадок
Unsupported
на данном этапе только эти 10 серверов, других нет
Mike
так как для двух площадок, ситуация будет зеркальная - упала половина, продолжаем работать
Unsupported
там не 2 площадки, а одна
Mike
Так зачем тебе 9 мониторов?
Unsupported
в любом случае, 9 мониторов чем плохо? только латентность?
Anonymous
ну в общем да, у меня ощущение что 9 это оверкилл
Unsupported
Юра, а кроме ощущений?
Mike
Можешь и 6 реплик сделать, только зачем?
Unsupported
не хочется вдаваться в подробности :)
Anonymous
Юра, а кроме ощущений?
а вот тогда вопрос: что происходит, если на одном из мониторов начинает тормозить I/O? (предположим, SSD накрылся)
Unsupported
В принципе, могу ещё 3 сервера попробовать добавить...
Mike
Смысла нет. При ребалансе и изменениях карты, надо синхронизировать 9 мониторов, вместо 3-х
Unsupported
сеть 2х10Г, серверы одинаковые
Unsupported
Вот любители все поучить, вместо того, чтобы сказать "большой межсерверный трафик, более длительные тормоза при перестроении мапы" :)
Unsupported
было бы сразу понятно :)
Mike
А подумать не можешь?
Unsupported
вдруг мои догадки неверны окажутся
Unsupported
поэтому про обоснование и спрашивал
Anonymous
кстати
Unsupported
да и, вообще, практику тоже послушать было бы интересно
Anonymous
вопрос: а как вы мониторите OSD на предмет внезапных тормозов диска? (бывало у нас такое, что i/o начинал подтормаживать, lat расти)
Anonymous
и я точно знаю, что можно предсказать косяк конкретеного диска еще до того, как он повлияет на работу кластера
Unsupported
Тогда читаешь документацию
Видимо, не один я плохо читаю документацию, потому что первый ответ здесь был такой:
Александр
Victor Chaplinsky
> господа, почему мониторов надо 3, а не, скажем, 9, на кластере из 10 нод
3 5 7 9
Сколько хочешь
Кворум нужен из нечётных а там пох вроде как
Unsupported
вопрос: а как вы мониторите OSD на предмет внезапных тормозов диска? (бывало у нас такое, что i/o начинал подтормаживать, lat расти)
А что если смотреть в iostat число iops, длину очередей и await?
Unsupported
Только пороги надо адаптивные как-то делать
Mike
Roman
Исходя из опыта, посоветуйте, стоит ли на делать несколько OSD на одном SSD?
А то по документации:
"Running multiple OSDs on a single disk–irrespective of partitions–is NOT a good idea."
А по опыту Mirantis:
"чтобы полностью использовать полосу пропускания SSD, они должны расщепляться примерно между 5 OSD"
По факту, тестовый сервер крутится с osd в качестве всего диска.
Roman
Но ощущения неполноценности)
Mike
Исходя из опыта, посоветуйте, стоит ли на делать несколько OSD на одном SSD?
А то по документации:
"Running multiple OSDs on a single disk–irrespective of partitions–is NOT a good idea."
А по опыту Mirantis:
"чтобы полностью использовать полосу пропускания SSD, они должны расщепляться примерно между 5 OSD"
По факту, тестовый сервер крутится с osd в качестве всего диска.
Во первых disk - это не именно SSD. В вторых, ssd бывают разные.
Roman
Ну в моем случае именно про SSD речь, да и "...чтобы полностью использовать полосу пропускания SSD..."
Roman
Журналы на NVM. А вот разделять SSD на несколько разделов стоит ли?
Roman
"...для включения такой возможности вам необходимо удалить OSD, созданные на этих SSD при установке, разделить каждый SSD на пять разделов и создать на них OSD. см., например, раздел 6.1 Эталонной архитектуры для компактного облачного решения с применением Mirantis
Roman
HDD не интересует, был печальный опыт с тиерингом. )
Вопрос сейчас в том, что имеется некое количество SSD в каждом сервере + NVM под журнал.
Есть ли смысл делить SSD на несколько OSD или плохая затея?
Евгений
Журналы на NVM. А вот разделять SSD на несколько разделов стоит ли?
Это они ссылаются на одну статью, где были показаны лютые, бешенные приросты производительности при четырех осд на 1 NVM
на хабре был репост этой статьи, автор был закидан такими-то тряпками и отослан в ман, крутить число тредов на ОСД
я у себя пробовал повторить, прироста не видел.
Roman
Ну то есть игра не стоит свеч..
Roman
А если обобщить? Допустим взять Intel 3610
Roman
На 1,6
Mike
И не овер производительный, и латенси не как у nvme, т.е. тредами можно его забить.
Mike
А вот SAS или nvme - другой разговор
Roman
То есть ультрастары можно рубить.
То есть смысл все же есть какой-то?
https://www.hgst.com/products/solid-state-solutions/ultrastar-ssd1600mm
Михаил
вопрос: а как вы мониторите OSD на предмет внезапных тормозов диска? (бывало у нас такое, что i/o начинал подтормаживать, lat расти)
Fs_apply_latency или как его там мониторь
Mike
То есть ультрастары можно рубить.
То есть смысл все же есть какой-то?
https://www.hgst.com/products/solid-state-solutions/ultrastar-ssd1600mm
Даже с SAS будет латенси выше, но хотя бы очередь у диска длиннее. Вопрос в латенси все же, успеет обработать или нет
Roman
Значит надо будет пробовать все варианты. Спасибо.
Dmitry
Если было три монитора, один упал, как работает кворум из этих двух?
Александр
Т.е. коврум это изначальные 3
Александр
А не конечные 2
Dmitry
Те роли при трех сразу распределяется кто 1, кто 2, кто 3 и если, кто то отпал, то согласно предварительной схеме выбирается ведущий? Правильно понял?
Mark ☢️
Ceph cookbook по какому последнему цефу есть ?
Mark ☢️
Крайнему тоесть
Logan
Mark ☢️
Но таки где взять пдф?
Roman
Держи)
Roman
Mark ☢️
О. Спс
Mark ☢️
Roman
Пожалуйста)
Mark ☢️
А есть что-нибудь описывающее как именно работает сохранение целостности когда происходит перестройка?
Mark ☢️
Когда именно клиент обращается к мониторам
🅅aleriy
я бы описал это двумя словами - очень медленно
Mark ☢️
А надо алгоритм
Mark ☢️
А то банальщина в книгах задолбала
🅅aleriy
а что собственно может дать это знание?
🅅aleriy
уверенность? или наоборот?
🅅aleriy
никто не может повлиять на этот механизм
Mark ☢️
Прост как они победили синхронизацию кэша в распределенной среде
VVSina
отсутствием кэша?
Mark ☢️
отсутствием кэша?
Когда крушмап скажем поменяли, осд начинают перебрасываться данными. По начинают располагаться не там. Когда клиенты узнают об этом ? Они ж могут на неверный осд обращаться
VVSina
ну так то да. но тогда толи они за каждым чихом в монитор долбятся, либо осд пошлёт туда куда перебрасывает