icewolf
Я в панамку вари и хипер5 так накидаю мало не покажется
J
Ну тут уже считать надо, что дешевле и как гарантировать эти самые йопсы. Особенно в облаке .
Да тут вообще хз как оценивать. Что может сказать об уровне сервиса миллион иопсов со всего облака? Так то скорее важнее гарантии по макс задержкам и иопсам\пропускной способности при низкой глубине очереди. А миллионы иопсов это очень круто, но это очень редкий и экзотичный случай. Особенно если миллион нужен именно с SDS, а не с локальных NVMe. Поэтому то я и ерничаю насчет сравнения жопы с пальцем. Если кому-т нужно гарантированно 1M+ для базы, то реально проще и умнее базу на локальный NVMe поселить, а репликацию средствами базы и делать.
J
перед J извинитесь!
Не за что же, харош)
Irek
я по деФолтным значениям и не такое покажу.
ну дак что, покажешь? )) И далеко ушел по производительности от НЕ дефолтных значений? 😏
J
какой слабак )
Чо, через 12 недель всего уже разнылся?)
icewolf
Не за что же, харош)
Он базу не понимает, для меня это кликодрочерство в варе ничем от тапа хомяка не отличается.
Irek
Чо, через 12 недель всего уже разнылся?)
кажется ты не в контексте скрина, читай внимательнее )
Irek
покажу, но не тебе.
мммм, напоминаешь моего ребенка, который ходит в детский сад )
icewolf
кажется ты не в контексте скрина, читай внимательнее )
Ирек невнимательность компенсируется отсталостью, если вы чего то не видели это не значит что этого нет, просто вы не смогли в технологическое преимущество, которое вы знаете не каждому дано
Mr
Можно же) Одну реплику на время обслсуживания гасишь, а несколько других остаются.
Ага. Можно. И держать не 2-3 реплики, а 4. С попутными вопросами от бизнеса 'а чо так'. Можно. Все можно. Вопрос сколько стоит
Mr
Вот по этому вы сидите на варе и ноете
Мы на ажуре так то сидим и на gcloud. Варя как облако - ну , такое . Свои плюсы и минусы
icewolf
а ты неплохо компенсируешь негатив обозначив мое имя)). Но все же)
отнюдь, цивилизация может и деградировать, это отрицательный рост называется.. и сейчас вся цивилизация деградирует 7 мыльными шагами
Mr
Выбор прям аксиома Эскобара
Aws ничуть не лучше. Любой из трёх стульев
J
Ага. Можно. И держать не 2-3 реплики, а 4. С попутными вопросами от бизнеса 'а чо так'. Можно. Все можно. Вопрос сколько стоит
Ну в твоем примере с БД 5 реплик все равно выйдут подешевле чем цеф с той же производитеьностью) А кто бумажки подписывает или, тем более, дивиденды получает, те всегда спрашивают чо так дорого)
Mr
Ну в твоем примере с БД 5 реплик все равно выйдут подешевле чем цеф с той же производитеьностью) А кто бумажки подписывает или, тем более, дивиденды получает, те всегда спрашивают чо так дорого)
Угу. Все так. И дальше надо так придумать, чтобы и работало и кпи / сла выполнить и ночью спать и бизнес не плакал и премию каждый квартал. И вот я что-то очень не уверен, что на масштабе меньше 10-20 стоек и отдельной команды - цеф нужен. Можно, но.
icewolf
Aws ничуть не лучше. Любой из трёх стульев
И выбрали стул из гавна.. а гавно зовется ажур.. с непонятными сетевыми характеристиками для галочки. И непонятными SDN от майков.. и вы их так любите.. до первого факапа, когда надо будет все таки включить моск и жить в своем нахрен клауде
icewolf
Гавно на жопе не мешает жить?
Mr
тут прям вопрос возник, а ceph способен? )
Способен, там по ссылке детали. Вопрос сложнее - сколько это будет стоить
J
тут прям вопрос возник, а ceph способен? )
Ну вон, видишь как, способен, в статьях пишут. Но мерить надо вот так)
icewolf
Можно было бы и на динамикс, они бы еще в базисе доплатили.
Mr
ох...ну ты понял)
Я как бы без претензий. Есть совокупный уровень геморроя от разных решений. Разное число жопо часов для обслуживания.
Irek
Ну вон, видишь как, способен, в статьях пишут. Но мерить надо вот так)
представляю базу способную писать свои редлоги/бинлоги в 60 потоков)
Irek
ceph супер решение для своего кейса
icewolf
то есть настроил и забыл да там работает. Если изменений нет, как ажуре..
icewolf
ток ажур вне региона работает херово с сетью l3 и там не все просто.
J
представляю базу способную писать свои редлоги/бинлоги в 60 потоков)
Про запись речи нет. В базе запись синхронная же, там другие уровни производительности)
Irek
так что перфы по чтению не интересно )
Artemy
В облаках в РФ это вообще своя адская грусть начинается. В том числе с решениями вида 'вот вам супер скорость на локальных дисках'. Там прям горит у заказчиков
Если тебе нужна производительность уровня локальных дисков, то надо понимать что и у тебя будут те же ограничания как для локальных дисков. Нельзя обмануть физику и математику, даже если ты менеджер и даже если клиент сильно просит.
icewolf
Про запись речи нет. В базе запись синхронная же, там другие уровни производительности)
Так я и говорю что дело тут не в сеф, а в профиле нагрузки, сеф по умолчанию и тюненый сеф это две разных вещи
J
так что перфы по чтению не интересно )
Почему? Опять же, за исключением экзотики и узкоспециальныз задач основная нагрузка на системы хранения это чтение. Если ты не CERN, конечно.
Irek
Так я и говорю что дело тут не в сеф, а в профиле нагрузки, сеф по умолчанию и тюненый сеф это две разных вещи
я тебе уже задал выше вопрос выше. Много ли ты добился разницы (например по чтению) между сефом по умолчанию и тюненым?
Irek
эффект вау получен? )
Artemy
J
я тебе уже задал выше вопрос выше. Много ли ты добился разницы (например по чтению) между сефом по умолчанию и тюненым?
Ну, выключение lvm кэшей и c-states для процессоров дает вау эффект. Но это не тюнинг самого цефа же)
Artemy
Нууу да /нет. То есть в схд пытаются обмануть физику за счёт терабайт кеша в оперативке и nvme over fc .
И все равно обмануть не получается, и надо либо обсираться с fsync, либо играть в татлин «а вы не прогрели диск перед тестом»
Artemy
Либо даже и то и другое
icewolf
это одно и то же, в латенси ты не выиграешь, только в количестве потоков.
Прибегнув к агрессивному сценарию @vitalif мы на nvme получим тот же самый потолок по IO
icewolf
Но это уже другая история
Irek
Ну, выключение lvm кэшей и c-states для процессоров дает вау эффект. Но это не тюнинг самого цефа же)
ок, c-states дает процентов 10 и то на условном времени, пока не придет полная нагрузка по cpu. Но как все же относится к ceph'у ?))
J
С fsync и синтетикой да, с реальными задачами надо смотреть и пробовать.
Ну fsync это не для синтетики, это сценарий самый что ни на есть реальный, но и экстремальный. Как раз для баз данных.
icewolf
Виталий то ничего нового не сделал, он показал что из ceph можно выжать все
Виталий
Виталий то ничего нового не сделал, он показал что из ceph можно выжать все
Чот меня тегнули, но я не в теме дискуссии =) я скорее показал то что выжать все можно из архитектуры цефа, путем переписывания реализации =)))
Mr
Ну fsync это не для синтетики, это сценарий самый что ни на есть реальный, но и экстремальный. Как раз для баз данных.
В базах данных будут транзакции, и прочие Virtual Log Files (VLFs), и снова можно прийти к 'да, но' - в том числе к тому, влезут ли горячие куски базы в кеш и насколько часто кеш падает на сами диски.
Виталий
А до этого показал что можно не трогая сам цеф ОС потюнить и получить ощутимую прибавку)
Ну да. Но с витастором это тоже проявляется хоть и меньше. Т.к. многопоточности нет. На некоторых процах даже можно powersave не отключать и получить почти полный перф
Виталий
Но в самом цефе тюнить реально нечего.
Mr
Пойду я дальше спать, вот что. Завтра почитаю, что там в тренде
Виталий
Какие-то капли можно выжать тюнингом но это реально 10% там, как Ирек и сказал
J
Но в самом цефе тюнить реально нечего.
Не, тюнить там дофига чего можно, но чот разницы никакой)
icewolf
Пойду я дальше спать, вот что. Завтра почитаю, что там в тренде
И при этом не извинился перед J.. нельзя так себя тут вести.. ой нельзя, уважать надо людей
J
Кароч, нормально всё с цефом в целом то. Люди пользуются. Регулярно ворчат, плюются что медленно, сравнивают с локальными NVMe, пугают друг друга клаудмаусом и гитлабом, но чот не отказываются.
Виталий
Просто в облаках распространён подход "перформанс это проблема не облака, а проблема юзера"))
J
Вот ждем еще поддержку vitastor в апстримовом qemu и вообще царски заживем, может.
Виталий
Ну да. Ну типа у вас тормозит постгря, ну так да, идите конечно берите менеджед постгрю)
Виталий
Она не будет тормозить, хотя это не точно