И два цпу для такой системы - много

считайте в такой конфигурации сразу минус ~70Gb памяти на обслуживание

От crush map зависит

И два цпу для такой системы - много

+1

Я бы так хотел чтобы вендора делали материнки с 1 cpu, прям иногда идеально было бы для цефа. Но нет же. Да и сложности с numa избежать

Я бы так хотел чтобы вендора делали материнки с 1 cpu, прям иногда идеально было бы для цефа. Но нет же. Да и сложности с numa избежать

Ну не для всех конфигураций подойдёт

покупайте супермикру

покупайте супермикру

У них материнки есть , а шасси нет. Так что не вариант

вы серьезно? :D

микра = констурктор

У них материнки есть , а шасси нет. Так что не вариант

Ерунду не говорите

Попробуйте заказать односокетную мамку в 2024 шасси

Некоторые серверы продаются только в полном сборе

Некоторые серверы продаются только в полном сборе

Именно

У них есть HCL. Есть список шасси для мамок

Если в HCL для неё нет нужного шасси, завод это собирать не будет

Только если все заказывать по запчастям , но в итоге может оказаться что конструктор за 10 килобаксов собрать не получится . И это не гуд

микра = констурктор

Не настолько , насколько вы думаете

Ерунду не говорите

Я говорю то что я пытался собрать. Ерунды там нет))

Только если все заказывать по запчастям , но в итоге может оказаться что конструктор за 10 килобаксов собрать не получится . И это не гуд

а так почти все и заказывают

просто нужно смотреть в совместимость в мануалах

супермикро очень крутой кастом

а так почти все и заказывают

Я в бытность совсем молодым так 110 шасси заказал )) потом долго меняли мамки и память ))

Очень много ньюансов, инженера микры такой кастом помогать собирать скорее всего не будут

а я впрошлом дисти

нюансы есть но всегда можно спросить у микры

нюансы есть но всегда можно спросить у микры

Контакты хороших инженеров есть ?:) я сам хорошо собираю, но иногда лучше себя проверить

я не из России :)

в российскую компанию письмо пршло

в российскую компанию письмо пршло

?

я не из России :)

Я тоже не оттуда 😂

я понял что не из россии

видимо из украiны

Мы заказывали у sm сервера в сборе. Трахаться с сборкой вообще не хочется.

И очень довольны

ну да, микра выделила Россию в отдельный регион :)

А Украину к офису СНД

Мы заказывали у sm сервера в сборе. Трахаться с сборкой вообще не хочется.

Именно так и хочется.

микра берет деньги за зборку :)

Мы заказывали у sm сервера в сборе. Трахаться с сборкой вообще не хочется.

Кастомную конфигу брали ?

микра берет деньги за зборку :)

Пусть берет 😊

микра берет деньги за зборку :)

Там стоимость копейки.

Кастомную конфигу брали ?

Ну да, просто тыкаешь в платформу и говоришь, что туда напихать.

было дело собирали wio платформы с райзерами uio для старых карт

Ну да, просто тыкаешь в платформу и говоришь, что туда напихать.

Попробую в следующем проекте собрать на 1-сокете

на этом нормально провтыкать можно

а все остальное фигня, есть же мануалы)

Я бы так хотел чтобы вендора делали материнки с 1 cpu, прям иногда идеально было бы для цефа. Но нет же. Да и сложности с numa избежать

ARM )

мне через 2 недели приедит такое https://www.supermicro.com/products/system/tower/5038/SYS-5038K-I.cfm

только оно у виртуализацию не умеет

Я бы так хотел чтобы вендора делали материнки с 1 cpu, прям иногда идеально было бы для цефа. Но нет же. Да и сложности с numa избежать

http://www.supermicro.com/products/motherboard/Xeon3000/#1667

http://www.supermicro.com/products/motherboard/Xeon3000/#1667

ну я неправильно выразился - скорее готовые системы с 1 сокетом и с отличным (подходящим для цефа) шасси

ну я неправильно выразился - скорее готовые системы с 1 сокетом и с отличным (подходящим для цефа) шасси

ну с шасси под Xeon D и 4+ карманами с горячей заменой - действительно беда.

Жирно один nvme на шесть медленных дисков

Диски - то потом будут добавляться по мере необходимости. Это стартовая конфигурация.

Диски - то потом будут добавляться по мере необходимости. Это стартовая конфигурация.

Если предполагается интенсивная работа с дисками, а не обычный бекап, то для 4TB+ hdd нужно мутить кешпул (сомневаюсь что журналы на nvme вас спасут), особенно когда заполнение 6 или 8 TB диска достигнет 60-70% и вы вдруг решите потерять треть кластера (1 нода из трех).

Если предполагается интенсивная работа с дисками, а не обычный бекап, то для 4TB+ hdd нужно мутить кешпул (сомневаюсь что журналы на nvme вас спасут), особенно когда заполнение 6 или 8 TB диска достигнет 60-70% и вы вдруг решите потерять треть кластера (1 нода из трех).

а что скажешь о конфиге в 6 дисков по 6 тб, 2 ссд под журналы по 512 гб и 2 ссд по 512 гб под кеш?

а что скажешь о конфиге в 6 дисков по 6 тб, 2 ссд под журналы по 512 гб и 2 ссд по 512 гб под кеш?

под какой кеш лол?

под какой кеш лол?

кеш-тиринг

кеш-тиринг

который не работает?)

вообще кеш тиринг в раме это пять

вообще кеш тиринг в раме это пять

я чет не вижу что он в памяти это хочет делать

а тьфу

😐я вот всё думаю, если одобрят ещё 2 сервака как взяли, делать там ceph тема интересная, но вот на чём обновы тестить....

чО он несёт, кто нибудь понял?

чО он несёт, кто нибудь понял?

не знаю. думаю редхат, кассандра и что-нибудь еще.

:(

он говорит о том, что останется без стенда для тестов цефа

Стенды не нужны

а что скажешь о конфиге в 6 дисков по 6 тб, 2 ссд под журналы по 512 гб и 2 ссд по 512 гб под кеш?

Если использовать cache tier c writeback mode на ssd перед пулом из hdd - то эффективность журналов на быстрых дисках - сомнительна, так как все операции записи будут идти сразу на ssd

hit_set_count разрабы рекомендовали ставить 1

hit_set_count разрабы рекомендовали ставить 1

Ага, чтобы почаще всякий мусор в кеш поднимать. Не надо использовать тиринг сейчас, только если вы точно знаете все его минусы и ваше оборудование и задачи подходят для него.

Ага, чтобы почаще всякий мусор в кеш поднимать. Не надо использовать тиринг сейчас, только если вы точно знаете все его минусы и ваше оборудование и задачи подходят для него.

или вы упоролись и делаете EC pool + RBD )

Ага, чтобы почаще всякий мусор в кеш поднимать. Не надо использовать тиринг сейчас, только если вы точно знаете все его минусы и ваше оборудование и задачи подходят для него.

не в мусоре дело, а в специфике работы их алгоритма. Вы можете ставить что хотите и наблюдать. Размеры кэша тоже стоит подбирать под свою нагрузку. Я высказываю свое мнение и наблюдение для специфичных мне задач. Всяко лучше чем писать "это нихера не работает", "256GB на сервер osd". Помнится меня просили аргументировать в этом чате даже такое: при вылете одного из трех мониторов кластер будет работать. АРГУМЕНТИРОВАТЬ, Карл!!!!!!

Стенды не нужны

не в мусоре дело, а в специфике работы их алгоритма. Вы можете ставить что хотите и наблюдать. Размеры кэша тоже стоит подбирать под свою нагрузку. Я высказываю свое мнение и наблюдение для специфичных мне задач. Всяко лучше чем писать "это нихера не работает", "256GB на сервер osd". Помнится меня просили аргументировать в этом чате даже такое: при вылете одного из трех мониторов кластер будет работать. АРГУМЕНТИРОВАТЬ, Карл!!!!!!

это кто такое просил аргументировать (про мониторы)? а у тебя разве с тирингом конфиг?

?

это кто такое просил аргументировать (про мониторы)? а у тебя разве с тирингом конфиг?

Александр: Ты сказал про 3 монитора, да, но сказал про три монитора в сети, т.е. ДЦ1, ДЦ2 и ДЦ3 Ушёл ДЦ2 и стало 2 монитора, так? Вот я и спрашиваю, как оно дальше то будет? [12:53:54 AM] Alex V: Стрелять колотит When a Ceph Storage Cluster runs multiple Ceph Monitors for high availability, Ceph Monitors use Paxos to establish consensus about the master cluster map. A consensus requires a majority of monitors running to establish a quorum for consensus about the cluster map (e.g., 1; 2 out of 3; 3 out of 5; 4 out of 6; etc.). [12:55:06 AM] Александр: Мммм.. я видимо это пропустил

И там выше по тексту

мда, ни на минуту пони нельзя одного оставить