Eugen
Привет, решилась проблема ?
Sergei
салам пополам, я вам нубский вопрос принес
Yuf
Уноси
Sergei
да пабрацке!
Sergei
вообщем, хочу сделать так, шоп новым нодам не назначались некие адреса. Если я создам порты и назначу им эти адреса, опенстек их не выдаст новым нодам?
NS 🇷🇺
J
да
Ну так ты в настройках subnet можешь выключить dhcp.
J
https://docs.openstack.org/python-openstackclient/latest/cli/command-objects/subnet.html
Fedor
Коллега видимо хочет отжать адрес под keepalived и другие извращения. Можно, только нужно про allowed address pairs не забыть.
Fedor
обычно сабнет не весь в DHCP аллоцируют, если нужны такие извращения =)
Ага, ещё и порт сесурити отключают, а потом за IP адреса бьются))
Fedor
Вообще октавия для такого клауд вей
NS 🇷🇺
Вообще октавия для такого клауд вей
октавия тут часто не помошник, особенно если инсталяции хитровыебанные =)
NS 🇷🇺
но порт сесурити да отключать не стоит :D
Fedor
Согласен, но тут как с aws - подстраиваться под то, что дают)
Genya-©/\√`¶£®
Посоветуйте пожалуйста материалы на русском желательно по openstack для новичка
Pavel
openstack маргелов
NS 🇷🇺
openstack маргелов
маркелов только он и да херня
Рамиль
с ВДВ походу))
Pavel
да печатался
Денис
Всем доброго времени суток, подскажите, какую конфигурацию дисков вы используете для домашнего облака, поясню, мне нужно утилизировать 2х3950х(компьют ноды)
Денис
Сеть 10гб
Денис
Про реплику пока не думаю, дорого
Jain
Всем доброго времени суток, подскажите, какую конфигурацию дисков вы используете для домашнего облака, поясню, мне нужно утилизировать 2х3950х(компьют ноды)
У меня для этого стоит обычный Freenas и netapp2552 я решил дома не устанавливать сеф итд. Чтобы иметь возможность выключать ноды когда они не нужны
Денис
Michael а разве у цефа будут последствия, если все осд в шатдаун уйдут надолго?
Денис
я для себя пока два варианта рассматриваю: 1) Купить 6 ssd (evo 960 к примеру), и на этих дисках ceph поднять с replica=1 2) Купить адаптер для 4х m.2 (asrock или asus hyper x16 card) и на них обычный lvm поднять, и по iscsi отдавать компьют нодам
J
Бабкины сказки то?)
J
я для себя пока два варианта рассматриваю: 1) Купить 6 ssd (evo 960 к примеру), и на этих дисках ceph поднять с replica=1 2) Купить адаптер для 4х m.2 (asrock или asus hyper x16 card) и на них обычный lvm поднять, и по iscsi отдавать компьют нодам
Цеф тебе не нужен, если он исключительно для RBD. Тем более, без репликации. Лучше тогда и правда lvm + iscsi или сетевую фс какую-нибудь не сильно замороченную.
J
Ага. Или облейте бензином и сожгите. Или "пните ногой как следует по серверу набитому механическими дисками, а потом рассказывайте какое механика говно и что они ломаются"
J
Ну право слово, использовать эти истории в качестве примера "почему не стоит выбирать цеф" это же глупо.
J
А, прости, я неверно понял твой посыл. Но в любом случае у DO и клаудмауса причины потери данных были не в реплике 1)
Denis
кстати, а как дела с реплика=2?))
J
кстати, а как дела с реплика=2?))
Нормально если у тебя быстрые диски.
Denis
Нормально если у тебя быстрые диски.
а при нештатной ситуации как потом собирать все обратно?
J
И если ты как DO и клаудмаус не станешь жадничать с памятью или не начнешь вытворять фокусы с recovery)
Denis
При какой конкретно?
когда оба сервера говорят что они "главный", получается, что арбитра нет и только руками выбирать?
J
Я же уже извинился перед тобой и сказал что неверно понял.
J
Ну а так да, сравнение в точку.
J
когда оба сервера говорят что они "главный", получается, что арбитра нет и только руками выбирать?
будет Inconsistent плейсмент группа и при апуске repair само починится. В Bluestore контрольные суммы считаются же.
Denis
Из нашего опыта был даунтайм на пару дней, где вручную искали golden copy, при помощи непонятных скриптов из интернетов :(
Denis
Зареклись не делать реплику 2. Но мб мы что-то тогда сделали не так, я хз. Просто интересно, был ли у кого кейс :)
J
Зареклись не делать реплику 2. Но мб мы что-то тогда сделали не так, я хз. Просто интересно, был ли у кого кейс :)
Потому и не рекомендуется делать так - в случае если одна из реплик в PG стала недоступна, процесс восстановления недостающей реплики группы должен пройти максимально быстро. Чтобы в принципе не возникло такой ситуации как ты описываешь) У большинства производителей железа и софта в их колдовских книгах пишется что двоечка допустима только на nvme.
J
Но это все для другого чата беседа)
Денис
а что скажите насчет lvm soft raid на 4-х nvme, вставленных в адаптер (например asus hyper x16, или asrock аналогичный)?
Денис
т.е. будет ли такой хранилки достаточно для утилизации 2xcompute(ryzen 3950x 128gb), не станет диск узким местом?
Денис
самый простой кейс, создание в паралель 10/20 вм
Денис
да тестовый, но не означает, что на нем не будет нагрузки, я же планирую доступы выдать знакоым, чтобы они и заняли эти ресурсы
J
да тестовый, но не означает, что на нем не будет нагрузки, я же планирую доступы выдать знакоым, чтобы они и заняли эти ресурсы
Ну знакомые не будут же интенсивно и подолгу одновременно читать и писать и все случайно и мелкими блоками)
Денис
мало вероятно, но на всякий случай хотелось бы иметь запас, но из за настольного железа, просто может не хватить pci lanes
J
мало вероятно, но на всякий случай хотелось бы иметь запас, но из за настольного железа, просто может не хватить pci lanes
Да ну ладно тебе. Самое бедовое что может быть это много одновременных запросов на случайную запись с флагами direct и sync. В этом случае десктопный ссд и sata и nvme выдаст меньше тыщи iops. Но если поставить какие-нибудь серверные с батареями конденсаторов, то и тут ок. Я думаю, одного то диска хватило бы, а уж 2-4 и подавно. Уж скорее узким местом станет ядро линукса на хосте, не сможет осилить десятку (10G).
Jain
Michael а разве у цефа будут последствия, если все осд в шатдаун уйдут надолго?
Не будет там последствий если выставить noop итд. Но для дома это лениво каждый раз делать и цеф какбы для allways on Предназначен. Я не знаю вашего workload, но могу предположить что обычного NFS бокса будет заглаза. И меньше мороки будет.
J
Я знаю как минимум трех человек в этом чате, которые при словах "nvme" и "noop" скептически скажут "ню-ню"
Я тк думаю что none надо ставить. noop, скорее всего, какую-то оптимизационную магию все равно пытается сделать. request merging?
Artemy
noop это обычный с одной очередью планировщик
Artemy
на NVMe это отстой
Artemy
Нужен multiqueue
Artemy
А этот none / kyber / mq-deadline
Artemy
Но none тоже тот еще адок
J
Но none тоже тот еще адок
В двух словах получится рассказать почему или лучше мне погуглить?)
Artemy
Ну когда на 15-20K IOSP утилизация 75% это неправильно. Включай кибер или дедлайн - хренакс и 10-15
Artemy
Возможно зависит от девайса. А возможно ХЗ
Денис
Благодарен вам за рекомендации!
John Roe
@OwenMontes: user has been CAS banned
Vjačeslav
Коллеги, вижу в выводе journalctl -xe сообщения типа: Feb 11 12:58:15 cloud-node3 kernel: br-int: dropped over-mtu packet: 1500 > 1450 Быть может кто-нибудь сталкивался? Команда dmesg |grep "mtu" выводит что-то типа: ... [32495485.948072] br-int: dropped over-mtu packet: 1470 > 1450 [32496685.951255] br-int: dropped over-mtu packet: 1500 > 1450 [32497285.953359] br-int: dropped over-mtu packet: 1470 > 1450 [32497884.886158] br-int: dropped over-mtu packet: 1490 > 1450 [32497884.886218] br-int: dropped over-mtu packet: 1490 > 1450 [32497884.886221] br-int: dropped over-mtu packet: 1490 > 1450 [32499085.959613] br-int: dropped over-mtu packet: 1470 > 1450 ... Как выловить "нарушителя" внутри OVS?
Pavel
у нарушителя сеть не работает/рабоате через раз. Сам придет.
John Roe
Юлия Самойлова: user has been CAS banned
Pavel
что не так?
Aleksandr
он его ИП не захавал а поставил все на один сервер