А он же для whole disk, не?

Вроде как. Я сам не смог разобраться, есть ли принципиальные проблемы поддерживать partition images.

Надо попробовать.

Вроде как. Я сам не смог разобраться, есть ли принципиальные проблемы поддерживать partition images.

В имидж экстеншене проблемы как раз)

Так, софтовый рейд у нас теперь есть, потести при случае. LVM - да. К нему какие-то особенные требования или лишь бы был?

Лишь бы можно было создать VG и в ней LV нужного размера, а на нем рутовая файловая система)

Тут не уверен даже что придется трогать image extension.

Мммм, надо подумать. Да, наверное это касается именно разбивки разделов.

Тот же вопрос кстати: чего не хватает в апстриме?

Я это на волне того что не хватает Кастома, а мы точно будем делать ironic и я точно знаю что клиенты захотят много разного Кастома

А, ок. Клиенты - они такие :) У тебя тоже хостинг, если не секрет?

Но щас на дворе 2020 год, всякие системы управления конфигурацией, контейнеры\оркестраторы\SDS, поэтому такого уж большого смысла не вижу в рейдах. Только если у тебя baremetal хостинг и клиенты просят, как и было у меня, когда начал с ironic разбираться)

У нас тоже по большей части bare-metal hosting, или managed hosting с хотелками. Одинаковых серверов по hardware конфигам почти нет. И мы тоже свой конфиг менеджер сколхозили. В основном это кучка плейбуков с кривым веб фейсом.

А, ок. Клиенты - они такие :) У тебя тоже хостинг, если не секрет?

Ну да. Но в том про который рассказываю я уже не работаю)

А, ок. Клиенты - они такие :) У тебя тоже хостинг, если не секрет?

А, эт не мне было)

Пардон)

Всем спасибо за ответы, очень интересно!

У нас тоже по большей части bare-metal hosting, или managed hosting с хотелками. Одинаковых серверов по hardware конфигам почти нет. И мы тоже свой конфиг менеджер сколхозили. В основном это кучка плейбуков с кривым веб фейсом.

Плейбуки - чтобы настраивать софт после установки? Или всё же что-то с железом (BIOS итп)?

и то, и то

Ясно. Молодцы Rackspace, что придумали эту тему с hardware managers :)

О, ещё такой вопрос (ко всем): вы используете local boot или netboot с инстансами?

Лишь бы можно было создать VG и в ней LV нужного размера, а на нем рутовая файловая система)

Так, я опять с вопросами: ты использовал LVM внутри software RAID (mdadm?)? или это разные кейсы?

О, ещё такой вопрос (ко всем): вы используете local boot или netboot с инстансами?

Local, но может и хотел бы netboot)

Так, я опять с вопросами: ты использовал LVM внутри software RAID (mdadm?)? или это разные кейсы?

Эт разные) Сейчас я вообще не вижу большой необходимости в каком-либо рейде.

Ох, у нас есть кастомеры у которых raid 10 на nvme (6,4 TB на нвмешку) стоит, на который потом цеф ставиться.

То что рейд не нужен не до всех дошло

ну, RAID в ironic запилил CERN, так что.. не всем не нужно :)

(OVH вроде тоже использует)

Ох, у нас есть кастомеры у которых raid 10 на nvme (6,4 TB на нвмешку) стоит, на который потом цеф ставиться.

Ебанушки, простите Т9

Ох, у нас есть кастомеры у которых raid 10 на nvme (6,4 TB на нвмешку) стоит, на который потом цеф ставиться.

А потом задержке удивляются

у них 10г сеть всего, плачуться что всё медленно

Ну, нвме + 10г это они хорошо придумали.

по ironic в доке нашел еще такое openstack baremetal node set bmt01-n0 --resource-class baremetal.small nova flavor-key my-baremetal-flavor set resources:CUSTOM_BAREMETAL_SMALL=1 на что влияет этот ressource-class и CUSTOM_BAREMETAL? http://it.skisport.org.ua/index.php/menu-openstack/133-openstack-ironic

Сядь, не торопись, нам предстоит долгий разговор :D

Если вкратце, каждая нода представляет собой одну единицу соответствующего класса ресурсов.

у них 10г сеть всего, плачуться что всё медленно

А процы какие? И сколько с одного осд можно выжать максимум?

Соответственно, ты настраиваешь свой flavor запрашивать эту одно единицу на истанс и НЕ запрашивать стандартные классы (CPU/DISK/MEMORY). Без последнего шага не заработает (он пропущен в доках коллы).

Хоть супер nvme возьми, ты не выжмешь 100к иопс, ты упираешься, в цефе уже 1000 обмусолили это

Ну, нвме + 10г это они хорошо придумали.

Я так и не увидел никого, кто смог бы утилизировать 10Г под цефом

Соответственно, ты настраиваешь свой flavor запрашивать эту одно единицу на истанс и НЕ запрашивать стандартные классы (CPU/DISK/MEMORY). Без последнего шага не заработает (он пропущен в доках коллы).

я покачто слишком глупый для ironic наверное, придёться ручками без kolla-ansible ставить и смотреть что да как. Спасибо за обьяснение.

я покачто слишком глупый для ironic наверное, придёться ручками без kolla-ansible ставить и смотреть что да как. Спасибо за обьяснение.

Как и всё в openstack, ironic не очень тривиален для установки. В принципе, kolla-ansible должна работать (и их PTL, Марк, также core в ironic). Есть что пиши - будем разбираться.

А процы какие? И сколько с одного осд можно выжать максимум?

AMD EPYC 7502

AMD EPYC 7502

Добротные процы, но ты попробуй донести про ахинею с рейдом И что есть потолок иопсов к любой осд-шки из-за внутренностей цефа

Спасибо, я на следующий недели буду на обучалке по стеку. Решил за недельку стэк поставить. Покачто всё достаточно просто было, но тут я уперся в ironic :)

Добротные процы, но ты попробуй донести про ахинею с рейдом И что есть потолок иопсов к любой осд-шки из-за внутренностей цефа

это всёрогно, ибо либо не поймут. Либо незахотят чтото другое. Так как у них есть знакомый, знакомый которого сказал что цеф это убер классно :) Таких не переубедить

Спасибо, я на следующий недели буду на обучалке по стеку. Решил за недельку стэк поставить. Покачто всё достаточно просто было, но тут я уперся в ironic :)

Там гайды с пошаговыми командами 😐

это всёрогно, ибо либо не поймут. Либо незахотят чтото другое. Так как у них есть знакомый, знакомый которого сказал что цеф это убер классно :) Таких не переубедить

Ну так ты ссылку на цеф чат дай им, там и объяснять А то чёт тот же народ в этом чате не матерится, поэтому и не говорят, что упрутся в 20к иопс на почти любом осд. Все ждут чуда с u_ring

Ну так ты ссылку на цеф чат дай им, там и объяснять А то чёт тот же народ в этом чате не матерится, поэтому и не говорят, что упрутся в 20к иопс на почти любом осд. Все ждут чуда с u_ring

есть техники, которые всё понимают. А есть тех дир, который закупает и все свои знания из глянцевых журналов получает. "И вот там говорят что цеф огого". и всё :)

покажите мне этот глянцевый журнал

тут такое часто https://www.heise.de/ct/

сейчас не найду, но там также был обзор по серверным ссд для сефа, и как это всё потом рекаверить.

есть техники, которые всё понимают. А есть тех дир, который закупает и все свои знания из глянцевых журналов получает. "И вот там говорят что цеф огого". и всё :)

Цеф - ого-го!!! Он прав

Соответственно, ты настраиваешь свой flavor запрашивать эту одно единицу на истанс и НЕ запрашивать стандартные классы (CPU/DISK/MEMORY). Без последнего шага не заработает (он пропущен в доках коллы).

А есть смысл их вообще использовать при наличии traits? Или не допилили что-то ещё?

Я про ресурсные классы

А есть смысл их вообще использовать при наличии traits? Или не допилили что-то ещё?

Одно другого не отменяет. Классы (в контексте ironic) это взаимно-исключающие категории. Некоторые (TripleO например) тупо создают один класс baremetal. Но какой-то класс нужен, чтобы Нова могла понять, что ты от неё хочешь (ты не можешь не запрашивать никаких ресурсов).

Traits нужны, чтобы уточнять запрос, они не взаимоисключающие.

Товарищи, использующие ironic. Мы тут для foundation пишем whitepaper про использование ironic: почему выбрали, чем помог, что бы хотели улучшить. Никто не хотел бы поучаствовать?

@j52089ec7e87 у тебя, видимо, больше всего опыта ^^^

@j52089ec7e87 у тебя, видимо, больше всего опыта ^^^

Попробую сочинить. Даже из двух мест истории.

Товарищи, использующие ironic. Мы тут для foundation пишем whitepaper про использование ironic: почему выбрали, чем помог, что бы хотели улучшить. Никто не хотел бы поучаствовать?

Есть формат какой-то? Я не уверен, что я опишу красиво, но мы пользуем его для деплоя облаков, только не стали сильно заморачиваться с его допиливанием под свои нужды, а просто генерим конфиг драйв и бутаем сервера)

Попробую сочинить. Даже из двух мест истории.

О, очень круто! Можешь мне на dtantsur@redhat.com написать, чтобы не забивать чат? В идеале по-английски, но я могу сам перевести.

Точный формат уточняю, но можно и в свободной форме.

Если с английским дружите, можете прямо в https://docs.google.com/document/d/1BmB2JL_oG3lWXId_NXT9KWcBJjqgtnbmixIcNsfGooA/edit#heading=h.dpsbni5nye5n предложить текст.

Там есть пример от CERN.

О, очень круто! Можешь мне на dtantsur@redhat.com написать, чтобы не забивать чат? В идеале по-английски, но я могу сам перевести.

Могу и по-буржуйски) Но за изящность не ручаюсь.

Могу и по-буржуйски) Но за изящность не ручаюсь.

Ничего, мы поправим. Нам главное по сути.

Главное, кто вы, чем помог ironic, что хотите видить в будущем. Можно в документ по-английски, можно мне на почту по-русски.

Будем очень благодарны!

Главное, кто вы, чем помог ironic, что хотите видить в будущем. Можно в документ по-английски, можно мне на почту по-русски.

Ну там уж как пойдет) Не особо крутые у меня истории, но думаю что ничего страшного.

Ну там уж как пойдет) Не особо крутые у меня истории, но думаю что ничего страшного.

Это не так важно, нам нужны истории и от обычных людей, не только CERN :D

Добрый день, у меня еще вопрос по Ironic. Теперь когда я запускаю инстанц с flavor baremetal. То нода BareMetal получает Instanc ID и запускаеться через IPMI. Но, как только она посылает dhcp-request то ничего неполучает обратоно. В логах "dnsmasq" есть только это dnsmasq-dhcp: DHCPDISCOVER(ens2) 00:02:c9:56:a5:82 ignored

Добрый день, у меня еще вопрос по Ironic. Теперь когда я запускаю инстанц с flavor baremetal. То нода BareMetal получает Instanc ID и запускаеться через IPMI. Но, как только она посылает dhcp-request то ничего неполучает обратоно. В логах "dnsmasq" есть только это dnsmasq-dhcp: DHCPDISCOVER(ens2) 00:02:c9:56:a5:82 ignored

Привет! Это всё ещё kolla? Кстати, скорее всего, ты смотришь не на тот dnsmasq, там их два, тебе нужен тот, который от neutron-а. У тебя bare metal окружение или ты на виртулках тестируешь?

да, на kolla. Окружение baremetal смотрю в ironic_dnsmasq

Ага. Если kolla делает то, что я ожидаю, то ironic_dnsmasq только для ironic-inspector (ща уточню).

да, на kolla. Окружение baremetal смотрю в ironic_dnsmasq

У тебя как с английским? А то можешь зайти на #openstack-ironic, там вместе посмотрим.

В любом случае, я бы посмотрел tcpdump на нужном интерфейса с портами 67, 68, 69

посмотрел на порты, там всё запрашиваеться. Щас попробую в irc зайти

посмотрел на порты, там всё запрашиваеться. Щас попробую в irc зайти

о, и вот это проверь: https://docs.openstack.org/ironic/latest/admin/troubleshooting.html#dhcp-during-pxe-or-ipxe-is-inconsistent-or-unreliable

в сети dhcp работает. через maas всё грузилось

Тогда для начала tcpdump, надо хотя бы знать, приходит ли что-то и отвечает ли кто-то на это :)

Ну и можно попробовать найти логи neutron dhcp-agent'а

(понятия не имею, где они в колле)

Вот что тут есть в /var/log/kolla/neutron?neutron-dhcp-agent.log binding:vif_type=binding_failed думаю из за этого не работает 020-02-11 09:32:36.017 6 INFO neutron.agent.dhcp.agent [-] Trigger reload_allocations for port admin_state_up=True, allowed_address_pairs=[], binding:host_id=ce21cb55-b6ce-473c-b39b-e2a074de68b3, binding:profile=, binding:vif_details=, binding:vif_type=binding_failed, binding:vnic_type=baremetal, created_at=2020-02-11T09:32:11Z, description=, device_id=a653b84c-422a-44c0-9a37-18a6e1973d7b, device_owner=compute:nova, extra_dhcp_opts=[{u'opt_value': u'172.16.5.16', u'ip_version': 4, u'opt_name': u'server-ip-address'}, {u'opt_value': u'pxelinux.0', u'ip_version': 4, u'opt_name': u'67'}, {u'opt_value': u'172.16.5.16', u'ip_version': 4, u'opt_name': u'66'}, {u'opt_value': u'/tftpboot/', u'ip_version': 4, u'opt_name': u'210'}, {u'opt_value': u'172.16.5.16', u'ip_version': 4, u'opt_name': u'150'}], fixed_ips=[{u'subnet_id': u'764820f6-3b3e-44e8-80a7-1a4262df5e4d', u'ip_address': u'192.168.17.183'}], id=766dbf20-f7e1-4662-a74d-86748079a2ea, mac_address=00:02:c9:56:a5:82, name=, network_id=27efe944-4526-4d07-a744-dc1832296fe2, port_security_enabled=True, project_id=c0e23261db4e4f319eab47ba257630f7, qos_policy_id=None, resource_request=None, revision_number=8, security_groups=[u'97f2fa92-f673-4f8d-b032-cd3057a854d0'], status=DOWN, tags=[], tenant_id=c0e23261db4e4f319eab47ba257630f7, updated_at=2020-02-11T09:32:35Z 2020-02-11 09:32:36.691 6 INFO neutron.agent.dhcp.agent [req-2bc55c49-a298-44a5-bc77-7182627153c8 - - - - -] DHCP configuration for ports set([u'766dbf20-f7e1-4662-a74d-86748079a2ea']) is completed

ой, простынка