Это мине?
тем, кто говорит, что надо 2 гига на терик
Михаил
Anonymous
так и надо
в геоскане хотели делать 75% от сервера под приложение, 25 под ceph, в конторе с тех диром которой сейчас общался, нечто подобное сделали.
Pavel
Михаил
Пришла тяжелая артиллерия)
Александр
Меня как раз этот вопрос интересует
Михаил
ну в том конфиге что дал хрыч точно пиздец
Sergei
ну в том конфиге что дал хрыч точно пиздец
а если сервера 56 ядер и 512 рамы, а дисков 4 на машину?
Александр
Который будет
Pavel
Могут быть проблемы?
война за ресурсы. Даже минимум 3 мона рекомендуется держать отдельно от osd, а вы говорите про тяжелую виртуализацию. ТОЧНО будет тормозить
Александр
война за ресурсы. Даже минимум 3 мона рекомендуется держать отдельно от osd, а вы говорите про тяжелую виртуализацию. ТОЧНО будет тормозить
И где цифры посмотреть можно с примерами?
Александр
Что б было на что ориентировано
Sergei
война за ресурсы. Даже минимум 3 мона рекомендуется держать отдельно от osd, а вы говорите про тяжелую виртуализацию. ТОЧНО будет тормозить
кажется (не поднимал, в бою не тестировал), это вполне решается с помощью сигруп для ограничения памяти и пиннинга на конкретные ядра (если не решится с помощью ограничения cpu shares).
Александр
Я хотел на 3х "серверах" разместить все+3вм
Pavel
кажется (не поднимал, в бою не тестировал), это вполне решается с помощью сигруп для ограничения памяти и пиннинга на конкретные ядра (если не решится с помощью ограничения cpu shares).
предполагаю, что сигруппами разрулить можно, но косяки могут вылезти совершенно с разных сторон. Файловые дескрипторы, сеть, да что угодно. Все это надо учитывать и тестировать. Я лично не готов таким онанизмом заниматься
Sergei
предполагаю, что сигруппами разрулить можно, но косяки могут вылезти совершенно с разных сторон. Файловые дескрипторы, сеть, да что угодно. Все это надо учитывать и тестировать. Я лично не готов таким онанизмом заниматься
сигруппами так-то недолго разрулить (по три опции в systemd-юниты)
с сетью - соглашусь с ходу. я шейплю трафик репликации сефа и трафик внешнего интерфейса сефа (возможности построить отдельную сеть для репликации не было), это работает вполне успешно. кажется, добавить в эту схему шейпинг еще и полезной нагрузки не очень сложно.
Anonymous
а почему kvm нельзя заюзать? отдать n-ядер и n оперативы, и отдельную сетевуху
Pavel
сигруппами так-то недолго разрулить (по три опции в systemd-юниты)
с сетью - соглашусь с ходу. я шейплю трафик репликации сефа и трафик внешнего интерфейса сефа (возможности построить отдельную сеть для репликации не было), это работает вполне успешно. кажется, добавить в эту схему шейпинг еще и полезной нагрузки не очень сложно.
кстати, где шейпишь? На коммутаторах?
Sergei
коммутаторы тупые.
Sergei
tc. мне нравится. до 40 гбит работает с пренебрежимо малым (единицы процентов) пенальти по cpu.
Anonymous
мне не нравится идея шепинга на линуксах изначально =_= ts какой-нибудь наверное?
а разме что-то кроме tc ещё есть в базовой системе?
Pavel
обычно им делается
Sergei
а почему kvm нельзя заюзать? отдать n-ядер и n оперативы, и отдельную сетевуху
потому что kvm сам по себе ограничивает ресурсы через cgroup.
Anonymous
потому что kvm сам по себе ограничивает ресурсы через cgroup.
тогда бы работал SIGKILL, если бы приложение в виртуалке пыталось взять больше ресурсов чем есть, а не просто приложение упиралось
Pavel
ну и плюс при kvm на нодах цефа надо помнить - упала нода - упал kvm )
Sergei
тогда бы работал SIGKILL, если бы приложение в виртуалке пыталось взять больше ресурсов чем есть, а не просто приложение упиралось
какой sigkill? kvm мапит виртуальные процессоры в треды. они разложены в сигрупы. посмотри в cgroupfs с запущенной виртуальной машиной, емое.
Anonymous
ну и плюс при kvm на нодах цефа надо помнить - упала нода - упал kvm )
kvm, как и любой гипервизор стоит на отдельном ssd от данных
Pavel
kvm, как и любой гипервизор стоит на отдельном ssd от данных
ну упал у тебя сервер физический - упал не только osd, но и kvm
Sergei
ну упал у тебя сервер физический - упал не только osd, но и kvm
мне кажется, он предлагает запускать сеф в KVM-машинах, пробрасывая туда по virtio блокдевайсы. не слушай наркомана.
Pavel
osd это может сносно пережить, kvm - не очень. Только на уровне приложения
Anonymous
Anonymous
ну просвятите
Anonymous
учёные
Sergei
что просвятите? ты предлагаешь добавить кучу копирований данных из памяти в память просто потому что тебе нравится KVM.
Nikita
Pavel
Старый, в докере гоняй. Модно, молодежно
Sergei
или он тебе просто нравится?
Anonymous
Хрыч, а Хрыч, скажи мне, нахрена здесь systemd-nspawn? какую задачу решит?
как замена докеру, чем он хуже?
Михаил
Читал, дп
Надо будет затестировать. Правда я так и не понял зачем он это сделал. Кроме "потому что может"
Sergei
Надо будет затестировать. Правда я так и не понял зачем он это сделал. Кроме "потому что может"
гипотетически есть кейс, если ты дружишь ceph с kubernetes, например, то ceph в качестве daemonSet хорошо ложится в эту идею.
но там встанет очень много вопросов по пути.
Anonymous
хорошо, но зачем докер?
ну вот предположим, у тебя есть 8 r730, в которых 3 ssd и 6 hdd по 6 tb, тебе надо и вируталки гонять на этих серваках на всех, и на все сделать ceph
Sergei
эээ. и чо?
Sergei
у вас делл головного мозга, кстати. по запросу r730 вываливается https://i.ytimg.com/vi/JeO-FemOm3s/maxresdefault.jpg
Pavel
ну вот предположим, у тебя есть 8 r730, в которых 3 ssd и 6 hdd по 6 tb, тебе надо и вируталки гонять на этих серваках на всех, и на все сделать ceph
Покупаешь еще n стоек под ВМ и делаешь виртуализацию
Anonymous
предположим
Anonymous
it директор хочет, чтобы вируталки были на ceph, и на всех серверах
Anonymous
был ceph
Pavel
Ну тогда сразу пишешь бумагу о снятии ответственности, просишь полгода на тестирование и делаешь
Pavel
Как-то тае
Sergei
it директор хочет, чтобы вируталки были на ceph, и на всех серверах
1) хочет - пусть и возится сам.
2) выше по тексту: предположительно это будет работать с ограничением всего и вся на cgroup, шейпинге и т.п..
докер здесь где?
Anonymous
Павел предложил же вроде
Anonymous
в докере сделать
Anonymous
или я спутал
Sergei
ну да, ты вообще квм предложил.
Pavel
Openvz, чуваки!
Sergei
но даже не в этом дело.
профит-то какой?
Pavel
И чтоб уж совсем серваки не простаивали предлагаю там сразу принт сервер и терминальный сервер для секретарши
Anonymous
но даже не в этом дело.
профит-то какой?
ну я вот напрмиер с cgroup в чистом виде мало работал, боюсь накосячить