ставлю на баг с гипертредигом! https://lists.debian.org/debian-devel/2017/06/msg00308.html

Да, идея хороша. Не только с гипертредингом, а вообще. Например, может оказаться так, кстати, что инстансы на других хостах естественным образом пинятся к ядрам, а вот на этом все время то одному ядру то другому достается. А то и вообще другому сокету.

и по поводу Skylake семейства, да они даже в винде хренова работают ))

проц - vendor_id : GenuineIntel cpu family : 6 model : 62 model name : Intel(R) Xeon(R) CPU E5-2650 v2 @ 2.60GHz

у них все хорошо с гипертрейдом.

по 32 штуки на каждую компьюту

А как с качеством сети? Потерь нету на компьюты?

вообщем начинать надо с проверки сети

иначе чуда не будет :)

вообщем начинать надо с проверки сети

+

окей, займусь сеткой. Не могу пока что сказать есть ли потери, какой будет результат iperfa

начни банально с проверки jumbo frames

окей, займусь сеткой. Не могу пока что сказать есть ли потери, какой будет результат iperfa

А на самих нодах то как интерфейсы распределены, кстати?

А на самих нодах то как интерфейсы распределены, кстати?

что ты имеешь ввиду?

агрегацию имеет ввиду

все равно не понял... как посмотреть/проверить это?

https://ru.wikipedia.org/wiki/%D0%90%D0%B3%D1%80%D0%B5%D0%B3%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D0%B5_%D0%BA%D0%B0%D0%BD%D0%B0%D0%BB%D0%BE%D0%B2

<3

Ну там ovs bond или linux bond)

я подсел на linux bond

ovs все же для kvm использовать

я подозреваю что линуксовый бонд

так как у нас контрейл

слово подозреваю, как то не уместно. От слова совсем...

так как у нас контрейл

О)

Приколюха!

И это все, кстати, усложняет в разы)

я не конфигурял сетки там

так что если есть какая-то резкая команда как это проверить - я проверю

но я более чем уверен что там нет овс бондов и овс ваще нет

но я более чем уверен что там нет овс бондов и овс ваще нет

Ни того ни того.

В контреиле vrouter и инкапсуляция в MPLS over GRE или подобное.

Там чистого L2 ваще нет, кажется.

вообще всем спасибо за наводки/подсказки :)

вообще всем спасибо за наводки/подсказки :)

Короче, я бы прям сетевиков подоёбывал и попросил уделить время и посидеть поразбираться.

Типа друг другу рассказать как в вашей зоне ответственности все устроено (ну, на пальцах) и дальше уже идеи думать)

да, я так и сделаю

просто чтоб парировать "а ты вот это смотрел вот это это вот" я сейчас перетыкаю что я могу и пойду к ним

просто чтоб парировать "а ты вот это смотрел вот это это вот" я сейчас перетыкаю что я могу и пойду к ним

Блллин, бывают ваще конторы где ответственность друг на друга не пытаются спихнуть, а вместе разбираются?)

та наверное бывают

но это не точно)

эта херня с dd летает уже огого сколько

прилетела ко мне и нужно разбираться

так, а подскажите, чем отличаются ceph osd reweight от crush reweight?

в краше - да, загрузка данных меняется, все дела. А ceph osd reweight зачем нужен? (не помню уже где-то читал что это какой-то "относительный" reweight, но относительно чего?)

вот тут описано: http://ceph.com/geen-categorie/difference-between-ceph-osd-reweight-and-ceph-osd-crush-reweight/

fuf

ага

ну и да, а можно ли как-то затротлить backfill чтобы не мешать работе кластера если, скажем, изменяется size?

есть опции типа *_backfill_priority, etc

потому что было две больших ноды, вынужденно size=2, min_size=2 :( сейчас добавили еще две, надо как-то сделать size=3 и не положить сеть при этом

osd_recovery_delay_start»: ">0", «osd_max_backfills»: «1», «osd_recovery_threads»: «1», «osd_recovery_max_active»: «1»,

примерно так можно регулировать

osd_recovery_delay_start»: ">0", «osd_max_backfills»: «1», «osd_recovery_threads»: «1», «osd_recovery_max_active»: «1»,

Ага. Только не этими самыми значениями)

А то и за год не закончится бэкфилл.

заканчивается за ночь на 1 ПБ кластере без проблем

osd max backfills=1 по дефолту же

5 по дефолту

ну у меня щас выставлено recovery max active = 2

остальное по дефолту

заканчивается за ночь на 1 ПБ кластере без проблем

Ну, тут все зависит от количества осд еще.

И от того что именно делается.

у меня очень не от хорошей жизни сейчас ceph-public и ceph-private на одном свитче живут, виланами

отсюда и желание ограничить

osd_recovery_delay_start=20 например выстави. Если боишься именно за сеть то можно покрутить параметр "osd_recovery_max_chunk": "8388608", в меньшую сторону

10 гбит?

да

тогда можно не парится, матрица коммутатора способна сотни гигабит в сек обрабатывать

даже тысячи )

у меня было такое ощущение что мне экспандеры на нодах залило

несколько секунд, но как бы это _очень_ неприятно

Но порт то 10G всего. А через него и репликаия и клиентский трафик)

ну клиентского там относительно не много

у меня больше 100 МБ/сек не бывает там

клиенты тупо 2*1GE

А, фу блин.

Чо-то я сам себя обманул и с чего-то стал думать что на одном порту все)

а хостит кто нибудь ceph на core os ? да и в принципе чем деплоите ?

а хостит кто нибудь ceph на core os ? да и в принципе чем деплоите ?

Деплою с помощью fabric. http://www.fabfile.org/ А CoreOS вообще не для того в моем представлении.

Деплою с помощью fabric. http://www.fabfile.org/ А CoreOS вообще не для того в моем представлении.

а чем ansible не устроил?

а чем ansible не устроил?

Неудобно.