Anonymous
А дайте ссылку на канал
https://telegram.me/devops_ru
Pavel
ceph-deploy
Anonymous
Нахера?
есть задача, 2-4 сервера отдать в отдел с гос тайной, и админа там не будет, сотрудник должен зайти, тыкнуть мышкой пару раз и добавить тем самым новый диск. Да и вообще было удобнее, если бы можно было войти, посмотреть на каких хостах с ceph сколько занято, какие сообщения у каждого хоста есть для меня и тп, но не в армках захода или сбора логов, а в рамках нажал ceph storage и увидел хосты 1-9 и тд, нажал на хост и увидел от него сообщения
Anonymous
Не рекомендуется применять, если приложение однопоточное, по причине того, что распределенная хэш-таблица вернет ссылку только на один том
Anonymous
вот что про ceph говорят
Anonymous
шта? ссылки
ссылку не дам, это сказал человек из крупного института
Михаил
Anonymous
ясно, понятно, давай досвидания.
для этого преокта моё начальство консультируется с политехом
Михаил
Предупреждаю. будешь нести про политех знакомых и прочую хуйню без пруфов забаню нахер.
Sergei
Не рекомендуется применять, если приложение однопоточное, по причине того, что распределенная хэш-таблица вернет ссылку только на один том
звучит как набор баззвордов с трудно уловимым смыслом, если честно. в основном, наверное, потому что "том" и "хеш-таблица" в сефе существуют на очень разных уровнях абстракции. сказать-то что хочешь?
Dmitry
Предупреждаю. будешь нести про политех знакомых и прочую хуйню без пруфов забаню нахер.
https://indico.cern.ch/event/524549/contributions/2185945/attachments/1289528/1919824/CephForHighThroughput.pdf
Dmitry
вот по теме интересный материал
Dmitry
третий лессон
Dmitry
а после окончания заливки crushится
Dmitry
так чтоле?
Sergei
может быть, ты имеешь в виду, что работать с одним объектом на уровне rados последовательно - дорого?
Sergei
тогда хоть какой-то смысл появляется в твоих утверждениях.
Anonymous
нет, я просто озвучил то, что мне написали, буду гуглить и это, и другое, я вон недавно про гластер презентацию новую читал
Sergei
по твоей логике любой файл будет литься на один том всегда
вероятно, он имеет в виду rados-объект. и они действительно так себя ведут.
Anonymous
что "нет"?
я, предположительно, думаю, что они имели ввиду, что как например с ext4 берёшь 1 и другой диск, и переносишь большой объём информации через dd/cp, в результате у тебя скорость записи падает со временем, а иногда и вовсе зависает, у меня вот не раз такое бывало, когда перенося свыше 300 гб всё могло просто повиснуть
Pavel
На нормальных дисках ничего никуда не виснет
Pavel
Кеши могут влиять да
Sergei
о, я наконец понял, что он сказать пытается, мать его
Pavel
Но опять же на момент записи с Кеша на диск
Sergei
Хрыч, похоже, имеет в виду, что при последовательной долгой записи журналы на SSD и возможные cache-tier'ы продавятся и скорость упадет.
Михаил
@spuzirev ты лучше скажи. вы с краш мап шаманили? что-то интересное можешь рассказать по этой теме?
Sergei
не складывается, правда, при чем здесь хеш-таблица.
Sergei
лол
Sergei
выбрасывайте сразу
Pavel
Собственно так везде
Pavel
А не только на цефе
Михаил
ок
Sergei
Алсо, Хрыч, для ликбеза: в случае долгих последовательных чтений и долгих последовательных записей сами последовательные записи/чтения не страдают. страдают параллельно идущие на кластере маленькие random-io.
Pavel
собственно буквально на днях тестил последовательное чтение с 70ТБ вольюмов цефа
Anonymous
лол
изначально хотели 40 узлов, на которых через cgroup ограничат софтину, запретив делать сигкилл ещё при этом, и разделить ceph и софтину нашу. потом уже ceph в виртуалку переехал. На каждой ноде по 6 дисков по 6 тб и ссд под систему. Сейчас будет 40 узлов вычислительных и 9 для распределённой файловой системы, в серверах с фс будет 3 сетевые карты, под сервера с фс уговорил сделать 2 гб оперативы на 1 тб пространства
Anonymous
но ссд под кеши выделять не хотят, рук разработки и его помощник считают, что лишняя трата денег
Pavel
там русским по белому
Dmitry
Показывать доку не метод
Dmitry
Лучше рассказать истории
Anonymous
я изначально предлагал взять на каждый из серваков с фс по 2 ссд по 512 гб
Anonymous
под кеши
Pavel
Pavel
говоришь "чуваки, вот есть best practice. Если так не делать, то будут такие то последствия и я за них не отвечаю"
Anonymous
мало и медленно
😕 на 6 дисков 2 ссд мало?
Alexandr
пропустил про 2:6
Alexandr
*а вот некоторые гиперконвергенные вендоры рекомендуют 2:3*
Anonymous
говоришь "чуваки, вот есть best practice. Если так не делать, то будут такие то последствия и я за них не отвечаю"
я так с видео картами сказал, что нельзя ставить 1080 в сервера, и показал результаты таких действий, подписали бумагу, что в случае, если сгорит видео и будет повреждён этим сервер, на мне ответственности нет
Pavel
Я надеюсь тебя там не прогнули сделать 2х репликацию вместо 3х?
Михаил
Я надеюсь тебя там не прогнули сделать 2х репликацию вместо 3х?
да пусть прогнут) получим очередную статью на хабре "Вот мудаки"
Anonymous
Я надеюсь тебя там не прогнули сделать 2х репликацию вместо 3х?
тут вообще избыточность пока думают какую, ибо быстрые данные потерять не страшно, только архивы, а архивы будут в насе на 60 дисков
Rustam
Всем привет! Кто-нибудь поднимал инстансы через Salt?
Rustam
Вроде бы и провайдер и профайл настроил правильно, но инстанс все равно не создается
Pavel
инстансы?
Rustam
да
Pavel
какие инстансы то
✠ FLASh ✠
эм
✠ FLASh ✠
салт обычно юзается для деплоя облака
Sergei
но есть salt-cloud, который весьма удобен.
✠ FLASh ✠
а инстансы уже взлетают используя апи опенстека
Rustam
вот да
Rustam
salt-cloud
Rustam
my-os: minion: master: 192.168.1.108 identity_url: 'http://controller:5000/v3' compute_name: 1 compute_region: RegionOne domain: default user: admin tenant: admin password: 87654321 driver: openstack insecure: false
Rustam
stack_micro: provider: my-os size: 1x512x50 image: c279d3b6-7431-4f8d-8142-d8c7fe2b5ef3 ssh_key_file: /home/user/ctrl.pem ssh_key_name: ctrl # ssh_interface: public_ips ssh_username: cirros networks: - fixed: - 0c5bb1e1-407e-473a-bf37-d55a7f3ffeb0N