Предупреждаю. будешь нести про политех знакомых и прочую хуйню без пруфов забаню нахер.

Не рекомендуется применять, если приложение однопоточное, по причине того, что распределенная хэш-таблица вернет ссылку только на один том

звучит как набор баззвордов с трудно уловимым смыслом, если честно. в основном, наверное, потому что "том" и "хеш-таблица" в сефе существуют на очень разных уровнях абстракции. сказать-то что хочешь?

Предупреждаю. будешь нести про политех знакомых и прочую хуйню без пруфов забаню нахер.

https://indico.cern.ch/event/524549/contributions/2185945/attachments/1289528/1919824/CephForHighThroughput.pdf

вот по теме интересный материал

третий лессон

звучит как набор баззвордов с трудно уловимым смыслом, если честно. в основном, наверное, потому что "том" и "хеш-таблица" в сефе существуют на очень разных уровнях абстракции. сказать-то что хочешь?

что, если приложение пишет одним потоком сразу 50-60 гб и более, а потом читает так же, то ceph не лучший выбор под такую задачу

Не рекомендуется применять, если приложение однопоточное, по причине того, что распределенная хэш-таблица вернет ссылку только на один том

по твоей логике любой файл будет литься на один том всегда

а после окончания заливки crushится

так чтоле?

что, если приложение пишет одним потоком сразу 50-60 гб и более, а потом читает так же, то ceph не лучший выбор под такую задачу

сеф - CP-хранилище. read-after-write consistency в нем есть by design.

может быть, ты имеешь в виду, что работать с одним объектом на уровне rados последовательно - дорого?

тогда хоть какой-то смысл появляется в твоих утверждениях.

нет, я просто озвучил то, что мне написали, буду гуглить и это, и другое, я вон недавно про гластер презентацию новую читал

нет, я просто озвучил то, что мне написали, буду гуглить и это, и другое, я вон недавно про гластер презентацию новую читал

что "нет"?

по твоей логике любой файл будет литься на один том всегда

вероятно, он имеет в виду rados-объект. и они действительно так себя ведут.

что "нет"?

я, предположительно, думаю, что они имели ввиду, что как например с ext4 берёшь 1 и другой диск, и переносишь большой объём информации через dd/cp, в результате у тебя скорость записи падает со временем, а иногда и вовсе зависает, у меня вот не раз такое бывало, когда перенося свыше 300 гб всё могло просто повиснуть

я, предположительно, думаю, что они имели ввиду, что как например с ext4 берёшь 1 и другой диск, и переносишь большой объём информации через dd/cp, в результате у тебя скорость записи падает со временем, а иногда и вовсе зависает, у меня вот не раз такое бывало, когда перенося свыше 300 гб всё могло просто повиснуть

Городские легенды

На нормальных дисках ничего никуда не виснет

На нормальных дисках ничего никуда не виснет

он похоже про writeback-кеш

Кеши могут влиять да

о, я наконец понял, что он сказать пытается, мать его

Но опять же на момент записи с Кеша на диск

Хрыч, похоже, имеет в виду, что при последовательной долгой записи журналы на SSD и возможные cache-tier'ы продавятся и скорость упадет.

@spuzirev ты лучше скажи. вы с краш мап шаманили? что-то интересное можешь рассказать по этой теме?

не складывается, правда, при чем здесь хеш-таблица.

Хрыч, похоже, имеет в виду, что при последовательной долгой записи журналы на SSD и возможные cache-tier'ы продавятся и скорость упадет.

начальство не хочет под журналы брать ссд

лол

Хрыч, похоже, имеет в виду, что при последовательной долгой записи журналы на SSD и возможные cache-tier'ы продавятся и скорость упадет.

Такое поведение есть, но это by design и ничего страшного я в этом не вижу

выбрасывайте сразу

Такое поведение есть, но это by design и ничего страшного я в этом не вижу

да.

Собственно так везде

А не только на цефе

@spuzirev ты лучше скажи. вы с краш мап шаманили? что-то интересное можешь рассказать по этой теме?

не шаманили, только топологию отражали.

ок

Алсо, Хрыч, для ликбеза: в случае долгих последовательных чтений и долгих последовательных записей сами последовательные записи/чтения не страдают. страдают параллельно идущие на кластере маленькие random-io.

собственно буквально на днях тестил последовательное чтение с 70ТБ вольюмов цефа

лол

изначально хотели 40 узлов, на которых через cgroup ограничат софтину, запретив делать сигкилл ещё при этом, и разделить ceph и софтину нашу. потом уже ceph в виртуалку переехал. На каждой ноде по 6 дисков по 6 тб и ссд под систему. Сейчас будет 40 узлов вычислительных и 9 для распределённой файловой системы, в серверах с фс будет 3 сетевые карты, под сервера с фс уговорил сделать 2 гб оперативы на 1 тб пространства

но ссд под кеши выделять не хотят, рук разработки и его помощник считают, что лишняя трата денег

но ссд под кеши выделять не хотят, рук разработки и его помощник считают, что лишняя трата денег

покажи им доку цефа

там русским по белому

Показывать доку не метод

Лучше рассказать истории

я изначально предлагал взять на каждый из серваков с фс по 2 ссд по 512 гб

под кеши

Показывать доку не метод

конечно же метод

говоришь "чуваки, вот есть best practice. Если так не делать, то будут такие то последствия и я за них не отвечаю"

я изначально предлагал взять на каждый из серваков с фс по 2 ссд по 512 гб

мало и медленно

мало и медленно

? на 6 дисков 2 ссд мало?

пропустил про 2:6

*а вот некоторые гиперконвергенные вендоры рекомендуют 2:3*

говоришь "чуваки, вот есть best practice. Если так не делать, то будут такие то последствия и я за них не отвечаю"

я так с видео картами сказал, что нельзя ставить 1080 в сервера, и показал результаты таких действий, подписали бумагу, что в случае, если сгорит видео и будет повреждён этим сервер, на мне ответственности нет

Я надеюсь тебя там не прогнули сделать 2х репликацию вместо 3х?

Я надеюсь тебя там не прогнули сделать 2х репликацию вместо 3х?

erasure же

Я надеюсь тебя там не прогнули сделать 2х репликацию вместо 3х?

да пусть прогнут) получим очередную статью на хабре "Вот мудаки"

Я надеюсь тебя там не прогнули сделать 2х репликацию вместо 3х?

тут вообще избыточность пока думают какую, ибо быстрые данные потерять не страшно, только архивы, а архивы будут в насе на 60 дисков

Всем привет! Кто-нибудь поднимал инстансы через Salt?

Вроде бы и провайдер и профайл настроил правильно, но инстанс все равно не создается

инстансы?

да

какие инстансы то

эм

салт обычно юзается для деплоя облака

но есть salt-cloud, который весьма удобен.

а инстансы уже взлетают используя апи опенстека

вот да

salt-cloud

my-os: minion: master: 192.168.1.108 identity_url: 'http://controller:5000/v3' compute_name: 1 compute_region: RegionOne domain: default user: admin tenant: admin password: 87654321 driver: openstack insecure: false

stack_micro: provider: my-os size: 1x512x50 image: c279d3b6-7431-4f8d-8142-d8c7fe2b5ef3 ssh_key_file: /home/user/ctrl.pem ssh_key_name: ctrl # ssh_interface: public_ips ssh_username: cirros networks: - fixed: - 0c5bb1e1-407e-473a-bf37-d55a7f3ffeb0N

salt-cloud -p stack_micro noon Could not find image c279d3b6-7431-4f8d-8142-d8c7fe2b5ef3: {"error": {"message": "get_version_v3() got an unexpected keyword argument 'auth'", "code": 400, "title": "Bad Request"}}

бля

за что

нафига деплоиться салтом то

потому что все остальное конфигурится салтом, поэтому руководство решило деплоиться тоже салтом

нафига деплоиться салтом то

почему нет? cattles, not pets.

ну ошибка явно гласит что имейдж не может найти

как бы вот начни с этого

там точно нужно указывать имейдж ид?

даже если указывается имя имейджа, все равно ошибка точно такая же

поменял драйвер на nova теперь ошибка 401

Кто нибудь ансиблом управляет установку стака?

Не могу найти нормальный модуль для управления эндпоинтов

тут искал:

https://galaxy.ansible.com/list#/roles?page=1&page_size=10

?

Чет не подумал роль искать.. Думал модуль будет

Сейчас поищу

Ну так тоже можно конечно...

https://github.com/binarycode/ansible-role-openstack-keystone/blob/master/tasks/initialize/endpoints.yml

тут еще попробуй глянть: http://docs.ansible.com/ansible/list_of_cloud_modules.html

тут еще попробуй глянть: http://docs.ansible.com/ansible/list_of_cloud_modules.html

Там я изначально искал.. Потом полез в гугл

В гугле под ansible 2+ только один модуль нашел, который не умеет не обновлять, и не удалять эндпоинты

Так управлять просто нельзя..

❤

Подскажите, из-за чего может в опенстеке qemu-kvm может использовать только одно ядро хостовой системы? Flavor виртулке на 4 vCPU, внутри их 4, а вешаются все на 1