Mark ☢️

Напишу

Mark ☢️

но доку в начале хотелось бы глянуть ;)

кстати по заказу могу накидать прогу чтобы параллельно тянул с цефа в несколь ко потоков рбд-образ. Поможет если вы при бекапе в сеть не уперлись.

Mark ☢️

правда с S3 не работал, но уверен там апи простое.

Anonymous

мы в 10-15 снимаем, так что норм, как раз ~20Гбит получается.

Mark ☢️

мы в 10-15 снимаем, так что норм, как раз ~20Гбит получается.

10-15 чего ?

Mark ☢️

потоков ?

Mark ☢️

а какой тулзой

Anonymous

своей, на golang писал

Mark ☢️

это точно

Anonymous

golang наркомания? ))

Mark ☢️

ну когда про цеф

Mark ☢️

то да

Anonymous

ну да все наркоманы, не переживай )

edo1

ну скажем так: откуда в чате про цев ненаркоманы?

Anonymous

в чатах про наркоманию их нет ))

Mark ☢️

Продается комплект

Mark ☢️

Adaptec 5805 с ббу

Mark ☢️

Шлейфа сасные

Mark ☢️

И 4 винта сасных сигейт чита 15к 300 гб каждый

Mark ☢️

Часов наработки многа, но нагрузки почти не было. Бэдов быть не должно

edo1

я тестировал на pg - журнал быстрее, чем на ssd

Dmitry

Кстати попутно вопрос для rgw создаётся несколько пулов, pg pgp так понимаю важно только для bucket.data?

Sergei

Кстати попутно вопрос для rgw создаётся несколько пулов, pg pgp так понимаю важно только для bucket.data?

в целом да, но есть нюансы.

Dmitry

Для отдельных пулов с pg и pgp понятно, а для rgw?

Sergei

что для rgw?

Dmitry

Если меняется размер pgp и pg, менять для всех пулов? Их там штук 10

Sergei

Если меняется размер pgp и pg, менять для всех пулов? Их там штук 10

сами объекты лежат в default.rgw.buckets.data

Dmitry

Те только data на остальное можно забить?

Sergei

остальные пулы содержит считаные десятки или сотни объектов, иметь там тысячи pg нет никакого смысла. хотя все зависит от вашего кейса, конечно же.

Dmitry

Понятно

Sergei

если вы собираетесь хранить много объектов в одном бакете - на берегу сделайте шардинг

Dmitry

Где почитать? Что-то пропустил про шардинг

Sergei

http://docs.ceph.com/docs/master/radosgw/layout/

Sergei

и http://cephnotes.ksperis.com/blog/2015/05/12/radosgw-big-index

Dmitry

Спс

Alexey Tselitan UTC+7

Коллеги, привет. Я опять к вам с проблемой. Поднимаю новый кластер на серверах Aquarius Server T50 D28 (SuperMicro). Jewel 10.2.9 CentOS 7.3 - ПО установил - Мониторы 3 шт добавил - Для узла OSD сделал "ceph-deploy osd prepare" для всех 36 дисков - ceph -s показазывает HEALTH_OK Перегружаю узел OSD. Вижу, что службы ceph-osd@x стартуют не все, примерно 10 из 36. В логе OSD следующее (каждые несколько секунд): 2017-08-04 10:07:02.826077 7f769cd6d800 0 set uid:gid to 167:167 (ceph:ceph) 2017-08-04 10:07:02.826093 7f769cd6d800 0 ceph version 10.2.9 (2ee413f77150c0f375ff6f10edd6c8f9c7d060d0), process ceph-osd, pid 35829 2017-08-04 10:07:02.826265 7f769cd6d800 -1 ^[[0;31m ** ERROR: unable to open OSD superblock on /var/lib/ceph/osd/ceph-0: (2) No such file or directory^[[0m Смотрю mount и вижу, что оставшиеся диски не смонтированы в /var/lib/ceph/osd/ceph-X Нагуглил, что за монтирование отвечает ceph-disk@.service. Запускаю systemctl start ceph-disk@dev-sdaX, она стартует и за ней стартует ceph-osd@x - без всяких проблем. Ради интереса иду в /usr/lib/systemd/system и в файле ceph-disk@.service меняю значение timeout с 120сек до 3000сек. Перегружаю сервер и иду пить чай. Возвращаюсь и вижу, что всё поднялось как надо. Лезу в /var/log/messages и вижу такую картину: Aug 4 10:01:40 sds-osd-11 systemd: Starting Ceph disk activation: /dev/sdaa1... Aug 4 10:14:43 sds-osd-11 systemd: Started Ceph disk activation: /dev/sdaa1. Т.е. диск активировался 13 минут!!! Это самое большое время. Другие диски чуть быстрее. В чем может быть проблема? Старый кластер собран на SuperMicro SSG-6048R-OSD216P, версия Jewel 10.2.7, там такой проблемы нет, всё успевает подняться за 120сек. ceph.conf одинаковый на обоих кластерах. Спасибо.