Alex Sharov
Религия не позволяет
Sergey
ну я знаю ребят которые dex юзают
Gleb
а я знаю ребят которые рук юзали
Sergey
сказать что они довольны - я не могу, но и что они не бовольны - тоже
Gleb
Rainbow
Берешь rookio
тащишь в куб
потом теряешь данные
и пытаешься убежать от работодателя
?????
Ты фитоняшка!
Gleb
знал скорее
Andrey
Их догнали работодатели?
Gleb
ну они его с активдиректори скрещивали, не с голым лдапом
а голый лдап это кто? не open ldap же
Sergey
а голый лдап это кто? не open ldap же
ну актив директори - это не только ldap протокол, я к тому)
Sergey
лан это полемика
Gleb
с ad обычно боли меньше
Anton
ок, ну тогда я хз почему она в down
кстати, наверное, это важно. Все началось после того, как я заменил все три воркер ноды, вследствие того, что провайдер попросил их заменить, т.к. там накрылись диски. Возможно, там просто хана всем данным и поэтому кластер не может собраться в кучу.
Gleb
Gleb
наверное надо было с этого начать
Gleb
@SinTeZoiD
Anton
я всегда путаю эти две вещи, с чего начать и чем закончить
Sergey
@ceph_ru - вам сюда
Anton
меня там высмеят же
Anton
мне кажется, мы и тут неплохо похихикали, не весь день же под столом лежать, работать еще надо
Aleksey
кстати, наверное, это важно. Все началось после того, как я заменил все три воркер ноды, вследствие того, что провайдер попросил их заменить, т.к. там накрылись диски. Возможно, там просто хана всем данным и поэтому кластер не может собраться в кучу.
Так диски остались от старых под или они тоже новые?
Anton
Так диски остались от старых под или они тоже новые?
новые. Я же не сразу все заменил, думал, оно успеет пореплицироваться. Но надо сказать, что не проверял. Поднялись поды, и ладно. А после замены очередной ноды они взяли и не поднялись.
Anton
имею ввиду поды рука
Aleksey
Aleksey
Там же диски готовить надо, Фс, журналы.... ну или блюстор
Anton
да, пришлось, потому что я даже поды рука не сразу смог поднять
Aleksey
Сделай lsblk на нодах с осд
Anton
# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
xvda 202:0 0 100G 0 disk
├─xvda1 202:1 0 256M 0 part /boot
└─xvda2 202:2 0 99.8G 0 part /
xvdb 202:16 0 2G 0 disk
└─xvdb1 202:17 0 2G 0 part
xvdh 202:112 0 64M 0 disk
Anton
на остальных двух то же самое
Aleksey
И какой диск под осд?
Anton
xvda2, надо думать
Aleksey
WAT?
Aleksey
У тебя там рут, да бут
Aleksey
Или я в оси ясные долблюсь ибо с телефона, но у тебя там рут
Roman
Sergey
попадутся ребята на глаза - поспрашиваю
Aleksey
--osd-data /var/lib/rook/osd2 — вот здесь же данные?
Короче у тебя похоже оператор криво прошёлся
Anton
похоже, что все 6 раз
Aleksey
Сейчас доеду до дома, гляну что там на старом цефе, но вроде как должны быть маунты если файлстор
Anton
я могу посмотреть на кластере с рабочим руком/цефом
Aleksey
Ну сделай там lsbk на осд ноде
Anton
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 1 139.8G 0 disk
|-sda1 8:1 1 128M 0 part /boot
|-sda2 8:2 1 2M 0 part
|-sda3 8:3 1 1G 0 part
| `-usr 254:0 0 1016M 1 crypt /usr
|-sda4 8:4 1 1G 0 part
|-sda6 8:6 1 128M 0 part /usr/share/oem
|-sda7 8:7 1 64M 0 part
`-sda9 8:9 1 137.4G 0 part /
Anton
ну там операционка еще другая
Anton
на мастер ноде то же самое
Aleksey
А из пода осд?
Anton
да, вот пробую как раз
Anton
это рабочий кластер:
# lsblk
lsblk: dm-0: failed to get device path
lsblk: dm-0: failed to get device path
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 1 139.8G 0 disk
|-sda4 8:4 1 1G 0 part
|-sda2 8:2 1 2M 0 part
|-sda9 8:9 1 137.4G 0 part /var/lib/rook
|-sda7 8:7 1 64M 0 part
|-sda3 8:3 1 1G 0 part
|-sda1 8:1 128M 0 part
`-sda6 8:6 128M 0 part
Anton
это поломанный:
# lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
xvda 202:0 0 100G 0 disk
|-xvda1 202:1 0 256M 0 part
`-xvda2 202:2 0 99.8G 0 part /var/lib/rook
xvdb 202:16 0 2G 0 disk
`-xvdb1 202:17 0 2G 0 part
xvdh 202:112 0 64M 0 disk
Aleksey
Нашёлся
Anton
ну таки xvda2
Aleksey
Вот теперь смотри на сломаном
Anton
что смотреть?
Aleksey
Это с какого рука был лсблк?
Anton
два было. Первый с рабочего, второй с поломанного
Anton
оба из пода
Aleksey
На рабочем на роле лсблк дай
Anton
на ноде?
Aleksey
Какая-то херня
Aleksey
файлстор вот так вот маунтит:
sdn 8:208 0 1.1T 0 disk
├─sdn1 8:209 0 24M 0 part
├─sdn2 8:210 0 200M 0 part
└─sdn3 8:211 0 1.1T 0 part /var/lib/ceph/osd/ceph-63
Aleksey
блястор делает что-то вроде:
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
sda 8:0 0 10G 0 disk
`-ceph--32080766--c29a--4fe3--b380--f3fbc665555c-osd--block--032ca551--476a--4e6d--8f2c--27ce59575882
253:3 0 10G 0 lvm
Михаил
Aleksey
вот это с ноды на рабочем
короче похоже что твой рук ставит файлстор, ну тогда иди и смотри есть ли что там в этих папках
Anton
короче похоже что твой рук ставит файлстор, ну тогда иди и смотри есть ли что там в этих папках
ну, что-то там определенно есть
Aleksey
хотя ты же там кейринг смотрел для осд
Anton
# ls /var/lib/rook/osd2/
ceph_fsid current fsid journal keyring magic ready rook-ceph-osd.2.asok rook-ceph.config store_version superblock tmp type whoami
Anton
бóльшую часть занимает файлик journal — 1G
Aleksey
бóльшую часть занимает файлик journal — 1G
я сдаюсь иди в ceph_ru там может ещё чего подскажут
Anton
ок, данкешëн
Anton
к сожалению, руководство приказало прибить там все и переставить, поэтому ребята в цефру останутся без мальчика для битья сегодня, к сожалению. Но мы наверняка зафакапим еще раз и вернемся к веселью.