Mark ☢️
Блин, чо у меня ООМ происходят, а
Mark ☢️
8 гигов оперативы и 4 гига свопа
Mark ☢️
12 гигов на 3 ТБ диска.
Dimonyga
В вакансии всё нравиться, но монга ...... я с ней даже за 250 не пойду работать.
Mark ☢️
да мленький конфиг совсем
Mark ☢️
https://pastebin.com/XQwGc39q
Mark ☢️
и да, кракен
Dimonyga
[root@mon-d ~]# df -h
Filesystem Size Used Avail Use% Mounted on
/dev/sda1 193G 1.7G 181G 1% /
tmpfs 1.8G 0 1.8G 0% /dev/shm
/dev/sdb1 1.9T 1.3T 586G 69% /var/lib/ceph/osd/ceph-6
/dev/sdc1 1.9T 1.4T 498G 74% /var/lib/ceph/osd/ceph-7
[root@mon-d ~]# free
total used free shared buffers cached
Mem: 3596380 3508352 88028 4 1668 20812
-/+ buffers/cache: 3485872 110508
Swap: 134217724 0 134217724
Dimonyga
вышел уже оттуда. Но какой то старый
Mark ☢️
дебиан 8.1
✠ FLASh ✠
я работаю с этим Cwami Reddy
Dimonyga
и да, кракен
Это тот конфиг, который жрет гиг на терабайт. центось 7 ядро 3.10. Клиенты центось 7 ядро 4.9
✠ FLASh ✠
Swami*
Mark ☢️
нет, погодите. что-то тут не сходится
Mark ☢️
ведь ООМ приходит когда весь своп съет (и кеш тоже). верно?
✠ FLASh ✠
и не сказал бы что Свами - хороший пример)
Dimonyga
ведь ООМ приходит когда весь своп съет (и кеш тоже). верно?
Добавь себе как минимум debug_* опции. он всю дебаг инфу складывает в память
Mark ☢️
ладно. с дебугом сделаю
Dimonyga
ладно. с дебугом сделаю
А так же попробуй пулы поменьше сделать. На маленькие кластера 16*16 хватит всем.
Михаил
из прекрасного
Михаил
1. Don't try pass RBD directly to LIO, this setup are unstable
2. Instead of that, use Qemu + KVM (i use proxmox for that create VM)
3. Attach RBD to VM as VIRTIO-SCSI disk (must be exported by target_core_iblock)
4. Make a LIO Target in VM
4.1 Sync Iniciator (ESXi) and target (LIO) options (best change Target options)
4.2 You can enable almost all VAAI (also emulate_tpu=1, emulate_tpws=1)
4.3 For performance reason use noop on RBD disk in VM and set
is_nonrot=1 (disable ESXi sheduller)
5. ESXi are "stupid" and have a problem with CAS on LIO (and some
other storage vendors (google for info)), so for stable working
without disconects of LUN set VMFS3.UseATSForHBOnVMFS5 to ZERO on All
ESXi that use this lun.
6. Don't try make Target HA (not tested but i think you will catch
problems with VMFS), you must do something like VM HA for that.
This setup tested with latest ESXi and VMFS6.
Михаил
ISCSI + CEPH
Dimonyga
На поиграться пойдет. Но для хоть каких то адекватных нагрузок - жесть
Михаил
да для поиграться можно и tgtd взять)
Mike
Дальше в треде хороший ответ от petasan про sles
Mike
Сам тред интересный
Михаил
а чего тред
надо пакет под центось пересобрать
Михаил
под федору он уже есть
Старый
самое интересное
Старый
пакеты для centos можно поставить в fedora
Старый
а наоборот - надо пересобирать
Дмитрий
mon_initial_members = node1
mon_host = 10.80.20.99,10.80.20.100
Дмитрий
для меня не очевидно, надо /etc/hosts
Dimonyga
mon_initial_members = node1
mon_host = 10.80.20.99,10.80.20.100
mon_initial_members = compute-31, compute-12, compute-13
mon_host = 192.168.22.31,192.168.22.12,192.168.22.13
Вы что-то не то смотрите
Дмитрий
да не то - https://pastebin.com/BK0krq5P
Дмитрий
жестоко копипаcтели
inode64,nobarrier,logbsize=256k,logbufs=8,inode64
два раза inode64
Logan
Михаил
nobarrier особенно)
Anonymous
господа, а как в этот ваш bluestore диск посмотреть? для filestore был xfs и всё видно...
G72K
жестоко копипаcтели
inode64,nobarrier,logbsize=256k,logbufs=8,inode64
два раза inode64
nobarrier для xfs не нужен:
----------------------------------------------------------------
xfs: updates for 4.10-rc1
Contained in this update:
...
- deprecation of barrier/nobarrier mount options - we always use
REQ_FUA/REQ_FLUSH where appropriate for data integrity now
Михаил
внезапные новости
Михаил
но у него не блюстор вроде
Михаил
а осд
Anonymous
как повезет. пишутся линейные файлы-бэкапы с периодом хранения 3 дня. скорости хватает. далее уходят на d2d
Dimonyga
жестоко копипаcтели
inode64,nobarrier,logbsize=256k,logbufs=8,inode64
два раза inode64
Копипастили на тест. и подгоняли. Видимо между глаз попало. Кстати это кластер стоит уже пару лет. Точно сколько не скажу.
Dimonyga
nobarrier особенно)
http://xfs.org/index.php/XFS_FAQ
Write barrier support is enabled by default in XFS since kernel version 2.6.17. It is disabled by mounting the filesystem with "nobarrier".
Dimonyga
nobarrier для xfs не нужен:
----------------------------------------------------------------
xfs: updates for 4.10-rc1
Contained in this update:
...
- deprecation of barrier/nobarrier mount options - we always use
REQ_FUA/REQ_FLUSH where appropriate for data integrity now
Это тот конфиг, который жрет гиг на терабайт. центось 7 ядро 3.10. Клиенты центось 7 ядро 4.9
Mark ☢️
итак.
Mark ☢️
у меня нет блюстора
Mark ☢️
у меня два монитора
Mark ☢️
А так же попробуй пулы поменьше сделать. На маленькие кластера 16*16 хватит всем.
ШТО? 16*16 это что ?
Александр
256кб может?
Dimonyga
ceph osd pool create mysmallpool 16 16
Dimonyga
Дока рекомендует минимум 128, но у меня и на 16 работает нормально. и памяти жрет заметно меньше.
Mark ☢️
а, вот оно что
Mark ☢️
тлько вот уменьшение этих числе для пула не предусмотрено
Mark ☢️
только увеличение
Mark ☢️
тлен, боль и уныние
Dimonyga
тлько вот уменьшение этих числе для пула не предусмотрено
и увеличивать на лету не рекомендую
Mark ☢️
я увеличивал — работает :)
Ilia
т.е. расчет что нода 16потоков + 128 памяти + 480ssd + 32tb HDD - неверный? Оо
Mark ☢️
и вобще, я чесно говоря так и не понял на что влияют эти pg_num
Mark ☢️
типа сколько разных вариантов распределения по osd возможно. верно ?
Dimonyga
типа сколько разных вариантов распределения по osd возможно. верно ?
несовсем так. Это кол-во обектов для распределения. тоесть весь пул разбивается на 16 кусков, в которых еще по 16 кусков
Mark ☢️
но пул же нельзя разбить. пока в нём нет данных — он ничто. не так ли?
Mark ☢️
грубо говоря, пул же это просто набор настроек.
Dimonyga
но пул же нельзя разбить. пока в нём нет данных — он ничто. не так ли?
Но пустые блоки создаются =)
Mark ☢️
не понял
Mark ☢️
ну нет же. там же по сути thin provisioning