Kirill
Каждый раз
gh
только что попробовал поставить StorageOS как персистент сторадж, сделал тест на запись, 11мб/с, т.е. гигабайт записи за 1 минуту и 27 секунд. У них написано что это enterprise grade solution. почему так медленно? может с моим кластером что то не так ?
gh
ну как так может быть что, longhorn 4 минуты гигабайт, openebs 3-4 минуты, storageos полторы минуты? не одна база данных не будет работать с такой медленной скоростью
Anton
Кто нить знает как гигабайты в минуту в иопсы перевести? Может табличка какая есть
Anton
Сохраню в закладки
gh
а теперь сделай 8 параллельных потоков
а что это даст? может я что то не понимаю до конца
Andor
ну ты возьми да попробуй
bebebe
на иопсы надейся, а сам не плошай
Stas
еще можно портвокс попробовать
Dmitry
В стораджос
Dmitry
Оно проц кушает или в чем проблема
gh
openebs и longhorn pre-alpha, пишут синхронно, и пока не запишут на все ноды не успокоются, как работает storageos я не знаю, но думаю принцип похожий...
bebebe
вот вам задачка, есть под раздеплоенный манифестом (не rs/dp) под постоянно падает с crashloopbackoff из-за того что внутри кончилось место у brtfs как попасть в под и починить brtfs? :)
gh
А что вас смутило? Какая сеть между машинами?
3 ноды на digitalocean, приватная сетка на 1 гигабит, но они не доходят до лимита сетки, до лимита доходил нфс клиент, и это было крайне медленно
Pavel G
3 ноды на digitalocean, приватная сетка на 1 гигабит, но они не доходят до лимита сетки, до лимита доходил нфс клиент, и это было крайне медленно
Гигабайт 4 минуты, то есть 1024 мегабайта за 240 секунд. Примерно 4Мб/с, 32мбит. А кто пишет? Клиент на одной из нод? Сторадж как лежит? На всех трёх, реплика 3?
gh
ну ты возьми да попробуй
запустил, все выглядит еще хуже, намного хуже
bebebe
а в чем проблема запустить другой под, с тем же pvc?
да, я так и делаю :/ хотел этот не убивать, такое впечатление что его деплоили руками o_O
Dmitry
Их распрелеленное хранилище
Pavel G
Ну у нутаникс все работает отлично
https://blog.openebs.io/initial-performance-numbers-with-openebs-94d2df2599d0
bebebe
ога, я так и делаю
𝚔𝚟𝚊𝚙𝚜
можно через kubectl get pod <pod_name> -o yaml сохранить манифест
Pavel G
Проблема в другом:( на дишманском уровне - этот софт не выдает все что может.
Pavel G
На выделенных металах, nvme итп - вполне неплох
𝚔𝚟𝚊𝚙𝚜
а затем через kubectl replace pod <pod_name> заменить его другим, потом обратно старый вернуть
gh
Ноды какие? Сколько голая нода тянет?
960гб, 48гб рам, 12vcpu, я пробовал писать на диск на самой ноде, там 900мб/с, вообщем все хорошо. тут посоветовали использовать кубернетовский local-volume првижинер вместо всего точо что я пробовал, но я за 3 часа не смог пока его поднять
Pavel G
Стало интересно.
gh
А лонгхорн и опенЕБС тормозят?
openebs базирован на longhorne, я уже писал разрабам, они сказали что у них только в планах сделать async, там 1 гигабайт записи за 4 минуты, т.е. 4mb/s через них, вместо 900мб/с на диск чистый
𝚔𝚟𝚊𝚙𝚜
только в производительности потеряете, и головной болью обзаведетесь
gh
Ничто не будет работать быстрее, поверьте. Если ваши базы умеют реплицироваться, то зачем вам кластерная фс еще
хорошо, я уже готов поднять кластерные базы, но local volume провижинер не работает
gh
перкона из коробки работает в кластере отлично, монгодб требудет минимальной настройки
𝚔𝚟𝚊𝚙𝚜
вот тут есть provisioner для local-волумов https://github.com/kubernetes-incubator/external-storage/tree/master/local-volume/provisioner
Я же ссылку давал, почитайте README хоть > The discovery routine periodically reads the configured discovery directories and looks for new mount points that don't have a PV, and creates a PV for it.
gh
работает, у него логика немного другая
хмм, смотрите, я поставил local volume, поставил его класс, но когда поднимаю под, он не создает через класс себе вольюм, или мне все равно надо локально делать директорию и маунтит ее ?
Pavel G
прочитал все от и до, но начну тогда заного
А вам базы внутри куба нужны?
Pavel G
не понял вопроса
Может sql базы на отдельные машины? Вне куба?:)
𝚔𝚟𝚊𝚙𝚜
Рекомендуете вообще без персистент раздела? Типа столон кластера?
С персистент разделами, но без репликации на уровне хранилища
gh
Может sql базы на отдельные машины? Вне куба?:)
у меня 25 микросервисов, я замучаюсь их админить без куба
gh
С персистент разделами, но без репликации на уровне хранилища
кстати, как поступить с редисом ? тоже через local volume provisioner ? на редис не хотелось бы поднимать кластера
𝚔𝚟𝚊𝚙𝚜
если очень хочется и репликацию и высокую производительность - посмотрите на linstor, но оно пока сыроватое немног и требует модуль ядра
gh
Делать локально директорию самому, дальше он создаст pv
можете подробнее объяснить? я пробовал... надо делать директорию или всетаки делать маунт из директории в /mnt/ как файл систему ?
Михаил
Ну у нутаникс все работает отлично
Поэтому ты сидишь на ранчер?)
Vadim
https://github.com/kubernetes-incubator/external-storage/blob/master/local-volume/README.md
gh
https://github.com/kubernetes-incubator/external-storage/blob/master/local-volume/README.md
ок, вижу "Instead, it requires that administrators preconfigure the local volumes on each node and if volumes are supposed to be"
gh
"Filesystem volumeMode (default) PVs - mount them under discovery directories.", т.е. я так понимаю делаю например директорию /opt/volumes/vol1 и делаю ей маунт в /mnt/disks, где эта директория указана как discovery point ?
Anton
Шарить один раздел на всех затея опасная
gh
Нужно делать volume, например с lvm, и монтировать его
на диджитл оушн виртуальном дроплете возможен lvm ? у меня не baremetal
Andor
это же полноценная виртуалка
Anton
Stas
я посмотрел на днях чарты и операторы для редиса - решил обойтись подом с редисом на каждый сервис вообще без персистенси
Stas
особенно понравилось колдунство в хелм стейбл ха чарте
𝚔𝚟𝚊𝚙𝚜
Делать локально директорию самому, дальше он создаст pv
директории недостаточно, он на mountpoint проверяет