Алексей
посмотрел iscsi
codes.Unimplemented, "", в половине вызовов
hostpath
ну типа демо, смотрите как мы можем
или весь csi это flex для себя напилил и на этом все закончилось?
Алексей
Собственно откуда вопрос:
стоит provisioner iscsi, через targetd он спокойно создает создает удаляет диски, ну и в общем работает, но
функционала по ресайзу дисков нет, а хочется.
смотрю что можно с этим сделать, в targetd впилить функционал проблем особых нет, там пара часов работы
но придется еще править сам провизионер а это уже сильно дольше там уже придется добавлять ds для релоада iscsi таргетов и ресайза файлухи, в общем временные затраты сильно подскакивают
может я какието варианты упустил по незнанию?
Алексей
csi вроде выглядит логично, и типа этот вариант предполагается в будующем как основной
но чет по коду плагинов все совсем печально.
Евгений
Евгений
Не слышал, чтобы кто-нибудь iscsi использовал всерьёз
NM
Не забывайте что это еще и кластер - отказоустройчивые тома которые можно в случае необходимости переключить на другие ноды
Антон
NM
Антон
Это меньшее зло чем с полочками.
Не согласен. Все зависит от задачи. Если у меня на бд будут теряться пакеты при записи в журнал транзакций - никакие плюсы iscsi не перевесят :)
Алексей
если у вас потери пакетов между нодами, то любое сетевое хранилище накрывается медным тазом, да и в принципе сам кластер тогда довольно смутное понятие
ceph это минимум 5 нод + желательно иметь человека который его умеет готовить, в общем решение не для маленьких кластеров
linstor наверно имеет смысл
но в моем кэйсе у меня есть вполне себе надежное хранилище и 6 гигабит от него до нод
Алексей
iscsi очень старое, и протестированное решение
ну и собственно почему бы его не использовать если оно подходит
Egor
кто шарит в PV и d PVС, оч нужно пояснение по взаиможействию с statefulsets
Solyar
Egor
Точнее ?
Persistent Volume Claims ушел в Pending, в деталях пусто просто
Stateful Sets - 0\3
Solyar
Solyar
Или это локальные волюмы?
Egor
может я лось =) но чет не взлетает =(
Solyar
локальные, без коннекта куда либо.
Тогда тут два варианта. Либо у вас провижинер локальный не работает и надо ручками создавать PV / PVC или неправильный сторажкласс используете
Solyar
А если еще из хельм чарта поставили то 90% проблема в этом
Egor
там PV и PVC не были прописаны.
Egor
мудрил сам, скорее всего из за этого =)
Solyar
Solyar
в общем создайте руками PV с подходящей конфигурацией и задеплойте стейтфулсет
Solyar
Всё будет работать
Egor
Solyar
Konstantin
Solyar
Если использовать провижинер, клейм делает запрос, получает место и монтирует PV. А провижинера нет, так что придется ручками создать PV чтобы он его зацепил
Алексей
@shinkei ну отключи oom для iscsid, и пусть тогда он хоть заприходится
Konstantin
Вы видимо уже это делаете :) Доброго утра всем.
Алексей
ну и даже если он будет прибит
что дальше произойдет?
Egor
NM
NM
Но конечно же если ZFS то это полочка это понятно под локальную молотилку под DB2/Oracle - (AIX/OS400 и тому подобное) - но это и не облака а локальный ЦОД
NM
Алексей
протоколу > 20 лет
первая реализация была по моему в 1998 году
есть очень большое подозрение, что раньше сдохнет etcd вместе с кубером чем я увижу какието фатальные проблемы с iscsi
@corsars77 ну собственно да ))
вопрос был к @shinkei
NM
Алексей
а в чем проблема загона в кластер?
Алексей
сейчас как внешний, а хочется загнать в control plane?
NM
да никаких пока не было - даже демон работает вместе с соседом в поде etcD нормально. Там только вопрос включения и выключения в схеме когда нода умерла
NM
именно момент выбора политики включения еще одного после падения ноды (третьего то есть) - кто будет включать и как поднимать второй узел через cloudInit вместо упавшего узла - но это детали
NM
Алексей
конкретизируй примером
не очень понятно
типа
был кластер etcd из 3 нод
одна нода сдохла (вернее сами выключили)
выкинули эту ноду из кластера, добавили новый хост, ввели его в кластер
Валентин
Solyar
Алексей
@es1vanov ну почитай уж доки
Алексей
там логика на уровне 1 класа
Egor
пошел грызть , всем спс. =)
NM
Алексей
2 мастера ))
https://github.com/etcd-io/etcd/blob/master/Documentation/v2/admin_guide.md
Fault Tolerance Table
посмотри
Алексей
если совсем денег жалко, ставь вообще 1 ноду и бэкапь etcd
либо ставь 3
Валентин
Tuntsov
А в двух мастерах etcd переходит в ro?
Алексей
ну и вообще
малое кроилово ведет к боьшому попадалову
Алексей
ладно, тут весело, но похоже с ресайзом для iscsi все глухо
и нужно либо самому допилить то что есть
либо закостылить башем и забить
NM
Ну там же командочка была - если инициатор не получил команду то resize не пройдет. У тебя GKE там или AWS ?
Алексей
Железо
Алексей
сам провизионер iscsi не понимает ресайз, в нем этой реализации нет
и в targetd тоже
для того чтоб отрезайзить, нужно в targetd сделать lvextend
далее на той ноде куда примонтирован блоб сделать релоад таргета и отресайзить файлуху
ну и собственно либо поправить targetd + поправить провизионер + добавить ds который при изменении pvc будет релоадить таргет на нужной ноде и ресайзить файлуху
либо дописать эту реализацию в iscsi csi плагине
ну можно впринципе, но я потрачу на это от пары дней до недели
время = деньги, а за это мне явно не заплатят.
NM
давайте снинемся и все заплатим Алексей ?
NM
Алексей
забавно ))
думаю это лучше предложить студентам вузов в качестве дипломного проекта
будет и полезно для прокачки скилов, и бонус в виде кода который можно показать будующим работодателем
думаю тот же redhat вполне заинтересуется таким студентом.
Алексей
golang
grpc
kubernetes
iscsi
csi
тут перечня технологий более чем достаточно для неплохого резюме
NM
кхе кхе 😉
Solyar
Solyar
grpc тоже
George
George
Там рафт
George
У тебя тупо при отказе одного кластер выход из строя
George
При 3 - один отказал - два осталось. Два больше половины - все ок
Solyar