Sn00part
Куча подов читает с одного вольюма без rwm. Ведь это ReadWriteMany
Sn00part
Это shared storage что значит на одной ноде
Sn00part
Он доступен с любой из нод
Sn00part
RWM это читают все пишут все
Nikita
Несколько подов могут читать и писать один волюм с rwo, если они на одной ноде.
Sn00part
При использовании local path да, но тут то линстор
Sn00part
Я его могу хоть на ноутбук замаунтить
Sn00part
Там внутри drbd тупой, lvm, zfs
Sn00part
Shared storage, он на то и shared
Nikita
Sn00part
Откуда такие выводы, можете поделиться ходом своих мыслей? При использовании shared storage читать из хранилища в rwo можно хоть с Марса, если хватит пропускной способности сети.
Nikita
Под не зацепит вольюм с rwo, если его уже юзает другой под на другой ноде.
Nikita
Если надо читать с кучи подов с разных нод - нужен rox.
Sn00part
это же баг был в 1.10 еще пофикшеный, не должно быть таких проблем больше да, надо ROX,
Nikita
Какой баг? Так задумано и багом не считается.
Nikita
ReadWriteOnce – the volume can be mounted as read-write by a single node
Nikita
https://github.com/kubernetes/kubernetes/issues/26567
Sn00part
https://github.com/kubernetes/kubernetes/issues/63183
Nikita
Там был косяк с ReadOnlyMany
Nikita
Мы говорили о RWO
Nikita
А не о ROX
Sergei
Могу сказать только за ceph-csi(RBD) RWO монтирование волумов к множетсву подов работает только если они на одной ноде ROX - https://github.com/ceph/ceph-csi/issues/725 RWX - только как блочное устройство cephfs может все, но слишком медленный
Nikita
Это очевидно и описано в документации. Поэтому хз о чем был разговор)
Sn00part
возможно я чет не так понял , с утра я обычно туплю. можно попробовать сделать так = на хост ноду монтируется блок девайс, потом через localpath там нарезаются волумы. из недостатков - нельзя будет регулировать размеры волума, также там все под рутом только работать будет но проблем с конкурентным доступом быть не должно
Nikita
Решение такое себе.
Nikita
Если хочется иметь rwo, pvc и много подов - все решается с affinity.
Nikita
Дело пяти минут, заставить поды жить вместе.
Boriss
Про вп никто ниче не сказал :(
Boriss
https://docs.portworx.com/portworx-install-with-kubernetes/application-install-with-kubernetes/wordpress/#summary Возможно ли сделать также но с какимто фри solution’ом
Boriss
Fast “multi-writer” or “shared” volumes for file uploads needed as the WordPress PHP container is scaled horizontally
Nikita
Или юзать аффинити и любой сторадж.
Nikita
Чтобы поды с общим стораджем жили на одной ноде.
Boriss
И если эти поды на одной ноде...с вольюмом...бум и взорвалась нода...чо буит
Boriss
И CephFs ты имел ввиду
Boriss
?
Nikita
И если эти поды на одной ноде...с вольюмом...бум и взорвалась нода...чо буит
Вопрос о вариантах - назвал) Если речь о проде и важных данных - надо юзать нормальный отдельный сторадж.
Nikita
И CephFs ты имел ввиду
Рук с цефом разворачиваются быстро и умеют rwx.
Boriss
Да его пробовал тоже..но там минус..токо одну фс можно иметь
Евгений
Подозреваю что рук просто цеффс юзает
Boriss
Да...я создал один деплой на rwx...скэйлил изи...создал второй дэплой к этому же фс...все повисло :)
Nikita
ext4 не умеет только :)
Умеет и ext4, и xfs.
Boriss
Ну я как щас помню... создал nginx 6 подов.... потом создал еще один на 3 пода и все висело...даже ноды вылетели с кластера :)
Евгений
Умеет и ext4, и xfs.
Не умеет, ни ext4, ни xfs это не кластерная ФС. Вы же понимаете, что для RWM нужна синхронизация?
Евгений
https://github.com/rook/rook/issues/543 Ну вот, рук юзает цеффс для rwm
Nikita
Рук это всего лишь оператор, под капотом он юзает что укажете из поддерживаемого. Есть и nfs. Как вижу, люди юзают ceph и rwx: https://github.com/rook/rook/issues/1125#issuecomment-469488011
Евгений
Цеффс это не цеф
Евгений
Вот вы сами скинули комментарий про то как человек использует цеффс, а говорите цеф-цеф
Nikita
Рук юзают с цеффс, поэтому и пишу цеф)
Nikita
Видимо надо было точнее писать))
Nikita
Имею ввиду CephFS+rook и GlusterFS + heketi. :)
𝚔𝚟𝚊𝚙𝚜
Без знания дела туда лучше не соваться
𝚔𝚟𝚊𝚙𝚜
https://github.com/rook/rook/issues/543 Ну вот, рук юзает цеффс для rwm
Емнип там ещё и ganesha-nfs есть, юзается с cephfs бэкендом
Boriss
@kvaps так а у линстора есть какие-то возможности в фс и rwx
Nikita
rwx не умеет.
𝚔𝚟𝚊𝚙𝚜
@kvaps так а у линстора есть какие-то возможности в фс и rwx
rwx нет, но можно добавить nfs-server-provisioner
Nikita
@kvaps так а у линстора есть какие-то возможности в фс и rwx
Попробуй гластер, он кластерный, с репликацией и rwx. У меня давно работает без нареканий.
George
Так
Я проверял - rwo даже для подов будучи на одной ноде не позволяет клеймить вольюм
George
Со всеми вытекающими
Nikita
Хз как проверял.
Nikita
У меня работает)
George
Что хуже - даже если в спеке вольюма rwx, а нижележащий csi не умеет rwx, то ловим тот же эффект
George
Это цепх, да
Nikita
Без проблем ну лонгхорне работает rwo на нескольких подах.
George
Хз как проверял.
Ну, как - я гвоздями поды прибивал к одной ноде. А дальше, как ты писал, - под создаётся, но не может подмаунтить pvc
Nikita
Оно и должно работать по задумке.
Nikita
Если нет - косяк стораджа
George
ReadOnlyMany – the volume can be mounted read-only by many nodes
Nikita
Это цепх, да
Ну с цеф голым хз, не смотрел.