Vitali
о, конкрентика, спс
Евгений
Можно rsyslog с file input'ом
Евгений
Деплоишь в daemonset в привилигерованном режиме
Vitali
Деплоишь в daemonset в привилигерованном режиме
звучит как то, что надо, есть где почитать про оно?
Peter
Деплоишь в daemonset в привилигерованном режиме
лучше наверное hostPath вместо привилегий. а то жирновато
Andrey
о, конкрентика, спс
или GELF. У меня fluent-bit шлёт в graylog. Правда сам graylog внутри кластера, но я думаю fluent-bit без разницы будет, если ему адрес указать внешний
Vitali
спасибо всем, я думаю пока хватит на покурить мануалы
gigimon
товарищи, а кто-то рулит всем, что запускается в кубернетисе через терраформ? как указать service без единого порта?
Sergey
Подскажите пожалуйста. Пытаюсь загнать все служебные сервисы на одтельную ноду. Возникла проблема с тем не переходят ноды которые привязаны к pvc(gb2) которые находятся в aws. Можно както перенести все на другую ноду не потеряв данные ?
Lucky SB
нет) а как это можно обойти?)
Что обойти ? Необходимость думать ?
Sergey
Что обойти ? Необходимость думать ?
Подключение к одному хранилищу
🦠
😂😂😂
Ержан, просыпайся!
Sergey
я сделал день этому чату видимо) А вот как перенести диск на другую ноду не помогли
Nikita
я сделал день этому чату видимо) А вот как перенести диск на другую ноду не помогли
как обычно, отцепить и прицепить к другой но зачем это все делать-то?
Sergey
как обычно, отцепить и прицепить к другой но зачем это все делать-то?
Криво настроил прометеус он на диск зацепился а диск привязан к ноде. То что он првязан к ноде только сейчас понял вот теперь думаю как отцепить его от диска и от ноды)
Lucky SB
я сделал день этому чату видимо) А вот как перенести диск на другую ноду не помогли
ну ты ж ничего и никаких манифестов не показал... - кластер EKS или под твоим управлением ? - выкладывай на пастебин и сюда ссылки манифестов pv, pvc, пода. каким образом ты проводишь свой шаманизм под названием "собрать все служебные сервисы на одну ноду" ?
Nikita
Если ты юзаешь pvc и ebs то он будет привязан. :D
Отделение Bereke Bank
Подскажите. Дал поду лейблы prometheus.io/port и prometheus.io/scrape. В веб-морде прометея вижу под в Service Discovery. Но в таргетах его нет. Куда копать?
Sergey
Если ты юзаешь pvc и ebs то он будет привязан. :D
ага)))) в момент когда я настраивал забил на это)
Lucky SB
Если ты юзаешь pvc и ebs то он будет привязан. :D
я в амазонах не силен.... но неужели это правда ? при провизионинге нового pv, он намертво подключается к узлу ??? и не может быть отомнтирован от одного узла и примонтирован к другому ??? что-то мне не очень верится в это.
Nikita
pvc с ebs rwo
Nikita
ebs может быть зааттачен к инстансам в одной зоне
Nikita
поэтому я в зависимости от типа нагрузки и хотелок по доступу юзаю ebs с rwo или efs c rwx
Lucky SB
ebs может быть зааттачен к инстансам в одной зоне
ну да. а узлы в EKS разбросны по разным зонам доступности ?
Nikita
ну да. а узлы в EKS разбросны по разным зонам доступности ?
если честно я хз, никогда не юзал eks, у меня там свои кластеры на ec2
Nikita
но думается, что да
Lucky SB
Те если в кластере три узла, и они в разных az то будет выглядеть так что pv прибит к узлу. Хотя на самом деле ему просто некуда ехать
Lucky SB
Вот собственно для этого и надо манифесты показывать. @
Sergey
@LuckySB kind: PersistentVolumeClaim apiVersion: v1 metadata: name: prometheus-server namespace: prometheus selfLink: /api/v1/namespaces/prometheus/persistentvolumeclaims/prometheus-server uid: bb6fe5c4-1c18-12ea-81d2-0242ddc8198a resourceVersion: '14339636' creationTimestamp: '2019-12-11T13:18:33Z' labels: app: prometheus chart: prometheus-9.5.2 component: server heritage: Tiller release: prometheus annotations: pv.kubernetes.io/bind-completed: 'yes' pv.kubernetes.io/bound-by-controller: 'yes' volume.beta.kubernetes.io/storage-provisioner: kubernetes.io/aws-ebs volume.kubernetes.io/selected-node: ip-XXX.eu-west-1.compute.internal finalizers: - kubernetes.io/pvc-protection spec: accessModes: - ReadWriteOnce resources: requests: storage: 8Gi volumeName: pvc-bb6fe5c4-1c18-11ea-81d2-1242ddc8198a storageClassName: gp2 volumeMode: Filesystem status: phase: Bound accessModes: - ReadWriteOnce capacity: storage: 8Gi
Sergey
apiVersion: v1 kind: PersistentVolume metadata: annotations: kubernetes.io/createdby: aws-ebs-dynamic-provisioner pv.kubernetes.io/bound-by-controller: "yes" pv.kubernetes.io/provisioned-by: kubernetes.io/aws-ebs creationTimestamp: "2019-12-11T13:18:34Z" finalizers: - kubernetes.io/pv-protection labels: failure-domain.beta.kubernetes.io/region: eu-west-1 failure-domain.beta.kubernetes.io/zone: eu-west-1c name: pvc-bb6fe5c4-1c18-11ea-81d2-0242ddc8198a resourceVersion: "201705" selfLink: /api/v1/persistentvolumes/pvc-bbwfe5c4-1c18-11ea-81d2-0242ddc8198a uid: bbee4a19-1c18-11ea-81d2-0242ddc8198a spec: accessModes: - ReadWriteOnce awsElasticBlockStore: fsType: ext4 volumeID: aws://eu-west-1c/vol-0eb9b19ccc07ed6ce capacity: storage: 8Gi claimRef: apiVersion: v1 kind: PersistentVolumeClaim name: prometheus-server namespace: prometheus resourceVersion: "201682" uid: bb6f25c4-1c18-11ea-81d2-0242ddc8198a nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - key: failure-domain.beta.kubernetes.io/zone operator: In values: - eu-west-1c - key: failure-domain.beta.kubernetes.io/region operator: In values: - eu-west-1 persistentVolumeReclaimPolicy: Delete storageClassName: gp2 volumeMode: Filesystem status: phase: Bound
Lucky SB
Ну вот. В описании есть node affinity
Lucky SB
Pv привязан к узлам с меткой фейлур зоны еу-1с если у тебя в этой зоне один узел, то сам понимаешь....
Sergey
Я перебросил ручками ebs с одной ноды на другую и все заработало
Sergey
зашел в амазон и приатачил ebs к другой ноде
Lucky SB
магия блин. и куб сам сообразил, что вон тот новый /dev/vdb, который появился на узле является томом с id vol-0eb9b19ccc07ed6ce ?
Sergey
)
Sergey
я пока не понял)
Sergey
веротяно я просто что-то сломал)
KrivdaTheTriewe
было у кого https://github.com/kubernetes-incubator/external-storage/issues/1199 ?
Lucky SB
было у кого https://github.com/kubernetes-incubator/external-storage/issues/1199 ?
у тебя CSI или по старинке ? провизионер RBD встроенный в куб или ceph.com/rbd ?
KrivdaTheTriewe
использую последнюю версию kubespray
KrivdaTheTriewe
у тебя CSI или по старинке ? провизионер RBD встроенный в куб или ceph.com/rbd ?
лезу в контейнер с провизонером, там /etc/ceph пустое
Roman
упс
Lucky SB
лезу в контейнер с провизонером, там /etc/ceph пустое
а секрет с админским паролем от цефа создал ?
KrivdaTheTriewe
даж продублировал в kube-system и rbd-provisioner
Den
приветствую, кто нибудь делал glusterfs+heketi на двух нодах с arbiter volume или без трёх нод никак?
MRY
Всем привет ктонибудь composer + PHP прогонял через pipline Jenkins-а для k8s ???
Grisha
Ребзя, хелп плиз, есть ceph по наследству, нужно расширить диск, сам диск я расширил, потом расширил lvm, бутнут цеф, видно что osd размер новый подхватил, а размер pool осталчя прежний, шо делать:)?
Grisha
этим я прям щас и занят
George
Он не работает с лвм просто так, а жрет целые разделы
Grisha
и темнемение без расширения lvm дела не будет:) поэтому его я и расширил
Grisha
root@mon-1:/home/htatsyi# ceph df RAW STORAGE: CLASS SIZE AVAIL USED RAW USED %RAW USED ssd 1.5 TiB 47 GiB 1.4 TiB 1.4 TiB 96.88 TOTAL 1.5 TiB 47 GiB 1.4 TiB 1.4 TiB 96.88
Grisha
я вижу что cephу доступны все 1.5TB , но дальше как это прокинуть в пул не нахожу
Grisha
https://docs.ceph.com/docs/master/cephfs/ в упор не вижу где тут extend или resize
George
Плейсмент группы правил ?
George
У тебя же mon + osd ?
Grisha
da
Grisha
ceph pg stat 361 pgs: 1 peering, 15 active+remapped+backfill_toofull, 345 active+clean; 97 GiB data, 1.4 TiB used, 47 GiB / 1.5 TiB avail; 1464/25977 objects misplaced (5.636%)
Grisha
по преднему считает 1.4TB ханятыми
Anton
TiB != TB
Lucky SB
по хорошему цеф расширяют добавлением OSD. если цеф достался по наследству - значит там версия цефа старенька. и не факт что оно умеет расширять раздел для хранения данных свой
Grisha
спасибо, это очень помогло))
Lucky SB
вы бы в https://t.me/ceph_ru