А что с ним не так?

он концептуально "не так". Но мы с вами по этому поводу спорили и к консенсусу так и не пришли

он концептуально "не так". Но мы с вами по этому поводу спорили и к консенсусу так и не пришли

Со мной?

по-моему с вами

Не помню, Я вообще про него первый раз услышал и было интересно.

Мы как раз сторадж ищем

На болтше объектный подходит, но и такой тоже прмсматриваем. Вот и поинтересовался.

значит это были не вы :) но в любом случае я не советую его использовать, там слишком много слоев абстракциии и слишком велик риск, что где-то слой перекосит и вы останетесь без данных вовсе. А надежность системы хранения должна быть абсолютной

А что можно под минио подсунуть?

А что можно под минио подсунуть?

диски?

да хватит скакать на мертвой лошади

это не мертвая лошадь, у меня даже метафоры нет

А что можно под минио подсунуть?

в смысле?

это не мертвая лошадь, у меня даже метафоры нет

она очень давно мертвая, скажем так

она очень давно мертвая, скажем так

да нет, последние коммиты свежие

диски?

Оки, то есть отдельно сторадж городить нет смысла под него?

Оки, то есть отдельно сторадж городить нет смысла под него?

не думаю

Оки

да нет, последние коммиты свежие

это не мешает лошади быть мертвой.

Оки, то есть отдельно сторадж городить нет смысла под него?

учитывая, как минио работает – думаю – нет. Если вам нужно "честное S3 хранилище" - минио очень плохой выбор

она очень давно мертвая, скажем так

это как лего техникс. прикольно из кубиков собрать модель машинки или там самолётика но надо быть сказочным долбаебом, что бы пытаться построить из лего техникс настоящий самолёт и пытаться на нем лететь

учитывая, как минио работает – думаю – нет. Если вам нужно "честное S3 хранилище" - минио очень плохой выбор

а что не так там с s3?

учитывая, как минио работает – думаю – нет. Если вам нужно "честное S3 хранилище" - минио очень плохой выбор

А какие варианты? Нам нужен S3 like сторадж объектный

А какие варианты? Нам нужен S3 like сторадж объектный

ceph

требует вдумчивого приготовления

ceph

ну почему же есть писос

ceph

Бррр, а не оверкилл?

минио – если у вас не планируется нагрузка вообще, и у вас там будет 5 метров

минио – если у вас не планируется нагрузка вообще, и у вас там будет 5 метров

Оки

Бррр, а не оверкилл?

а это от ваших задач зависит, я же не знаю, что вы там складываете

минио – если у вас не планируется нагрузка вообще, и у вас там будет 5 метров

да ну не занудствуй терабайт 10 то влезет

может у вас там карта планеты земля в разрешении 1см/пиксель

а это от ваших задач зависит, я же не знаю, что вы там складываете

Мелочь, но главное не проебать

Да и не ожидается большой нагрузки

да ну не занудствуй терабайт 10 то влезет

ага, а потом надо будет это реплицировать и автор вопроса сойдет с ума

И еще, изоляция по неймспейсам

ага, а потом надо будет это реплицировать и автор вопроса сойдет с ума

10 теров? че там сума то сходить

Мне интересно - что бы вы назвали ближайшим опенсорсным аналогом амазоновского ebs?

Мне интересно - что бы вы назвали ближайшим опенсорсным аналогом амазоновского ebs?

ну вот как раз ceph + RBD, думаю

из того, что есть на рынке - самое зрелое

минио – если у вас не планируется нагрузка вообще, и у вас там будет 5 метров

Там недавно кешированиме завезли. Может поможет?

А кто не использует gitlab, на чем регистри делаете? У нас уже есть nexus-oss, он в принципе умеет и регистри быть, но может есть какие-то более удачные решения?

А кто не использует gitlab, на чем регистри делаете? У нас уже есть nexus-oss, он в принципе умеет и регистри быть, но может есть какие-то более удачные решения?

https://hub.docker.com/_/registry/

:) Мне мой в инет светить нельзя

так подними у себя

это ж докер контейнер =)

тоже смотрю на минио (s3 like storage), пока так и не врубился, для распределённого режима ему надо общий ceph-сторадж или нет?

тоже смотрю на минио (s3 like storage), пока так и не врубился, для распределённого режима ему надо общий ceph-сторадж или нет?

В качевстве распределенного сторадж бэкэнда может быть даже СХД

В качевстве распределенного сторадж бэкэнда может быть даже СХД

не, у меня 3 бареметал сервера, и всё

не, у меня 3 бареметал сервера, и всё

https://docs.minio.io/ Вот тут почитай. Там все написано

Minio не умеет масштабироваться

А кто не использует gitlab, на чем регистри делаете? У нас уже есть nexus-oss, он в принципе умеет и регистри быть, но может есть какие-то более удачные решения?

https://jfrog.com/artifactory/

Артифактори для состоятельных парней. Слышал много хорошего о VMware harbor http://vmware.github.io/harbor/

А как решить проблему с ingress + host с wildcard? Хочу просто перенаправить все сабдомены на один сервис, но судя по всему nginx ingress такого не позволяет.

Артифактори для состоятельных парней. Слышал много хорошего о VMware harbor http://vmware.github.io/harbor/

Не слышал о нем, щас посмотрю, спасибо

Всем привет. Кто может подсказать best practice по отправке логов с контейнеров? Или как заставить стадартный fluentd плеваться gelf?

Есть кстати вариация fluentd, называется fluentbit, от тех же ребят, она кубера писалась, там многие вещи проще делаются

Есть кстати вариация fluentd, называется fluentbit, от тех же ребят, она кубера писалась, там многие вещи проще делаются

но она не умеет в gelf (((

Я вот сходу нашел какую-то статью, вроде у fluentd есть плагин для gelf: https://www.fluentd.org/guides/recipes/graylog2

можно с fluentd использовать fluent-plugin-gelf-hs, оно худо бедно работает…

А кто-то сталкивался с тем, что на bare-metal начинает умирать kube-dns от того, что много запросов? Liveness probe failed: HTTP probe failed with statuscode: 503 dnsmasq[10]: Maximum number of concurrent DNS queries reached (max: 150) И подобное, как забороть?

А сколько реплик kube-dns запущено? Может просто докинуть реплик поможет

А кто-то сталкивался с тем, что на bare-metal начинает умирать kube-dns от того, что много запросов? Liveness probe failed: HTTP probe failed with statuscode: 503 dnsmasq[10]: Maximum number of concurrent DNS queries reached (max: 150) И подобное, как забороть?

ресурсы ограничены? как-то ловил такое в kubespray для CNI ?

Добавил до 3х, падают регулярно

хотя внутри в сего 15-20 под

А кто не использует gitlab, на чем регистри делаете? У нас уже есть nexus-oss, он в принципе умеет и регистри быть, но может есть какие-то более удачные решения?

в гитлабе есть registry, или не устраивает?

А кто не использует gitlab, на чем регистри делаете? У нас уже есть nexus-oss, он в принципе умеет и регистри быть, но может есть какие-то более удачные решения?

Глянь на Atomic host

Там регистри где-то был

А кто не использует gitlab, на чем регистри делаете? У нас уже есть nexus-oss, он в принципе умеет и регистри быть, но может есть какие-то более удачные решения?

vmware harbor посмотрите

мне понравился

ребят а гдето можно узнать почему hpa поднял дополнительные pod у меня стоит чтобы при cpuPercentage: 70 но больше 10 процентов не подымается

describe hpa натрави на него

describe hpa натрави на него

имею ввиду чт kubectl top node показывает всегда низкую нагрузку

ты спросил где можно узнать. Я тебе сказал где

имею ввиду чт kubectl top node показывает всегда низкую нагрузку

А при чем тут topNode и hpa

А при чем тут topNode и hpa

а разве они не связаны ? лимитов нет ведь на pod

Ну если так.

Ребят, а вот на куб кластере, на нодах DNS хостовый, а не кластера. Как решаются вопросы, "one-shot" тасков внутри кластера. Тоесть к примеру нужно разок запустить контейнер, который сделает какую то работу, но нужно чтобы они при всём этом запустился с "параметрами кластера", тоесть чтобы видел сервисы другие и всё такое

Ребят, а вот на куб кластере, на нодах DNS хостовый, а не кластера. Как решаются вопросы, "one-shot" тасков внутри кластера. Тоесть к примеру нужно разок запустить контейнер, который сделает какую то работу, но нужно чтобы они при всём этом запустился с "параметрами кластера", тоесть чтобы видел сервисы другие и всё такое

Вам нужно делать job, параметры кластера оно получит будучи запущенной в кубе, надо только их включить в ямле

А, кажется вижу. спасибо.

ребят, а кто как шипит логи контейнеров в свой отдельный эластик кластерок ?я смотрю на вариант filebeat и запуск его как daemonset и выглядит вроде приятно. Что сказать можете ?

fluentd

а в чём преимущество ?

схема таже ? читаем всё из /var/lib/docker/containers и запускаем как daemonset ?

в том что логстеш тяжелый и логи хранит по гигу в день?)

filebeat это маленькая программка

логстеш не предлагается

присоединяюсь к вопросу, зочем нужен fluentd

а, т.е сразу без логстеша

ну да, он из коробки если что в кафку умеет.

я пока не сделал, но я бы хотел демонсетом filebeat -> kafka -> elastic

без логстешей

можно сразу в эластики и в кафки ряд логов

у нас и так структурированные логи почти везде

а если не структурированные, то ingest ноды теперь есть