✖️
это все делается на мастере, версия спарка 2.4.1
Etki
наврал я про мастер, выводится в конце spark-submit
Etki
но в реальной жизни вы все равно будете складывать результаты на диск (точнее, в сторадж)/в бд
Grigory
поднят кластер
на нем висят спарк-мастер(репликасет), спарк-история(репликасет), спарк-воркер(репликасет)
Захожу на под спарк-мастера
Кидаю команду spark-submit
и подсовываю пример вычисления пи.
Он самостоятельно поднимает под на ноде, там вычисляет(ибо если мониторить ноду, то там поднимается под выполняется и уничтожается).
Но само значение пи не появляется.
из моего опыта эт плохая идея так все поднимать, лучше нативно на кубере пускать спарк джобы (вместо ярна / мезоса использовать). да, там своя головная боль будет в виде оомов; но хотя бы все более прозрачно. // в противном случае я не понял, что значит идешь заходишь на ‘мастер’
значение пи на драйвере должно быть; как пускал джобу?
Grigory
Stas
Sergey
Etki
прочитал под хрыча
KoBa4oG
Etki
Подкожные жировые запасты
Lex
Какая-то атака ботов
Anonymous
Просто кто то кинул ссылку на чат
Семён
Ребят, есть ли какая-то возможность хельмом отрендерить конфиги и сохранить локально, а не применять на кластер ?
R2
helm upgrade —install --dry-run —debug
Семён
спасибо ) попробую
Grigorii
Ребят, есть ли какая-то возможность хельмом отрендерить конфиги и сохранить локально, а не применять на кластер ?
если tiller'a нет, то helm template
Grigorii
работает вообще без сервера
Alex
Привет! Кто тут на GKE живёт и на Stackdriver мониторинг смог нормально вывести? Не могу найти толковый гайд - сплошные рекламные материалы, остальное либо не подходит, либо не работает так как описывают авторы.
Dmitriy
А что значит "нормально вывести"?
Alex
А что значит "нормально вывести"?
Это значит что мне приходят алерты от приложений, но при попытке посмотреть логи в коллекторе меня кидает туда, где ошибок я не вижу.
Alex
А что значит "нормально вывести"?
А если включаю механизм логирования v2 (beta), то логи в коллектор от приложений вообще перестают поступать
Dmitriy
Наверное это означает, что какая-то часть логов не доходит до стекдрайвера
Dmitriy
У меня это работает с помощью флюентд, я родные форвардеры отключил
Dmitriy
А так я посылаю всякую метадату ещё
Alex
Наверное это означает, что какая-то часть логов не доходит до стекдрайвера
Тогда как срабатывают алерты в таком случае?
Dmitriy
я предположил, что алерты не связаны с логами внутри стакдрайвера. Если это не так - то можно просто полнотекстовым поискать
Alex
я предположил, что алерты не связаны с логами внутри стакдрайвера. Если это не так - то можно просто полнотекстовым поискать
Связаны, потому что алерт сейчас настроен на появление записи уровня ERROR в логах приложения
Alex
И это явно видно в логах алерта
Alex
я предположил, что алерты не связаны с логами внутри стакдрайвера. Если это не так - то можно просто полнотекстовым поискать
Каждый раз искать неудобно. Надо просто один раз всё правильно настроить. Официальная документация бестолковая
Alex
И никак мне не помогла
Alex
У меня это работает с помощью флюентд, я родные форвардеры отключил
Можно вообще ёлку нарядить Кибанами и Прометеями - да, мне это было бы проще, но разрабы хотят всё видеть в stackdriver
Сергей
подскажите как сделать переадресацию с www на без него?
Отделение Bereke Bank
server_name www.domain_name
return 301 http://domain_name$request_uri;
Сергей
server_name www.domain_name
return 301 http://domain_name$request_uri;
у меня нет доступа к конфигу, можно как то в ingress написать анотацию?
Отделение Bereke Bank
А блин) речь про Ingres..
Сергей
может быть ingress.kubernetes.io/configuration-snippet можно заюзать?
Отделение Bereke Bank
может быть ingress.kubernetes.io/configuration-snippet можно заюзать?
https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#redirect-fromto-www
Сергей
https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/annotations/#redirect-fromto-www
я делал это, не редиректит всё равно
Dmytro
включение дебаг логов поможет понять что поисходит
Сергей
включение дебаг логов поможет понять что поисходит
какое значение true или false должен редирект делать на без ww?
Dmytro
не знаю, не пользовался никогда. Что говорит документация?
Artem
Ребятушки, как можно посмотреть содержимое PersistentVolume? Использую GKE
Alex
у меня нет доступа к конфигу, можно как то в ingress написать анотацию?
Я думаю, можно добавить hostname без www к ingress поинту, но это должно на сервере в контейнере поддерживаться
Alex
Но не уверен - будет он 302 делать или нет
Alex
Ребятушки, как можно посмотреть содержимое PersistentVolume? Использую GKE
Только смонтировать куда-нибудь в под или ВМ
Сергей
Я думаю, можно добавить hostname без www к ingress поинту, но это должно на сервере в контейнере поддерживаться
если хостнейм без www то при заходе на сайт с www просто нет сайта)
Artem
Только смонтировать куда-нибудь в под или ВМ
спасибо. Читал про такой вариант, но это колхоз какой-то. А бэкапы тоже делают через под?
Alex
спасибо. Читал про такой вариант, но это колхоз какой-то. А бэкапы тоже делают через под?
Файлового браузера, к сожалению, нет другого. Бэкапы можно делать снэпшотами через управление томами в GKE
Artem
Alex
спасибо. Читал про такой вариант, но это колхоз какой-то. А бэкапы тоже делают через под?
Это они приучают тебя к stateless, как правительства стран поднимают акцизы, чтобы люди не курили )
Kirill
Коллеги, кто использует istio? Довольны? И есть ли у вас pod'ы без istio, которые общаются с istio сервисами?
Alex
hostname указывать в игресе ты имеешь ввиду?
Да, их там можно несколько указывать для каждого поинта. Ну, и в DNS CNAME не забудь - само собой
Dmytro
Файлового браузера, к сожалению, нет другого. Бэкапы можно делать снэпшотами через управление томами в GKE
вот только в этом случае не ожидайте консистентности бекапа
Сергей
Да, их там можно несколько указывать для каждого поинта. Ну, и в DNS CNAME не забудь - само собой
вот если я один указываю то сайт с www не отображается, в силу того что нет редиректа, работает только без www.
Alex
Коллеги, кто использует istio? Довольны? И есть ли у вас pod'ы без istio, которые общаются с istio сервисами?
А так можно? Я знаю только схему с сайдкарами
Alex
Коллеги, кто использует istio? Довольны? И есть ли у вас pod'ы без istio, которые общаются с istio сервисами?
Мне кажется, без сайдкаров работать не будет - как он дискавери будет делать?
Kirill
без сайдкаров в теории должно работать, если без принудительного TLS
Alex
без сайдкаров в теории должно работать, если без принудительного TLS
Мне об этом ничего не известно. У себя istio ещё не запустил
Alex
без сайдкаров в теории должно работать, если без принудительного TLS
Да и вся суть service mesh в этих сайдкарах - звенья между собой через них общаются
Kirill
Да и вся суть service mesh в этих сайдкарах - звенья между собой через них общаются
да, но если пользоваться 3rd party HELM чартами, то они будут предоставлять свои pod'ы, сервисы, ингрессы. А дополнительно кастомизировать из за istio их не хотелось бы
Alex
А кто traefik смог запустить в качестве istio диспетчера?
Alex
Вроде, он это может
Alex
У меня он сейчас на ingress стоит - я просто кипятком писаю!
Andrey
чем он так понравился?
Dmytro
да, но если пользоваться 3rd party HELM чартами, то они будут предоставлять свои pod'ы, сервисы, ингрессы. А дополнительно кастомизировать из за istio их не хотелось бы
так и не надо, истио же сам инжектит сайдкары через admission plugin или как это правильно называется
Alex
да, но если пользоваться 3rd party HELM чартами, то они будут предоставлять свои pod'ы, сервисы, ингрессы. А дополнительно кастомизировать из за istio их не хотелось бы
А ты посмотри - возможно, там всё это можно настроить. Хотя, я сейчас тоже не знаю, как буду свои приложения в istio вязать. Я на прошлой неделе закончил перевод деплоя стека на чарты
Kirill
так и не надо, истио же сам инжектит сайдкары через admission plugin или как это правильно называется
да, но под istio тогда уже нужен не стандартный ingress, а istio gateway & ...
а это получается доп кастомизация чартов
Alex
Из 3rd у меня только редиска и траефик, остальное всё своё
Serg
Добрый день. Не подскажете разворачиваю в vmware vcloud с помощью терраформ 3 машинки с образа который до этого сам сделал экспортировав вмваревский образ в ovf. У всех оказывается одинаковый product_uuid. Как бы сделать так чтобы он отличался?
Dmytro
да, но под istio тогда уже нужен не стандартный ingress, а istio gateway & ...
а это получается доп кастомизация чартов
хмм я не встречал чарты которые идут с ингрессами
Alex
чем он так понравился?
Быстро внедряется, наглядно конфигурится, есть дэшборд и экспортер для прометея
Dmytro
а откуда они знают мой ингресс класс и т.д.?
Andrey
Быстро внедряется, наглядно конфигурится, есть дэшборд и экспортер для прометея
а кластером он у вас нормально работает, стабильно?
Kirill
хмм я не встречал чарты которые идут с ингрессами
много таких, даже сам istio для kiali
https://github.com/istio/istio/blob/1.1.3/install/kubernetes/helm/istio/charts/kiali/templates/ingress.yaml
Dmytro
Alex
Никто не жалуется