Andrey
Коллеги, а кто-то включал DynamicKubeletConfig kops'ом?
Не понимаю, каким образом можно задать спеку:
configSource:
configMap:
name: CONFIG_MAP_NAME
namespace: kube-system
kubeletConfigKey: kubelet
На всех нодах.
𝚔𝚟𝚊𝚙𝚜
файлы шарить между бэкендами
Желательно избегать таких кейсов, но если очень хочется, то можно взять NFS, желательно сразу прописать опции vers=3 и soft - если приложение это поддерживает
Сергей
Шарить картинки и загрузки
Сергей
Я об этом
Incognito
s3 тема, да
Rainbow
s3 есть у всех адекватных хостеров, на крайняк minio
Rainbow
И то, что у феца есть s3 не значит, что его можно ставить
Andor
феца
Andor
сетенребук
G72K
даже не в джобу, а в настройки сервис-дискавери для алертменеджеров
Оператор конфигурирует алерт менеджеры вот по этим CR
Andor
но я не вижу где эти переменные исползуются в kube-prometheus
Andor
я алертменеджеры у него отключил, пытаюсь на старые натравить
G72K
Я кофе еще не пил, ничего не понимаю чего хочется, извиняйте
Andor
хочу понять откуда генерируется конфиг для подключения prometheus->alertmanager
Andor
и поправить это место
G72K
хочу понять откуда генерируется конфиг для подключения prometheus->alertmanager
В Prometheus CR есть ruleSelector вот из них
Andor
да не rule мне нужны
Andor
мне надо найти alertmanager service discovery
Andor
не правила агрегации-алертинга, а подключение к алертменеджеру
G72K
s3 есть у всех адекватных хостеров, на крайняк minio
Интересно, а хостеры на чем S3 делают? Свое пишут?
Stanislav
есть N всяких совместимых хреней
Rainbow
Интересно, а хостеры на чем S3 делают? Свое пишут?
есть эпик разбор ceph от digitalocean. Мне не хочется так же
Rainbow
https://status.digitalocean.com/incidents/8sk3mbgp6jgl
Stanislav
Могу выразить много чего за riak cs (не помню, как оно сейчас называется). Точнее, за его подложку riak. Вкратце: при большом числе файлов в бакете - большие тормоза + потеря данных таки возможна независимо от количества файлов.
Andor
> при большом числе файлов в бакете
> независимо от количества файлов
хммм
Andor
а, это разные проблемы
Stanislav
разные, да...
Stanislav
Ещё могу добавить то, что при расширении кластера добавлением железки перебалансировка тоже идёт через ж... Мне удалось сделать более-менее равномерное распределение где-то на 3-ей итерации "убрал сервер из кластера, данные перераспределились, добавил сервер обратно, данные перераспределились". Ручек повлиять на распределение - нет.
Stanislav
Вобщем, ну его на этот риак...
Rainbow
Вобщем, ну его на этот риак...
особенно если учесть что все приложения что я видел и уаствовал в разработке обходились s3 и базой (база просто отдельно от кластера или managed) в плане постоянного хранения.
Stanislav
Речь про S3 от хостера. У нас (местный хостер) таки пытались сделать S3.
Rainbow
s3 всегда можно сделать отдельно + прокси nginx.
Stanislav
Я в смысле "не пытайтесь повторить это дома". Всякие minio - это не совсем S3 всё-таки.
G72K
не правила агрегации-алертинга, а подключение к алертменеджеру
Поле alerting через которое по цепочке выбираются endpoints куда слать алерты. Endpoint с внешними алертменеджерами придется создать самому
Andor
мне проще указать additionalAlertManagerConfigs
G72K
https://status.digitalocean.com/incidents/8sk3mbgp6jgl
Помню этот случай, я все в тех блоге ждал разобра, а оказалось вон оно где. Почитаю. В блоге видимо только сацесс сторис
Andor
Поле alerting через которое по цепочке выбираются endpoints куда слать алерты. Endpoint с внешними алертменеджерами придется создать самому
реально хрень какая-то в этом пункте
Andor
ещё один баг в jsonnet:
params[params.type] сделать нельзя, а local type = params.type]; ... params[type] - можно
Rainbow
Rainbow
ещё один баг в jsonnet:
params[params.type] сделать нельзя, а local type = params.type]; ... params[type] - можно
local params = {
type: 'test',
test: 1,
};
{
value: params[params.type],
}
работает же
Andor
у меня только что не работало
Andor
у меня в значении хеш
Rainbow
там ошибка если нет key в объекте
Andor
local type = params.type;
local alertmanager_config = [
params[type],
];
Andor
вот так работает
Andor
а если params.type вписать - не работало
Andor
ERROR find objects: output: can't handle index type *ast.Index
Rainbow
ты скинь минимальный пример, а то так вроде вск ое
local params = {
type: 'test',
test: 1,
};
local alertmanager_config = [
params[params.type],
];
alertmanager_config
Andor
лень
Rainbow
у тебя ошибка где то в другом месте скорее всего
Andor
ну ошибка исчезла когда я сделал как показал
Rainbow
это карго культ
Andor
если я выделю точный кусок кода который будет возвращать ошибку - я быстрее сделаю багрепорт, чем сюда писать :)
G72K
local type = params.type;
local alertmanager_config = [
params[type],
];
А если params[local t = params.type; t] ?
G72K
ты скинь минимальный пример, а то так вроде вск ое
local params = {
type: 'test',
test: 1,
};
local alertmanager_config = [
params[params.type],
];
alertmanager_config
Может там циклическая зависимость в реальном коде? Если в вашем тесте сделать type: 'type' то с какой ошибкой падает?
Rainbow
G72K
Хотя вынос в local циклическую зависимость не вылечит, так что врят ли оно
G72K
https://github.com/hjacobs/kubernetes-failure-stories
Энциклопедия боли :) в первом отчете мне кажется limits на сайдкары спасло бы. Ну и kubelet/dockerd в свои cgroups и урезать GOMAXPROCS им должно помочь бы
Andor
ну я может попробую потом
Andor
с выводом ошибок в jsonnet/ksonnet всё довольно грустно
G72K
Почему? Всегда указывется конкретная строка и что за ошибка
Andor
ха-ха
Andor
классная шутка
G72K
Вот то что там свои printf не расставить это да.
Andor
ERROR find objects: RUNTIME ERROR: Field does not exist: spec
<extvar:__ksonnet/components>:318:12-17 thunk from <object <anonymous>>
<std>:232:22-25 thunk from <function <anonymous>>
<std>:232:13-26 function <anonymous>
<extvar:__ksonnet/components>:(316:20)-(318:23) object <anonymous>
During manifestation
Andor
где ошибка?
Andor
ERROR find objects: <extvar:__ksonnet/components>:272:18-27 Unknown variable: endpoints
endpoints: endpoints,в какой строке?
Andor
я конечно нашёл тогда где были ошибки, но сейчас уже не вспомню
Vadim
Энциклопедия боли :) в первом отчете мне кажется limits на сайдкары спасло бы. Ну и kubelet/dockerd в свои cgroups и урезать GOMAXPROCS им должно помочь бы
вряд ли докеру понравятся такие манипуляции, но попробовать стоит
Vadim
лучше всего его, конечно же, "отвезти на ферму пожить на природе" евпочя
Andor
просто хешики
Alexey
#whois Росатом проект облако. Linux. Черпать знания.
Rainbow
#whois Росатом проект облако. Linux. Черпать знания.
рос*
https://cs6.pikabu.ru/images/previews_comm/2015-03_5/14270439929951.jpg
Andor
не правила агрегации-алертинга, а подключение к алертменеджеру
теперь понял где настроить то что мне надо
Fomalhaut
Приветствую! 😊