не проще поднять 10 виртуалок - загрузить туда скрипт с адресами и nmap-ом и запустить одновременно на всех ансиблом? 🤔

Это запасной вариант Тут стоит ещё цель - освоение новой технологии, в данном случае k8s

rpc порты кошельков ищешь ?))

Нет, я bughunter и хочу упростить себе жизнь :)

Ммм.. может получиться и усложнить. У внятных хостингов есть мониторинг, который отдаст ~ p113 Gi1/43, rx ← colo_srv_1238 [17397] ~ 72 B pkts :: u778.3 Kpps, b0 pps, m0 pps :: 454.12 Mbps в связи с чем последует бан и абузы за скан

Это запасной вариант Тут стоит ещё цель - освоение новой технологии, в данном случае k8s

ну тогда я бы поднимал 10 нод)

Потребители-сканеры вычисляются на 1-2-3

Ммм.. может получиться и усложнить. У внятных хостингов есть мониторинг, который отдаст ~ p113 Gi1/43, rx ← colo_srv_1238 [17397] ~ 72 B pkts :: u778.3 Kpps, b0 pps, m0 pps :: 454.12 Mbps в связи с чем последует бан и абузы за скан

Да, скорее всего, если использовать их на полную мощность Я на одном хостинге сканировал порты около двух лет, и прилетела абуза только тогда, когда я ну сильно обнаглел и решил выжать максимум :)

проше роутеров с open-wrt найти сотню другую и крутить массовый nmap уже с них )

👌

ну тогда я бы поднимал 10 нод)

Хм, спасибо, запомню этот вариант

проше роутеров с open-wrt найти сотню другую и крутить массовый nmap уже с них )

Ну уж границы закона переходить то зачем)

зачем вообще эластик пихать в Кубер ?

чтобы не копаться с лишним внешним сервисом на поддержке

В тему сканирования портов: https://www.aldeid.com/wiki/Tor/Usage/Nmap-scan-through-tor

а теперь запихай всё это в кубер

вот тебе и норм задачка, для освоения, так сказать

и контейнеры свои пособираешь, и тд. и арбуз не прилетит

так это прокси, тор итд это всё мне ни к чему А контейнер чисто с nmap я уже где-то на докерхабе видел

тор тут для того, что бы тебя хостер ссаными тряпками за массовый nmap не погнал

абузы мб и не прилетят, но цель организации всего этого - это ускорение процесса сканирования, а через прокси и торы я только всё замедлю

вот тут ты подойдешь к моменту "а как мне всё это скалировать"

А сразу после этого "во сколько мне в итоге это обойдётся?" :)

да копейки

так это прокси, тор итд это всё мне ни к чему А контейнер чисто с nmap я уже где-то на докерхабе видел

>А контейнер чисто с nmap я уже где-то на докерхабе видел самое сложное позади

тебе 20 дораров в месяц обойдется лаба в хетцнере где ты это научишься делать (при условии что ты её не будешь выключать) и дальше разовый прогон - это деплой тачек на несколько часов - прогон - разобрать машины

научишься хосты шедулить

тебе 20 дораров в месяц обойдется лаба в хетцнере где ты это научишься делать (при условии что ты её не будешь выключать) и дальше разовый прогон - это деплой тачек на несколько часов - прогон - разобрать машины

хетцнер врде только на месяц позволяет брать

не, клауд сейчас почасовой

но они считают даже выключенные машины

поэтому хосты надо полностью разбирать если не нужны

и тут тебе на помощ приходят всякие тулы типа ранчера, или ансибл )

я на гугле пока остановился, там 300$ на год дают, мол развлекайся с нашими клауд сервисами

ну как варик

А получилось ли у кого настроить cluster-autoscaler на AWS на несколько ASG с разными лейблами\тейнтами?

тебе 20 дораров в месяц обойдется лаба в хетцнере где ты это научишься делать (при условии что ты её не будешь выключать) и дальше разовый прогон - это деплой тачек на несколько часов - прогон - разобрать машины

Чтобы у меня сложилось правильно представление о том, что в твоём понимании "копейки" Какое количество тачек ты тут имеешь ввиду? Я просто боюсь, что если реально разворачивать это всё с тором, то понадобится приличное количество машин, для тех же 5к условных ip адресов

А получилось ли у кого настроить cluster-autoscaler на AWS на несколько ASG с разными лейблами\тейнтами?

юзаем 2 ASG и cluster-autoscaler уже месяца 2, проблем особо не было (только некоторые затруднения с AZ, но это скорее фича, чем баг)

юзаем 2 ASG и cluster-autoscaler уже месяца 2, проблем особо не было (только некоторые затруднения с AZ, но это скорее фича, чем баг)

А какие именно затруднения?

Чтобы у меня сложилось правильно представление о том, что в твоём понимании "копейки" Какое количество тачек ты тут имеешь ввиду? Я просто боюсь, что если реально разворачивать это всё с тором, то понадобится приличное количество машин, для тех же 5к условных ip адресов

ща распишу как у меня

А какие именно затруднения?

В общем прикол в том, что ASG пытается сбалансировать количество нод в каждой из AZ. И если в какой-то момент cluster-autoscaler приведет количество нод в каждой из AZ одной и той же ASG к состоянию (например) 2 (в зоне A)/0 (в зоне B), то ASG через некоторое время молча грохнет одну из нод в зоне A и создаст новую в зоне B (чтобы было 1/1)

Ну и само собой эта нода, которую убивает ASG, ничего не знает о том, что нужно срочно мигрировать с неё все поды. Решили вопрос двумя ASG в разных AZ

Ну и само собой эта нода, которую убивает ASG, ничего не знает о том, что нужно срочно мигрировать с неё все поды. Решили вопрос двумя ASG в разных AZ

Вообще, я о таком подумал и судя по доке Амазона, можно было бы использовать lifecycle-хуки с отправкой уведомления в SQS, но на практике я пока за реализацию такого не брался

вообще да, мысль хорошая, можно попробовать

вообще да, мысль хорошая, можно попробовать

я не совсем понял, будет ли в сообщении имя конкретной ноды, но по идее должно быть

я не совсем понял, будет ли в сообщении имя конкретной ноды, но по идее должно быть

а, отправляется instance id

*добавил в список грядущих развлечений еще один пункт*

еще по идее нужно бы как-то различать события, вызванные решением ASG о перебалансировке и решением cluster-autoscaler о том, что ноду можно убрать (насколько я помню, он тоже запрос на скалирование ASG отправляет)

но вообще мысль четкая, я в эту сторону как-то даже и не подумал, когда впервые столкнулся с этой проблемой)

> А контейнер чисто с nmap я уже где-то на докерхабе видел $ docker run --rm -it alpine # apk add --update --no-cache nmap

еще по идее нужно бы как-то различать события, вызванные решением ASG о перебалансировке и решением cluster-autoscaler о том, что ноду можно убрать (насколько я помню, он тоже запрос на скалирование ASG отправляет)

Тут уже придется в исходниках CA покопаться

ща распишу как у меня

жду с нетерпением :)

я на гугле пока остановился, там 300$ на год дают, мол развлекайся с нашими клауд сервисами

в амазоне тоже free tier есть

жду с нетерпением :)

Сори, работа. Вообщем под лабу кубера в хетцнере беру машинки по 5.5 евро. Тебе минимум нужен один мастер, один слейв. Еще я использую ранчер на отдельной машинке - итого 16.5 дораров. В ранчере настрой шедулер хостов который либо по расписанию может поднимать машины в нужном количестве на определенное время, либо по запросу.

Если тебе надо быстро поднять машин, прогнать на них что-то и потом разобрать - ты уложишься в 20 евро

Если тебе надо быстро поднять машин, прогнать на них что-то и потом разобрать - ты уложишься в 20 евро

Ага, понял, спасибо

а какой-нибудь lvm или block-device кубернетис пока не поддерживает да?

я так понимаю есть только persistent volume local, который прибивается в папку какую-то конкретную, которую предварительно для этого нужно подготовить

это самый базовый вариант. В документации можно почитать про storage class'ы, которые на данный момент реализованы, если хочется автоматически себе вольюмы нарезать

точнее про provisioners

а какой-нибудь lvm или block-device кубернетис пока не поддерживает да?

поддерживает

это самый базовый вариант. В документации можно почитать про storage class'ы, которые на данный момент реализованы, если хочется автоматически себе вольюмы нарезать

storage-class я так понимаю, что это когда несколько local persistent volume директорий подготовил и можно использовать грубо говоря из этого пула место

так ведь?

зависит от конфига, как я понимаю

зависит от того с чем это кушать

local-provisioner и в блочные девайсы умеет

provisioner -> storage-class -> PVC -> PV, в этом порядке всё конфигурится

киньте в меня докой, если я не прав = )

local-provisioner и в блочные девайсы умеет

мельком глянул, что это под, который на хосте хозяйничает и нарезает PV?

или я не так это понимаю

это ПОД который где-то хозяйничает и выделяет где-то место под вольюм. Это можжет быть провиженер клауд-провайдера - например он по запросу тебе EBS вольюм в амазоне нарежет, или еще где. Это может быть rbd провиженер который тебе в ЦЕФе нарежет кусочек и тд

это ПОД который где-то хозяйничает и выделяет где-то место под вольюм. Это можжет быть провиженер клауд-провайдера - например он по запросу тебе EBS вольюм в амазоне нарежет, или еще где. Это может быть rbd провиженер который тебе в ЦЕФе нарежет кусочек и тд

https://github.com/kubernetes-incubator/external-storage/tree/master/local-volume/provisioner

это оно да?

да

тебе его надо дополнительно поставить сначала, потом уже от него плясать

а там конфигурация действительно такая скудная или просто ссылку на документацию не положили в репу?

https://github.com/kubernetes-incubator/external-storage/blob/master/local-volume/provisioner/deployment/kubernetes/example/default_example_provisioner_generated.yaml

вообще это же инкубатор

ну да, это я глянул

Я бы поискал что-нибудь надёжнее )

Звёздочек вроде даже много

Оно теперь тут https://github.com/kubernetes-sigs/sig-storage-local-static-provisioner

Ребят, а кто чем логи приложений в кубере парсит?