А между машинами разными даже в одном дц уже проблема будет

А если (а чаще всего так и есть) машины в разных дц стоят

на серьезном rps у тебя оно уже скейлится и лоадбалансится

А когда у тебя сервисов 10 в одной вязанке + серьезный rps

вопрос в латенси

То на задержках ты точно можешь поседеть

А между машинами разными даже в одном дц уже проблема будет

Ну это проблема только если говорить о том, что субмилисекундные задержки это уже критично для проекта

Проблема в том что это все в любом случае головная боль разработчиков, а еще нужен девопс для этого

Они даже на локальном интерфейсе уже начинают что-то жрать в рамках одной машины, когда речь о серьезном rps

Ну балансеры как-то живут и ничего

А многие команды же это ты да я да мы с тобой

Деньги на девопсов не у всех есть

нашлись деньги на микросервисных евангелистов, найдутся и на девопсов

если нет денег на девопсов, то я не понимаю о чем речь

Короче я лично согласен с Фаулером - если у тебя есть команда экспертов в микросервисах, и ты на 100 процентов осознаешь что делать, можешь делать микросервисы. Если нет, начни с монолита

“Микросервисные евангелисты” это обычно 1 разработчик :)))

По крайней в тех примерах, что я видел

вот пусть и будет девопсом в нерабочее время 8)

вот пусть и будет девопсом в нерабочее время 8)

Да, это отличный вариант ?

“Микросервисные евангелисты” это обычно 1 разработчик :)))

разработчик 10 микросервисов напилил, а мониторинг, трейсинг, метрики, логи не напилил и страдает

разработчик 10 микросервисов напилил, а мониторинг, трейсинг, метрики, логи не напилил и страдает

Чаще всего так и есть. И настраивать лень. И фичи надо пилить, сроки вчера как всегда

Разберись с отверткой, сислогом и какой-то матерью где запрос умер, у тебя 30 минут, время пошло )))

Чаще всего так и есть. И настраивать лень. И фичи надо пилить, сроки вчера как всегда

Ну это же классический я у мамы архитектор

Ну это же классический я у мамы архитектор

?

Лаги

Пингует

Если на тему микросервисов пошел разговор, а кто-нибудь делал сервис ресайзинга изображений аля thumbor? Как вы решаете проблему url tampering атаки? Подписывать запросы не вариант, представим себе, что урлы на клиенте генерят

Если на тему микросервисов пошел разговор, а кто-нибудь делал сервис ресайзинга изображений аля thumbor? Как вы решаете проблему url tampering атаки? Подписывать запросы не вариант, представим себе, что урлы на клиенте генерят

Можешь поподробнее расказать в чем суть атаки?

Можешь поподробнее расказать в чем суть атаки?

У тебя сервис ресайзинга с такими урлами http://some.server.com/unsafe/300x300/smart/path/to/image.jpg А тебя закидывают вот такими: http://some.server.com/unsafe/300x301/smart/path/to/image.jpg http://some.server.com/unsafe/300x302/smart/path/to/image.jpg http://some.server.com/unsafe/300x303/smart/path/to/image.jpg ... http://some.server.com/unsafe/300x9999/smart/path/to/image.jpg ... http://some.server.com/unsafe/9999x9999/smart/path/to/image.jpg

А эти урлы валидные с точки зрения системы?

https://thumbor.readthedocs.io/en/latest/security.html?highlight=security тумбор предлагает подписывать урл

Угу

Мы в теории хотели бы ресайзить любых размеров картинки на наших доменах например. Клиент об этом знает, а серверу пофигу

ух

любых

Мы в теории хотели бы ресайзить любых размеров картинки на наших доменах например. Клиент об этом знает, а серверу пофигу

Как насчет shadow ban серийным спаммерам

То есть они там у себя впихнули новый блок 341х237 пикселей блок и вписали ресайз

Девопсы у меня лично на работе бугуртят, что такой вариант будет дырявый. Ну ок, подпишем запросы, но security key на клиенте сопрут. Значит надо подписывать урлы на бекенде. Значит бекенд должен хранить список разрешенных размеров… и вот уж получается не так как хочется. А хочется усесться на оба стула, скинув с них опасные предметы

Как насчет shadow ban серийным спаммерам

Хм, а как это происходит?

Я бы предложил вызывать ресайз только из серверной инфраструктуры, пусть CI клиента дергает с нужными им размерами

Хм, а как это происходит?

Ну в твоём случае можно реализовать правило вроде перебора по счетчику в ограниченный интервал времени - При детекте возвращать валидный ответ, но без реальных данных

Я пока кроме того, чтобы ограничить список размеров в итоге, ничего хорошего не придумал. То есть либо форкнуть тумбор, либо поставить прокси в промежуток между клиентом и ресайзером и там ограничить размеры

Ну в твоём случае можно реализовать правило вроде перебора по счетчику в ограниченный интервал времени - При детекте возвращать валидный ответ, но без реальных данных

А с nginx так можно?

Мне идея нравится с shadow ban

А с nginx так можно?

Скорее всего нет

Я бы предложил вызывать ресайз только из серверной инфраструктуры, пусть CI клиента дергает с нужными им размерами

Ну из серверной это самый безопасный, но при этом и не гибкий вариант

Скорее всего нет

В смысле самому руками это сделать? Типа какой-нибудь разборщик логов в асинхрнном задании и список банов

В смысле самому руками это сделать? Типа какой-нибудь разборщик логов в асинхрнном задании и список банов

Да. Готовые решения я не искал и не могу предложить

Девопсы у меня лично на работе бугуртят, что такой вариант будет дырявый. Ну ок, подпишем запросы, но security key на клиенте сопрут. Значит надо подписывать урлы на бекенде. Значит бекенд должен хранить список разрешенных размеров… и вот уж получается не так как хочется. А хочется усесться на оба стула, скинув с них опасные предметы

Т.е. хочется отдавать картинки любых размеров, но при этом если пользователи начинают запрашивать другие размеры - это для вас боль?

Ну из серверной это самый безопасный, но при этом и не гибкий вариант

Ну если и разработчики клиента не знают какие им надо размеры, но хз даже как защищаться.

Да. Готовые решения я не искал и не могу предложить

Спасибо, идея годная

Т.е. хочется отдавать картинки любых размеров, но при этом если пользователи начинают запрашивать другие размеры - это для вас боль?

Ну да, тут логический дефект. В смысле любые, но если перебор всех подряд, то это уже плохо. Ну скажем 1х1, 2х2, 3х3

Лесенкой будет генерить все варианты от 1 х 1 до max x max. Будет у тебя ресайзов по миллиону одной картинки. И сервису наступит кирдык

Ну да, тут логический дефект. В смысле любые, но если перебор всех подряд, то это уже плохо. Ну скажем 1х1, 2х2, 3х3

ну тогда как выше предложили выявлять по логам и банить. Но whitelist размеров, если это приемлемо, выглядит более надежным вариантом

Ну если и разработчики клиента не знают какие им надо размеры, но хз даже как защищаться.

На самом деле тут есть пометка, что они хотят быть отвязаны в выборе картинок от бекенда и ограничений. То есть иметь гибкость. В теории конечно вписать ограниченный набор из 100-200 вариантов, например, это тоже вариант. Но тогда клиенты будут вынуждены ходить к админам с запросами на добавление новых размеров

ну тогда как выше предложили выявлять по логам и банить. Но whitelist размеров, если это приемлемо, выглядит более надежным вариантом

Да вот я о нем выше и говорил, он один из вариантов, но такой, грустный

С shadow ban идея крутая, но тут уже надо придумывать анализатор + как-то откидывать зловредных клиентов, под нагрузкой это все может столкнуться с проблемами и достаточно серьезными

Нужно ставить толи перед, толи позади nginx свой миддловаро-прокси, который будет отдавать двухсотки без тела, сверяясь с базой забаненных. Потому что nginx так мне кажется не осилит

С shadow ban идея крутая, но тут уже надо придумывать анализатор + как-то откидывать зловредных клиентов, под нагрузкой это все может столкнуться с проблемами и достаточно серьезными

Ну если там перебов разных размеров, то это вероятно боты. Часто боты не загружают статику (js, css)

Да и еще NAT тоже… можно в бан кинуть безвинных людей. Впрочем это уже вообще широкая проблема

С shadow ban идея крутая, но тут уже надо придумывать анализатор + как-то откидывать зловредных клиентов, под нагрузкой это все может столкнуться с проблемами и достаточно серьезными

В общем то хендлер должен откидывать получателя и параметры его запроса, которые накапливаются и анализируются (с небольшой глубиной)

Да и еще NAT тоже… можно в бан кинуть безвинных людей. Впрочем это уже вообще широкая проблема

Есть о чем подумать) Никто не говорил что будет легко

В общем то хендлер должен откидывать получателя и параметры его запроса, которые накапливаются и анализируются (с небольшой глубиной)

А то есть прямо без анализа логов, поставить его перед nginx… ну как вариант конечно

А то есть прямо без анализа логов, поставить его перед nginx… ну как вариант конечно

а ресайз луа в нжинксе делает? Сорри, я просмотрел

а ресайз луа в нжинксе делает? Сорри, я просмотрел

Ресайз делает thumbor - это отдельностоящий хороший сервис с кучей функций, на торнадо написан

Ресайз делает thumbor - это отдельностоящий хороший сервис с кучей функций, на торнадо написан

Ну тогда после nginx перед thumbor. Либо действительно по логам nginx

Ну тогда после nginx перед thumbor. Либо действительно по логам nginx

Тогда остается только это сделать производительно ?

Ну вообще если парсить запросы, класть их в буфер, и анализировать последние N на предмет условий 1) от одного клиента 2) сильно похожие размеры, а потом их отбивать двухсоткой без тела, в принципе это должно быть очень быстро. А оставшихся проксировать на тумбор

Ну в общем явно есть о чем подумать. Спасибо за идею

Ну в общем явно есть о чем подумать. Спасибо за идею

Да не за что

В общем тут возникло обсуждение. Короче можно взять прокси, торы и фигачить запросы в разнобой на разные картинки, из разных стран и с разными юзерагентами. И мы точно не сможем отследить последовательность 1х1, 1х2, 2х1, 3х10, 3х11, 3х12 и тп, хотя от прямого перебора с одного клиента это поможет

В общем тут возникло обсуждение. Короче можно взять прокси, торы и фигачить запросы в разнобой на разные картинки, из разных стран и с разными юзерагентами. И мы точно не сможем отследить последовательность 1х1, 1х2, 2х1, 3х10, 3х11, 3х12 и тп, хотя от прямого перебора с одного клиента это поможет

Можно взять и так. Но рано или поздно список клиентов выявится.

В общем тут возникло обсуждение. Короче можно взять прокси, торы и фигачить запросы в разнобой на разные картинки, из разных стран и с разными юзерагентами. И мы точно не сможем отследить последовательность 1х1, 1х2, 2х1, 3х10, 3х11, 3х12 и тп, хотя от прямого перебора с одного клиента это поможет

Ну простых способов борьбы ботнетами нет

В общем тут возникло обсуждение. Короче можно взять прокси, торы и фигачить запросы в разнобой на разные картинки, из разных стран и с разными юзерагентами. И мы точно не сможем отследить последовательность 1х1, 1х2, 2х1, 3х10, 3х11, 3х12 и тп, хотя от прямого перебора с одного клиента это поможет

whitelist самый дешевый способ.

Тут нет серебрянной пули. Можно написать скрипты для мутации хидеров, урлов, интервалов и пейлоада

Можно взять и так. Но рано или поздно список клиентов выявится.

Я имею ввиду, что это атакующий сделает и испортит нам всю малину ?

Но на моей практике большая часть ботов выявляется тем, что они просто не загружают js/css

whitelist самый дешевый способ.

Да, похоже, что изголяйся, не изголяйся, а без вайтлиста никак

Не хотелось конечно очень

Тут нет серебрянной пули. Можно написать скрипты для мутации хидеров, урлов, интервалов и пейлоада

Да, понимаю

Да, похоже, что изголяйся, не изголяйся, а без вайтлиста никак

А варианта не генерировать ссылки на клиенте нет?

А варианта не генерировать ссылки на клиенте нет?

Есть, но хочется не раздувать пейлоады + не хранить инфу о размерах на бекенде (это инфа клиентов и клиенты разные, не только веб)

Ищу человека, который сможет выполнить задания в Jupiter notebook на Pyton. Оплачиваемо, конечно. Кому интересно - прошу писать мне в этот аккаунт.

Есть, но хочется не раздувать пейлоады + не хранить инфу о размерах на бекенде (это инфа клиентов и клиенты разные, не только веб)

Ну кажется сильно проще и надежнее будет сделать какой-то простой для разработчиков способ добавления размера в whitelist

какую-нибудь админку или что-то типа того

Да, я думал про это. Пока один из жизнеспособных вариантов предложили делать в nginx тупо map/location и туда добавлять с помощью админов размеры