@devops_jobs - страница 836

Unsupported

откуда получают картинки, куда их надо класть? неужели такой большой поток, что нужно несколько серверов для этого?

Gleb

А можно пополнее описание?

Есть скрипт состоящий из несольких команд (есть подложка, на которую надо наложить текст и картинку, последние два переданы json’ом). Нужно по post-запросу с параметрами сгенерить картинку этим скриптом (примерно 1 картинка / секунду на одном ядре) и отгрузить картинку в какое-нибудь наше же облако. Проблема в том, что работает это всё неделю и нагрузка неравномерная - от 0 до 200 картинок в секунду

Gleb

И переплачивать за сервера, как вы понимаете, очень не хочется

Андрей

сорян, все верно. не распарсил, что в задаче исходник это картинки

Gleb

откуда получают картинки, куда их надо класть? неужели такой большой поток, что нужно несколько серверов для этого?

Одноядерный сервер в GCP генерит мне одну картинку в секунду

Gleb

Поток будет я описал какой

Unsupported

А, т.е. у вас рабочая схема уже и вы хотите это пернести в Instance Group?

Gleb

Да

Unsupported

Увы, я не работал с Instance Group. Я думал надо написать обработку - это запросто

Gleb

(схема ещё готовится, но полное содрежание скрипта, который использует только imagemagick вроде волновать не должно)

Gleb

Мне нужен именно Autoscalable Instance Group с дефолтным Load balancer’ом

Unsupported

вообще странно видеть тут imagemagick, обрабатывать post-запросы - это больше задача веб-сервера, тут даже скриптик на php с libgd больше подошел бы, ИМХО. заодно из него можно было бы и PUT сделать в облако или что там дальше надо с ним делать

Unsupported

ну, ладно, больше флудить не буду, коли не могу помочь с IG

Aleksandr

вообще странно видеть тут imagemagick, обрабатывать post-запросы - это больше задача веб-сервера, тут даже скриптик на php с libgd больше подошел бы, ИМХО. заодно из него можно было бы и PUT сделать в облако или что там дальше надо с ним делать

не, идея годная я похожим образом конвертил картинки на одном сервисе

Aleksandr

imagemagick вообще вещь универсальная

Unsupported

не спорю, я и сам использую imagemagick, но чем они POST-запрос принимают?

Aleksandr

не спорю, я и сам использую imagemagick, но чем они POST-запрос принимают?

дак скриптом

Gleb

не спорю, я и сам использую imagemagick, но чем они POST-запрос принимают?

Да хоть не пост запросом, боже, это не важно. Нам главное в какую-то черную коробку отдавать запросы на генерацию по мере их поступления и получать оттуда файлики результатов)

Unsupported

нужно настроить выполнение скрипта, на кластере, а не автоскейлинг, как я понимаю

Gleb

Ну и создать сам кластер с правильными параметрами

Gleb

автоскейлинг и распределение нагрузки тоже надо настроить

Aleksandr

Да хоть не пост запросом, боже, это не важно. Нам главное в какую-то черную коробку отдавать запросы на генерацию по мере их поступления и получать оттуда файлики результатов)

балансировку по нодам на сервере nginx сделай и всё

Gleb

(я просто вообще не шарю, только знаю, с помощью каких инструментов это делается)

Gleb

балансировку по нодам на сервере nginx сделай и всё

У гугла автоматическая балансировка

Aleksandr

У гугла автоматическая балансировка

а, этот момент пропустил. С GCE не работал

Gleb

Глобально задача то выглядит так. Есть пачка скриптов для генерации картинок, у каждого свои ресурсы (подложка, формат параметров). Хочется хотя бы куда-нибудь отдавать запрос на генерацию (в общую очередь) и получать картинку в результате. Как это будет происходить — не принципиально. Проблема в том, что генерация идёт ~1 шт / сек и нагрузка изменяется от 0 до 200 запросов в секунду.

Gleb

Стоимость выполнения — вопрос обсуждаемый

NO

А, скрипты идентичны?

Gleb

Но решение задачи нужно как можно скорее

Gleb

А, скрипты идентичны?

Нет, не совсем. Есть пять типов картинок. Где-то 1 параметр, где-то 10.

NO

Хм, тогда балансировщик должен определять какому скрипту отдавать запрос?

Андрей

https://www.iron.io/platform/ironworker/ посмотри, может лучше чем автоскейл зайдет

Gleb

Хм, тогда балансировщик должен определять какому скрипту отдавать запрос?

Ну пять ифов сделать вроде не очень сложно)

Gleb

Решение задачи прямо очень нужно 🙁

Denis

ифов может быть не пять и даже не 10

Denis

количество перестановок в 10 параметрах не так уж и мало

Gleb

Можно списком отправлять с известным порядком)

Unsupported

похоже, здесь никто не работал с IG

Gleb

Я понимаю, что эту задачу можно решить на любом кластере, не обязательно использовать GCP

Gleb

Нужно её хотя бы где-нибудь решить, потому что команде физически не хватает времени на то, чтобы разбираться, где и как это делать

Tadeusz

похоже, здесь никто не работал с IG

Инспектор гаджет?

Gleb

Инспектор гаджет?

Instance Groups

Tadeusz

В GCP?

Aleksei

Глобально задача то выглядит так. Есть пачка скриптов для генерации картинок, у каждого свои ресурсы (подложка, формат параметров). Хочется хотя бы куда-нибудь отдавать запрос на генерацию (в общую очередь) и получать картинку в результате. Как это будет происходить — не принципиально. Проблема в том, что генерация идёт ~1 шт / сек и нагрузка изменяется от 0 до 200 запросов в секунду.

NO

Dariia

#вакансия #job Продуктовая компания. Стек технологий Софт: Java / php / NodeJS Storage: couchbase, postgres, redshift, memcache, redis MOM: kafka Quorum: zookeeper, consul, etcd Frameworks: Spring, express, yii Other notable: thrift, redux, webpack, gradle, Linux DevOps: - Облака (aws, gcloud, digitalocean) - Контейнеризация/виртуализация (kubernetes, ecs, docker-compose, vagrant) - CI/CD (jenkins) Какие профессиональные навыки нам важны docker / jenkins / linux / bash / nginx k8s be + Что делать в проекте построение и обслуживание сети и контейнерной инфраструктуры построение и обслуживание ci/cd процессов Удаленно Заплатная вилка 1,5-2к

HashTag

Подписка на #вакансия Подписка на #job

Gleb

Докер долго разворачивается

Roman

#job #вакансия Санкт-Петербург - Ищем System Engineering Lead (250,000 руб). Основное: Создать команду эксплуатации для highload банковского продукта, Вывести продукт в эксплуатацию и обеспечить его функционирование 24/7. Пишите в личку за подробным описанием.

hackru

https://medium.com/@anton.rozenberg/friendship-betrayal-claims-3f395bcc95fa

hackru

в целом, и про девопс, и про джобс

Aleksandr

Ну про офис я знал, был там

hackru

Ну про офис я знал, был там

в этой истории хуже всех выглядит пашок

hackru

даже хуже брата-аутиста

Ksen

Ест ьу кого какие отзывы про фирму Аргус?

aadz

как ты их вообще нашел?

Они мне на апворк инвайт прислали. OK! полез на них смотреть, а им надо, чтобы была заполнена формочка про себя, и с понтом начинают спрашивать, дату и время рождения, какая у тебя любимая книжка, фильм, твой распорядок дня... В общем, хуета какая-то, судя по всему

Aleksandr

Они мне на апворк инвайт прислали. OK! полез на них смотреть, а им надо, чтобы была заполнена формочка про себя, и с понтом начинают спрашивать, дату и время рождения, какая у тебя любимая книжка, фильм, твой распорядок дня... В общем, хуета какая-то, судя по всему

Да это студент какой то