Ну это же как чертежи ПВО перед посольством врага вывесить

Амбаря, импала, спот, хостинг. Что-то нипанятное хотите.

Apache spot это IDS (со свитчей через netflow отправлять траффик), чтоб его поставить надо hadoop кластер.

Ну это же как чертежи ПВО перед посольством врага вывесить

Не понял, что имеется в виду

Apache spot это IDS (со свитчей через netflow отправлять траффик), чтоб его поставить надо hadoop кластер.

Hadoop тупо для Spot? WTF?

Не понял, что имеется в виду

Да ладно, неважно.. про спот ничего не могу сказать

Hadoop тупо для Spot? WTF?

ага

Хадуп на хостинге кстати тоже прикольно)

Главное спарк не надо ставить

Главное спарк не надо ставить

он есть в списке, типа нужен

А на хостинге сайты крутятся или что?

Главное спарк не надо ставить

Там еще кафка и хайв в комплекте

А на хостинге сайты крутятся или что?

хостинг в смысле у нас ~700 серваков, но у большинства клиентов по 1

Вообще Спот странно выглядит

С хадупов в комплекте.

Ну там ресурсы же будут отбираться у них

А на хостинге сайты крутятся или что?

ну и пара 'кластеров'

Это как дуршлагом от пуль прикрываться

Вообще Спот странно выглядит

Для меня тем более, я его в первый раз вижу

Ну там ресурсы же будут отбираться у них

ничё не будет для этого отдельный сервак можно

Ну ок, расскажи потом, взлетело или нет)

Ну ок, расскажи потом, взлетело или нет)

Ну я чую придётся всё в докер пихать )

Это как дуршлагом от пуль прикрываться

а вчём главная странность? Не совсем понимаю, типа слишком круто для него?

а вчём главная странность? Не совсем понимаю, типа слишком круто для него?

Хадуп тоже надо огораживать, коль пошли по пути киберсесурити

Хадуп тоже надо огораживать, коль пошли по пути киберсесурити

ну он на отдельном серваке будет в отдельном vlan

А ssh под роспись выдавать будешь? :)

А ssh под роспись выдавать будешь? :)

кому? )

Коллегам. Или мониторинг в одно лицо?

Коллегам. Или мониторинг в одно лицо?

у нас и так один общий ключ ssh на всех

не вижу в этом особой проблемы на самом деле. ssh на каждм сервере разрешён только с нашего jump хоста, куда можно попасть только по vpn

у нас и так один общий ключ ssh на всех

??‍♀

??‍♀

я просто не пойму , что поменяется если он будет разный?

я просто не пойму , что поменяется если он будет разный?

Это спрашивает товарищ майор? ? Давно никто случайно сервера не сносил? Не говоря о запрете прямого захода на сервера через ссш и поддержание стейта через оркестраторы

Это спрашивает товарищ майор? ? Давно никто случайно сервера не сносил? Не говоря о запрете прямого захода на сервера через ссш и поддержание стейта через оркестраторы

ниразу никто ничего не сносил, просто что измениться если ключи будут разные? Снести это никак не мешает. »через оркестраторы Нет такого, нет необходимости. я ж говорю хостинг компания

Найти того, кто это сделал ) неужто никто вкладки шела не путал ни разу?) в хостинг компании я вообще хз что делать на сервере руками. Я понимаю ещё дев кластеры хадупа, где дсы вечно всякую муть придумывают. А у вас, все давно на скриптах и автоматах. Не работает, снёс все и развернулся из образа - по крайней мере у меня так было.

Найти того, кто это сделал ) неужто никто вкладки шела не путал ни разу?) в хостинг компании я вообще хз что делать на сервере руками. Я понимаю ещё дев кластеры хадупа, где дсы вечно всякую муть придумывают. А у вас, все давно на скриптах и автоматах. Не работает, снёс все и развернулся из образа - по крайней мере у меня так было.

все действия записываются., когда сотрудник на джамп заходит »Не работает, снёс все и развернулся из образа - по крайней мере у меня так было. Конфиги в основном менять, да пошатать сервис какой-нибудь

все действия записываются., когда сотрудник на джамп заходит »Не работает, снёс все и развернулся из образа - по крайней мере у меня так было. Конфиги в основном менять, да пошатать сервис какой-нибудь

Привет конфиг менеджмент. Не представляю как иметь на 700 серваках вручную правленные конфиги ) и что делать в случае потери сервера и необходимости его возврата. Короче ладно, все офтопик. Амбари норм, докер норм, хортоны вон начали образы поставлять. Правда умудряясь косепорить апачевские ванилы

Привет конфиг менеджмент. Не представляю как иметь на 700 серваках вручную правленные конфиги ) и что делать в случае потери сервера и необходимости его возврата. Короче ладно, все офтопик. Амбари норм, докер норм, хортоны вон начали образы поставлять. Правда умудряясь косепорить апачевские ванилы

ок, спс.

Амбари кстати в себе как раз несёт конфиг менеджмент с версионированием

Амбари кстати в себе как раз несёт конфиг менеджмент с версионированием

ну я использую её чтоб нужные модули запилить без лишних телодвижений )) только Impala придётся отдельно ставить в докер и как я понял просто добавить этот контейнер как хост в Амбари

ну... такое вроде как нахваливают. Я так понимаю это тот же apache-metron/cloudera только опен сорс. у нас не так много серваков (~700) чтоб покупать коммерческое решения

Metron тоже open-source, хотя и основан на наработках Cisco. Для HDP он роднее, Cloudera решила reinvent the wheel и инвестировать в Spot.

Привет конфиг менеджмент. Не представляю как иметь на 700 серваках вручную правленные конфиги ) и что делать в случае потери сервера и необходимости его возврата. Короче ладно, все офтопик. Амбари норм, докер норм, хортоны вон начали образы поставлять. Правда умудряясь косепорить апачевские ванилы

+ Kerberos туда вручную раскидать?

Если нужно много security, то посмотри еще в сторону Encryption At Rest / In Motion.

Ambari норм, а для Kerberos можно запилить еще скрипты свои, если есть необходимость.

Ambari норм, а для Kerberos можно запилить еще скрипты свои, если есть необходимость.

Можно весь etl на bash скриптах замутить

Типа

Это уж крайности.

HADOOP_USER_NAME=hdfs hive -e “......

И поехали

Это уж крайности.

Да у меня тут флешбеки

Аа :-) ностальгия ))

нуу, http/1.1 сервер на баше пишется за полтора дня, если чо.

Можно весь etl на bash скриптах замутить

какая жесть будет

какая жесть будет

Да оно работает, графы сложно строить и контроль выполнения и мониторинг, но работает

Так либ оззи , либ аерфлоу

https://banzaicloud.com/blog/spark-resiliency/

какая жесть будет

Ничо такого, делов то. Тем более xmlstarlet очень классный. И кроном все это обмазать ?

Да оно работает, графы сложно строить и контроль выполнения и мониторинг, но работает

я сейчас иногда devops вакансии читаю, с хадупом, etl+elt процедурки писать говорят учиться пора

?вторые впроде вообще жесть

я сейчас иногда devops вакансии читаю, с хадупом, etl+elt процедурки писать говорят учиться пора

Что за процедурки, hbase ко-процессоры ?

я сейчас иногда devops вакансии читаю, с хадупом, etl+elt процедурки писать говорят учиться пора

А что такого? Питон/груви/скул не умеешь?

#JOB #HadoopEngineer Exness, Кипр Что они предлагают делать: • Разработка архитектуры инфраструктурных сервисов для Big Data • Эксплуатация Hadoop кластера и связанных сервисов (YARN, Rabbit MQ, Kafka, Tabix, Spark, Clickhouse) • Взаимодействие с командами разработки для организации сквозных процессов DevOps для Hadoop • Автоматизация сборки и установки ПО на кластер (CI\CD) • Автоматизация развертывания эксплуатационной среды и среды тестирования • Разработка и проектирование инфраструктурных решений для организации платформ контейнерной виртуализации (Docker, Rancher) • Выявление и решение проблем эксплуатации приложений, обеспечение их непрерывной работы и масштабирования • Разработка процессов мониторинга приложений, логирование, health-checks. Подготовка эксплуатационной документации для команды 2-го уровня поддержки Что они хотят: • Опыт проектирования и эксплуатации систем основанных на Hadoop архитектуре - от 3-х лет • Опыт работы в сфере разработки/администрирования IT-систем и Linux систем от 3-х лет • Опыт работы с решениями контейнеризации (Docker) • Владение bash, PowerShell, Python или иными скриптовыми языками • Понимание базовых принципов и подходов DevOps (CI\CD) • Опыт работы в проектах по разработке ПО в качестве специалиста по автоматизации сквозных процессов CI\CD • Опыт работы с системами Continuous integrations (GitLab, Jenkins) • Опыт работы какой-либо системой управления конфигурациями (Ansible, Puppet, Chef, Salt) • Знание английского языка на базовом разговорном уровне • Дополнительным преимуществом будет • Знание Kubernetes, Rancher • Предыдущий опыт работы разработчиком • Опыт построения решений на базе AWS или другой облачной платформы • Опыт работы с PostgreSQL • Знание технологий расширенного контроля доступа и защиты от компьютерных атак (Apparmor, SELinux) • Английский – Intermediate • По поводу Визы - гражданство – РФ, Украина. Наличие высшего профильного образования. Какие условия они предлагают: • Оформление рабочей визы для сотрудника и зависимых виз (Family reunification) для членов семьи (супруги, дети) • Изучение английского и греческого языков (компания оплачивает 50% от стоимости занятий) • Медицинская страховка на сотрудника и членов его семьи • Корпоративный MiniCooper Countryman S каждому сотруднику в личное пользование • Корпоративный доктор для оказания консультаций и мед.помощи сотруднику или членам его семьи • Частичное возмещение расходов на стоматологические услуги и услуги офтальмолога (для сотрудника) • Частичное покрытие медицинских расходов, которые не входят в страховой план, на детей до 1 года • Полное покрытие расходов на прививки детям до 2х лет (как по европейскому календарю, так и по российскому) • Оплата базовых расходов (без питания и факультативов) на посещение детских садов и школ ― учреждений-партнеров компании • Корпоративный фитнес, включает в себя тренажерный зал, сауны, бассейн, групповые занятия • Квартальные премии, бонусы по итогам работы компании, внутренние хакатоны с призовым фондом • Из развлечений - занятия йогой на крыше офиса, где есть свой бар с вкуснейшим кофе, соками и коктейлями и вечерним киноклубом. А также катание на корпоративных аквабайках, спортивные и семейные мероприятия, душевные посиделки, зажигательные вечеринки и многое другое

Moscow Spark #5. Налетайте, друзья! https://moscowspark.timepad.ru/event/770205/

вот это бы посмотрле

https://github.com/Hydrospheredata/mist

#JOB #HadoopEngineer Exness, Кипр Что они предлагают делать: • Разработка архитектуры инфраструктурных сервисов для Big Data • Эксплуатация Hadoop кластера и связанных сервисов (YARN, Rabbit MQ, Kafka, Tabix, Spark, Clickhouse) • Взаимодействие с командами разработки для организации сквозных процессов DevOps для Hadoop • Автоматизация сборки и установки ПО на кластер (CI\CD) • Автоматизация развертывания эксплуатационной среды и среды тестирования • Разработка и проектирование инфраструктурных решений для организации платформ контейнерной виртуализации (Docker, Rancher) • Выявление и решение проблем эксплуатации приложений, обеспечение их непрерывной работы и масштабирования • Разработка процессов мониторинга приложений, логирование, health-checks. Подготовка эксплуатационной документации для команды 2-го уровня поддержки Что они хотят: • Опыт проектирования и эксплуатации систем основанных на Hadoop архитектуре - от 3-х лет • Опыт работы в сфере разработки/администрирования IT-систем и Linux систем от 3-х лет • Опыт работы с решениями контейнеризации (Docker) • Владение bash, PowerShell, Python или иными скриптовыми языками • Понимание базовых принципов и подходов DevOps (CI\CD) • Опыт работы в проектах по разработке ПО в качестве специалиста по автоматизации сквозных процессов CI\CD • Опыт работы с системами Continuous integrations (GitLab, Jenkins) • Опыт работы какой-либо системой управления конфигурациями (Ansible, Puppet, Chef, Salt) • Знание английского языка на базовом разговорном уровне • Дополнительным преимуществом будет • Знание Kubernetes, Rancher • Предыдущий опыт работы разработчиком • Опыт построения решений на базе AWS или другой облачной платформы • Опыт работы с PostgreSQL • Знание технологий расширенного контроля доступа и защиты от компьютерных атак (Apparmor, SELinux) • Английский – Intermediate • По поводу Визы - гражданство – РФ, Украина. Наличие высшего профильного образования. Какие условия они предлагают: • Оформление рабочей визы для сотрудника и зависимых виз (Family reunification) для членов семьи (супруги, дети) • Изучение английского и греческого языков (компания оплачивает 50% от стоимости занятий) • Медицинская страховка на сотрудника и членов его семьи • Корпоративный MiniCooper Countryman S каждому сотруднику в личное пользование • Корпоративный доктор для оказания консультаций и мед.помощи сотруднику или членам его семьи • Частичное возмещение расходов на стоматологические услуги и услуги офтальмолога (для сотрудника) • Частичное покрытие медицинских расходов, которые не входят в страховой план, на детей до 1 года • Полное покрытие расходов на прививки детям до 2х лет (как по европейскому календарю, так и по российскому) • Оплата базовых расходов (без питания и факультативов) на посещение детских садов и школ ― учреждений-партнеров компании • Корпоративный фитнес, включает в себя тренажерный зал, сауны, бассейн, групповые занятия • Квартальные премии, бонусы по итогам работы компании, внутренние хакатоны с призовым фондом • Из развлечений - занятия йогой на крыше офиса, где есть свой бар с вкуснейшим кофе, соками и коктейлями и вечерним киноклубом. А также катание на корпоративных аквабайках, спортивные и семейные мероприятия, душевные посиделки, зажигательные вечеринки и многое другое

Вроде же на hh висит и питер тоже, кстати, вакансия смесь из 2 тел, почему тогда нельзя девопу который хочет расти ?

вот это бы посмотрле

я бы тоже)

Вроде же на hh висит и питер тоже, кстати, вакансия смесь из 2 тел, почему тогда нельзя девопу который хочет расти ?

Есть альтернативные вакансии дял девопов, если интересно - пишите.

Есть альтернативные вакансии дял девопов, если интересно - пишите.

У меня просто вышки нет, потому смотрел питерские вакансии

У меня просто вышки нет, потому смотрел питерские вакансии

да без вышки им тупо в падлу возиться с визой

но если вы боженька в хадупе то можн опопробоввать

Привет. Я дико извинияюсь что вопрос не по hadoop, но другого места я не нашел. Используется apache 2 <VirtualHost *:80> ServerAdmin admin@yapcoin.co ServerName yapcoin.co ServerAlias www.yapcoin.co DocumentRoot /var/www/yapcoin.co/public_html ErrorLog ${APACHE_LOG_DIR}/error.log CustomLog ${APACHE_LOG_DIR}/access.log combined </VirtualHost> <VirtualHost *:5000> ProxyPreserveHost On ServerName trading_bots ProxyPass / http://127.0.0.1:5000/ ProxyPassReverse / http://127.0.0.1:5000/ </VirtualHost> Вот конфиг. Через a2enmod включил нужные моды, перезапустил. Запускаю просто приложение на python, которое слушает 5000 порт python3 -m http.server 5000 Локально с машины через curl localhost:5000 получаю ответ. Через браузер бесконечная загрузка и таймаут. При этом на 80 порт без проблем отдает хтмл из первого VirtualHost ЧЯДНТ?

и опач и прилага один пор тслушают?

как так

я не претендую на эксперта, но я в одном блоке virtualhost делал и прослушку на 80м порту и редирект на порт приложения по сервернейму

я хотел у тебя спросить

и опач и прилага один пор тслушают?

Блядь, точно. Секундочку...

а щас получается что апач слушает 5000, приложение тоже

я хотел у тебя спросить

Про нджикс?

а щас получается что апач слушает 5000, приложение тоже

Поменял и вроде всё правильно - но нет, теперь сразу же прилетает ERR_CONNECTION_REFUSED в браузер

<VirtualHost *:9999> ProxyPreserveHost On ServerName trading_bots ProxyPass / http://127.0.0.1:5000/ ProxyPassReverse / http://127.0.0.1:5000/ </VirtualHost>