я в баню вечную отправил его

пардон, а кого именно? спам убрал я, передо мной оставался коммент на спам, но от нормального человека

мишаню

он зашел в 4 или 5 чатов

и везде плюнул спамом)

да оно еще и под разными никами бегало

Ok, feel free to ask because it could be tricky somehow depends on the pipeline you build...

Всем привет, кто как метрики со Спарк Джоб снимает? Есть ли что-то готовое(листенер написанный) который это все собирает и умеет сохранять в бд или же просто в файл?

Я нашёл один проект - sparkMeasure, который не заводится что то:)

какие тебя метрики интересуют?

cpuTime / memory

искать в хистори не хочу :(

If you run YARN-mode you could use Resource Manager monitoring because it's YARN-controlled running...you could check reserved containers parameters. From the application perspective these metrics could be collected via YARN REST API.

Unfortunately, it is not running in yarn mode)

Там если конфиг метрик подкрутить, то можно в графит

А в графит формате уже много кто умеет, мы принимали графит -> telegraf ->datadog

https://github.com/apache/spark/blob/master/conf/metrics.properties.template

окей, спасибо

。

привет. Приземлённый вопрос. Есть куча датанод на старом хадупчике, там диски забились, к ним добавили еще несколько рядом. Хочу хоть чуть чуть сбалансировать данные, чтобы погасить мониторинг. Внутри датаноды ребаланс он еще не умеет. Пытаюсь установить лимит dfs.datanode.du.reserved - ничего не меняется. Он, получается, не будет диски расчищать до значения reserverd, просто будет предотвращать запись на них?

На клаудере всё время приходилось ребаланс кластера запускать руками, несмотря ни на какие настройки. Был какой-то баг, уже не помню ссылку, так что если хадуп <2.7 то надо руками или крончик.

ребаланс hdfs работает , всё ок. Имею ввиду ребаланс данных на дисках в рамках одной датаноды. Когда у тебя один диск на 99% используется, а другой на 1%. В 3.0 есть diskbalancer, а тут похоже, дропать их по одному нужно, ждать когда не будет нереплицированных блоков и дропать следующий

dfs.datanode.du.reserved только для новых блоков

нашел в доке

а много таких нод?

если не очень - то может сделать тупо? stop HDFS, rm -rf /dfs, start HDFS ? :)

нет, 7 штук по 4 диска. на каждой из них 2 забито, 2 свободно

иначе видимо нельзя, но пожалуй я не буду, проще триггеры вырубить ))

чёт ссыкотно

там фактор еще 2

слушай, мне вот было бы более сыкотно жить, если один из дисков на 99% забит

а смерть одной ноды он переживает вполне нормально кстати

уже не раз проверял :)

если там тупо хдфс, то это не опасно

нодменеджер не пишет больше туда и все

так что это практически штатный механизм, можно сказать :)

ну это конечно заложено в архитектуру , но репликация мала слишком. думал найти какие-то другие способы)

спасибо

а есть место поднять временно RF до 3ки ?

можно поднять, подождать, пока он отреплицируется, и дальше - как я выше написал :)

да, как вариант, посмотрю что там с местом.спасибо

Привет! Приходите в четверг к нам на Big Data meetup https://grid-dynamics.timepad.ru/event/703266/

Привет! Приходите в четверг к нам на Big Data meetup https://grid-dynamics.timepad.ru/event/703266/

Питер.

Питер.

Да :)

Поздновато аннонс)

Приветствую. Здесь разрешается постить вакансии?

ту вакансию здесь можно, но там лучше убрать

#job #вакансия #москва Всем доброго времени суток. Я руковожу подразделением professional services в компании CleverDATA. Ищу себе в команду Java-инженера в Москве. От кандидата ожидаю: - компетенции в Java, Hadoop, Spark, Kafka - можно и просто Java, главное желание развиваться - высокую отдачу, ответственность, желание изучать технологии, желание делать “хорошо” - умение работать в команде и писать читаемый код Что могу дать взамен: - интересные и сложные задачи по параллельной обработке больших массивов данных, вычислении в реальном времени, разработке высоконагруженных и отказоустойчивых сервисов - возможность принимать самостоятельные решения в части реализации - дружную команду, которая любит свое дело, технологии и своих клиентов - возможность участвовать в релевантных конференциях (в т.ч. за пределами России) - гибкий рабочий график и возможность один день в неделю работать удаленно - белую зп от 140 до 250 Немного о компании: Трудовые будни команды CleverDATA - это создание продуктов для обработки терабайт данных в день и сотен тысяч запросов в секунду. Это разработка предиктивных моделей для повышения эффективности бизнеса на миллионы рублей в месяц. Это участие в качестве экспертов на конференциях и вебинарах по технологиям. Если вам это интересно или появились вопросы, пожалуйста, пишите в личку. Спасибо!

#вакансия #Москва #офис Всем привет! Я представляю рекрутинговую компанию Marksman. В работе есть вакансия Hadoop администратор: возможно среди вас кого-то заинтересует, или у вас есть коллеги/знакомые, решающие подобные задачи. Вакансия открыта в подразделении крупного вендора, которое разрабатывает собственную аналитическую платформу и предоставляет своим клиентам интеграционные технологии и консультационные услуги по анализу больших данных. Международная команда специалистов по Data Engineering и Data Science cоздают системы, с помощью которых успешно собираются, хранятся, интегрируются и анализируются огромные массивы самых разных данных. *Hadoop администратор* Обязанности: -мониторинг промышленного кластера Hadoop -рекомендации по оптимизации -расследование инцидентов на кластере -архитектурный консалтинг в части построения и оптимизации высоконагруженных и отказоустойчивых систем -составление регулярной отчетности Требования: -глубокие знания unix -опыт администрирования экосистем Hadoop -хорошие знания sql и реляционных баз данных Буду рада рекомендациям! Подробнее о вакансии и компании в лс.

Привет

народ, кто нибудь использует hive2.0+ вместе с oozie? нет проблем?

народ, кто нибудь использует hive2.0+ вместе с oozie? нет проблем?

Есть проблема. Пока решить не получилось

Тоже из-за разных версий hive в oozie и метастора ?

Привет. Коллеги, может быть оффтоп, но кто работал с Apache Flink?

привет, сова эт не офтоп, но начинай сразу с интересующего вопроса

Ок. Есть 5 стриминговых задач, которые запускаются в flink standalone(кластера нет). Задачки забирают определенную информацию из Kafka, обрабатывает и отдает обратно в другой топик. Но после запуска 4-5 задачи они падают Caused by: akka.pattern.AskTimeoutException: Ask timed out on [Actor[akka.tcp:// , а потом все задачи уходят почему-то в рестарт, с записью, что у таскменеджера нет свободных слотов, хотя они есть.

Кто-то сталкивался с подобным? org.apache.flink.runtime.jobmanager.scheduler.NoResourceAvailableException: Not enough free slots available to run the job. You can decrease the operator parallelism or increase the number of slots per TaskManager in the configuration. Task to schedule: < Attempt #130 (Source: Custom Source -> Map -> Filter -> Map (1/1)) @ (unassigned) - [SCHEDULED] > with groupID < cbc357ccb763df2852fee8c4fc7d55f2 > in sharing group < SlotSharingGroup [4925de6ecf34e85bb28d958659d9c37b, 106916e868ac6e48dacc2fe23a377649, 2963852293169ba90d9d1e7d6308db5c, 086f6e123b547f6c18cc0b70ef23267e, 0def966c0444b5fa22b593be249d37f8, 6cdc5bb954874d922eaee11a8e7b5dd5, cbc357ccb763df2852fee8c4fc7d55f2] >. Resources available to scheduler: Number of instances=0, total number of slots=0, available slots=0

хм, в логе написано что их 0 доступно

По факту 20. Почему лог такое пишет- черт знает

хм, в логе написано что их 0 доступно

Интереснее почему таймаут пришел. Ноль это про баг при рестарте. Флинк не всегда умеет рестартить джобы. Где-то был репорт об этом

ну почему понятно, но это следствие

как гипотеза, рестарты идут уже к моменту запуска 4-5 джоба, но по какой-то причине ресурсы не освобождаются

я бы порылся детальнее в логах

необязательно ошибки, ворнинги и даже инфо могут быть с инфой

Тоже из-за разных версий hive в oozie и метастора ?

Да не похоже на это. Мне кажется из-за разных (более новый?) формат xml конфига. Но мне это только кажется.

Лайв, как обычно, искать здесь https://www.facebook.com/afishamansarda/