приветствую! помогите с google dataproc, one node cluster, 8 vcpu. пытаюсь настроить thrift серврер под спарк ставлю в /usr/lib/spark/conf/spark-defaults.conf spark.dynamicAllocation.enabled false spark.executor.cores 2 spark.executor.instances 3 рестартую thrift, вижу что spark sql через thrift запустил лишь 1 executor и тошнит лишь на 2 ядрах. ок, меняю spark.executor.cores 6 spark.executor.instances 1 в spark ui вижу что 1 executor использовал 6 ядер, а в yarn ui Containers Running=2, VCores Used = 2. как так ? почему 2 vCores, если реально 6 ? и почему может не работать spark.executor.instances 3 ?

Может оперативы на второй и третий контейнеры не хватает?

хорошая мысль. сейчас проверю. а почему ярн может считать что used 2 vcpu, а спарк уверен что у экзекутора 6 ?

Потому что не включён cpu scheduling

В ярне

Он считает, как в хадупе, 1 контейнер - 1 ядро

Там всё разруливалось только размером оперативы

Почитайте про cgroups и всякую такую муть

В конфиге ярна есть несколько настроек, которые с этим связаны

точно, памяти не хватало. вот спасибо. пойду читать про cgroups

Почитайте про cgroups и всякую такую муть

Это не в cgroups, это просто настройка шедулинга либо по памяти, либо по памяти+цпу

В зависимости от типа расчетов что-то может быть в приоритетах

Это не в cgroups, это просто настройка шедулинга либо по памяти, либо по памяти+цпу

Да, но оно внутри там использует cgroups

Да, но оно внутри там использует cgroups

Насколько я понимаю, нет. Есть отдельный конфиг использования контрольных групп. А есть просто расчет ресурсов под тачку исходя из количества текущих ресурсов. Грубо - есть 6 процессоров, больше 6 контейнеров по 1 цпу не даст планировщик.

В хортоне 2.6.4 это разные вещи, не смотря на наличие в конфиге включения сигрупп, они не работают ни в каком виде

У меня были некоторые проблемы с этими настройками из-за 7 версии редхата, был где-то баг репорт по этому поводу

Но наверно да, не связано друг с другом, просто баг на баге)

Аналогично. Для высоконагруженных кластеров игра наверное стоит свеч с цг. А так и ярн неплохо справляется

Что и куда надо скромить спарку 2.х, чтобы он писал хайвовые таблицы в кастомную директорию? spark.sql.warehouse.dir не помогает

Интересненько, можешь версии скинуть?

можно вот так пофиксить, <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> </property> и потом новые траблы вылазят, но данный фейл пропадет)

Интересненько, можешь версии скинуть?

могу конечно, только чего именно?

hadoop & hbase

hadoop & hbase

а так писал) 3.1.1 hadoop 2.1.0 hbase

Ребята мож есть у кого книга по hadoop в fb2 ченить такое чтобы на мобилке удобно читать

Ну уж книгу в 2018 наверное как то получится в интернете найти. Интереснее было бы получить совет по поводу того какие книги норм, а какие слишком поверхностные/которые не рекомендуется читать по другой причине

Примерно это я имел ввиду)

Примерно это я имел ввиду)

Тем не менее думаю с fb2 будут проблемы, не уверен что такое есть в подобных форматах

Ребята мож есть у кого книга по hadoop в fb2 ченить такое чтобы на мобилке удобно читать

А что ты хочешь увидеть в книге по хадупу? По спарку я ещё понимаю, по скале. Но про сам хадуп.. вон загляни в сурцы какого нить сервиса, я сегодня посмотрел на портянку хайва по 5000 строк в одном .жава и ??‍♀

Я хочу понять как работает он) как раскладывает данные, как работает репликация, итд итп

Hadoop Definitive guide неплохая книжка

Hadoop Definitive guide неплохая книжка

Есть такая в пдф, я ее сюда кидал сказали гавно)

Ну на вкус и цвет

Угу, главное конечно формат для мобилы, но его видимо не найти

Ты про hdfs? В документации есть. Очень хорошие статьи в блоге клаудеры

Ты про hdfs? В документации есть. Очень хорошие статьи в блоге клаудеры

Да в целом про экосистему

Спасибо всем

https://www.piter.com/product/apache-kafka-potokovaya-obrabotka-i-analiz-dannyh Утро в кафку датаны! Кто-нибудь знает купит/скачать книгу в электрнонном виде не для google play (на сайте только такой вариант предлагает)?

https://www.piter.com/product/apache-kafka-potokovaya-obrabotka-i-analiz-dannyh Утро в кафку датаны! Кто-нибудь знает купит/скачать книгу в электрнонном виде не для google play (на сайте только такой вариант предлагает)?

Вдохновившесь твоей месагой, сачал гугл букс, туда же можно пдф заливать, все же удобнее чем просто вьювер, попробуй мож в пдф ее найти и залить в гугл букс?

Вдохновившесь твоей месагой, сачал гугл букс, туда же можно пдф заливать, все же удобнее чем просто вьювер, попробуй мож в пдф ее найти и залить в гугл букс?

у меня гейбук

Ну..в этой области не советчик=)

но на нем есть BlueStacks, как раз для подобных извращений

но на нем есть BlueStacks, как раз для подобных извращений

Так а чего прост на телефоне не читать? или паранойя не позволяет использовать смартфоны?)

Так а чего прост на телефоне не читать? или паранойя не позволяет использовать смартфоны?)

гейбук с гейфоном же

и гейпадом

Не смекнул сразу просто)

https://www.piter.com/product/apache-kafka-potokovaya-obrabotka-i-analiz-dannyh Утро в кафку датаны! Кто-нибудь знает купит/скачать книгу в электрнонном виде не для google play (на сайте только такой вариант предлагает)?

Оно https://www.safaribooksonline.com/library/view/kafka-the-definitive/9781491936153/

мне кажется, или стало много флуда?

мне кажется, или стало много флуда?

перекрестись

мне кажется, или стало много флуда?

Нет

Не кажется.

в чате 717 человек, у многих этот чат не замьючен, подавляющее большинство - сутками вьебывает. и отвлекаться на какую-то ересь постоянно.... может будем уважительнее относиться к коллегам?

Товарищи, как в sbt test подпихнуть в спарк spark.driver.extraJavaOptions ?

хочется задать свой derby.system.home

Товарищи, как в sbt test подпихнуть в спарк spark.driver.extraJavaOptions ?

javaOptions in Test +=..

javaOptions in Test +=..

пробовал, спарк ее гдето теряет во время работы. Решилось в итоге путем Test / javaOptions и Test / envVars одновременно

а еще форк надо включить

да, форк включен тоже ?

спасибо

коллеги, поделитесь опытом - как сделать простенький CDC над Оракловыми таблицами в NiFi/MiNiFi ? первичных ключей нет, есть inserted_ts/updated_ts

коллеги, поделитесь опытом - как сделать простенький CDC над Оракловыми таблицами в NiFi/MiNiFi ? первичных ключей нет, есть inserted_ts/updated_ts

Как-то ничего в голову не приходит кроме периодического поллинга найфаем базы по SQL с ограничением по последнему таймстампу. Причём эта схема не очень любит длинные транзакции.

Как-то ничего в голову не приходит кроме периодического поллинга найфаем базы по SQL с ограничением по последнему таймстампу. Причём эта схема не очень любит длинные транзакции.

спасибо! я ведь не смогу BLOB'ы вытягивать?

на выходе у меня будут FlowFile'ы с порциями оракловых данных в виде avro?

на выходе у меня будут FlowFile'ы с порциями оракловых данных в виде avro?

Найфая нет под рукой, так не помню. Кажется джсоны. Проще самому процессор посмотреть) блобы не пробовал

в чате 717 человек, у многих этот чат не замьючен, подавляющее большинство - сутками вьебывает. и отвлекаться на какую-то ересь постоянно.... может будем уважительнее относиться к коллегам?

у большинства замьючен; по дефолту мьютятся большие супер конфы.

у большинства замьючен; по дефолту мьютятся большие супер конфы.

+ Прост этож даже не новостной канал) Все ересь что не касается лично тебя, если быть откровенным. Общаться с людьми по сабжу скорее нормально чем не нормально.

на выходе у меня будут FlowFile'ы с порциями оракловых данных в виде avro?

Да, все верно. Най-фай все скул запросы переводит в авро

Но есть стандартный конвертер авро-жсон

а так писал) 3.1.1 hadoop 2.1.0 hbase

я удивился потому что в hdp hadoop 3.1.0 + hbase 2.0.1 всё работает https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.0.0/release-notes/content/comp_versions.html

я удивился потому что в hdp hadoop 3.1.0 + hbase 2.0.1 всё работает https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.0.0/release-notes/content/comp_versions.html

у меня ванила, + тут хдп 3.0.0 В теории я мог дать ложную инфу, но тут 50-50, для себя решил что несовместимость.

Привет, и сразу есть вопрос: почему в клаудере (5.15) для спарка не поднимается мастер порт (ставил спарк 2 из csd)? Или в не standalone моде он поднимается как-то иначе?

в доке не нашёл, в примерах написания приклада оно как бы есть

или теперь мой путь лежит в чатик по спарку?)

или теперь мой путь лежит в чатик по спарку?)

тот чат по спарку это больше чат митапа

можешь конечно и там спросить но там теже рожи

тут были пользователи клаудеры, ответят

но к слову я не припомню что бы у меня были пробелмы какието, правда я давно не пользовался клаудерой

что ты ожидаешь по 7077? не пингуется или что?

обычно через ярн пускается все там, на сколько понимаю

стартуешь джобы через ярн

тебе спарк кластер в привычном понимании стенделоун кластера вообще не нужен

сабмитишь все через ярн; ярн выделяет ресурсы

ну оно без проблем разворачивает спарк, вешает на ноду роль history server, а вот больше я ничего с ним сделать не могу. Насколько я понял оно хочет жить исключительно через деплой приложения yarn'ом. Но это странно.

почему это странно? это продакшен мир спарка

стенделоун шедулером никто не пользуется обычно