@hadoopusers

Страница 137 из 182
Dmitry
22.08.2018
08:34:04
приветствую! помогите с google dataproc, one node cluster, 8 vcpu. пытаюсь настроить thrift серврер под спарк ставлю в /usr/lib/spark/conf/spark-defaults.conf spark.dynamicAllocation.enabled false spark.executor.cores 2 spark.executor.instances 3 рестартую thrift, вижу что spark sql через thrift запустил лишь 1 executor и тошнит лишь на 2 ядрах. ок, меняю spark.executor.cores 6 spark.executor.instances 1 в spark ui вижу что 1 executor использовал 6 ядер, а в yarn ui Containers Running=2, VCores Used = 2. как так ? почему 2 vCores, если реально 6 ? и почему может не работать spark.executor.instances 3 ?

Евгений
22.08.2018
08:40:45
Может оперативы на второй и третий контейнеры не хватает?

Dmitry
22.08.2018
08:42:30
хорошая мысль. сейчас проверю. а почему ярн может считать что used 2 vcpu, а спарк уверен что у экзекутора 6 ?

Евгений
22.08.2018
08:42:50
Потому что не включён cpu scheduling

Google
Евгений
22.08.2018
08:42:54
В ярне

Он считает, как в хадупе, 1 контейнер - 1 ядро

Там всё разруливалось только размером оперативы

Почитайте про cgroups и всякую такую муть

В конфиге ярна есть несколько настроек, которые с этим связаны

Dmitry
22.08.2018
08:47:33
точно, памяти не хватало. вот спасибо. пойду читать про cgroups

Stanislav
22.08.2018
08:56:45
Почитайте про cgroups и всякую такую муть
Это не в cgroups, это просто настройка шедулинга либо по памяти, либо по памяти+цпу

В зависимости от типа расчетов что-то может быть в приоритетах

Евгений
22.08.2018
09:03:24
Stanislav
22.08.2018
09:05:47
Да, но оно внутри там использует cgroups
Насколько я понимаю, нет. Есть отдельный конфиг использования контрольных групп. А есть просто расчет ресурсов под тачку исходя из количества текущих ресурсов. Грубо - есть 6 процессоров, больше 6 контейнеров по 1 цпу не даст планировщик.

В хортоне 2.6.4 это разные вещи, не смотря на наличие в конфиге включения сигрупп, они не работают ни в каком виде

Евгений
22.08.2018
09:07:24
У меня были некоторые проблемы с этими настройками из-за 7 версии редхата, был где-то баг репорт по этому поводу

Но наверно да, не связано друг с другом, просто баг на баге)

Google
Stanislav
22.08.2018
09:12:12
Аналогично. Для высоконагруженных кластеров игра наверное стоит свеч с цг. А так и ярн неплохо справляется

Andrey
22.08.2018
13:46:21
Что и куда надо скромить спарку 2.х, чтобы он писал хайвовые таблицы в кастомную директорию? spark.sql.warehouse.dir не помогает

Mikhail
22.08.2018
13:51:27
Интересненько, можешь версии скинуть?

Sergioss
22.08.2018
13:51:41
можно вот так пофиксить, <property> <name>hbase.unsafe.stream.capability.enforce</name> <value>false</value> </property> и потом новые траблы вылазят, но данный фейл пропадет)

Интересненько, можешь версии скинуть?
могу конечно, только чего именно?

Mikhail
22.08.2018
13:57:26
hadoop & hbase

Sergioss
22.08.2018
13:57:49
hadoop & hbase
а так писал) 3.1.1 hadoop 2.1.0 hbase

Ребята мож есть у кого книга по hadoop в fb2 ченить такое чтобы на мобилке удобно читать

Alexey
22.08.2018
16:23:51
Ну уж книгу в 2018 наверное как то получится в интернете найти. Интереснее было бы получить совет по поводу того какие книги норм, а какие слишком поверхностные/которые не рекомендуется читать по другой причине

Sergioss
22.08.2018
16:24:50
Примерно это я имел ввиду)

Примерно это я имел ввиду)
Тем не менее думаю с fb2 будут проблемы, не уверен что такое есть в подобных форматах

Stanislav
22.08.2018
16:44:18
Ребята мож есть у кого книга по hadoop в fb2 ченить такое чтобы на мобилке удобно читать
А что ты хочешь увидеть в книге по хадупу? По спарку я ещё понимаю, по скале. Но про сам хадуп.. вон загляни в сурцы какого нить сервиса, я сегодня посмотрел на портянку хайва по 5000 строк в одном .жава и ??‍♀

Sergioss
22.08.2018
16:45:18
Я хочу понять как работает он) как раскладывает данные, как работает репликация, итд итп

Andrew
22.08.2018
16:49:19
Hadoop Definitive guide неплохая книжка

Sergioss
22.08.2018
16:49:58
Hadoop Definitive guide неплохая книжка
Есть такая в пдф, я ее сюда кидал сказали гавно)

Andrew
22.08.2018
16:50:12
Ну на вкус и цвет

Sergioss
22.08.2018
16:51:18
Угу, главное конечно формат для мобилы, но его видимо не найти

Stanislav
22.08.2018
16:52:32
Ты про hdfs? В документации есть. Очень хорошие статьи в блоге клаудеры

Google
Sergioss
22.08.2018
16:54:50
Спасибо всем

Andrei
23.08.2018
06:06:53
https://www.piter.com/product/apache-kafka-potokovaya-obrabotka-i-analiz-dannyh Утро в кафку датаны! Кто-нибудь знает купит/скачать книгу в электрнонном виде не для google play (на сайте только такой вариант предлагает)?

Sergioss
23.08.2018
07:17:04
https://www.piter.com/product/apache-kafka-potokovaya-obrabotka-i-analiz-dannyh Утро в кафку датаны! Кто-нибудь знает купит/скачать книгу в электрнонном виде не для google play (на сайте только такой вариант предлагает)?
Вдохновившесь твоей месагой, сачал гугл букс, туда же можно пдф заливать, все же удобнее чем просто вьювер, попробуй мож в пдф ее найти и залить в гугл букс?

Sergioss
23.08.2018
07:24:37
Ну..в этой области не советчик=)

Andrei
23.08.2018
07:25:29
но на нем есть BlueStacks, как раз для подобных извращений

Sergioss
23.08.2018
07:27:41
но на нем есть BlueStacks, как раз для подобных извращений
Так а чего прост на телефоне не читать? или паранойя не позволяет использовать смартфоны?)

Sergioss
23.08.2018
07:28:55
Не смекнул сразу просто)

Sergey
23.08.2018
07:30:24
мне кажется, или стало много флуда?

Sergioss
23.08.2018
07:32:22
Oleksandr
23.08.2018
07:32:36
Не кажется.

Sergey
23.08.2018
07:34:29
в чате 717 человек, у многих этот чат не замьючен, подавляющее большинство - сутками вьебывает. и отвлекаться на какую-то ересь постоянно.... может будем уважительнее относиться к коллегам?

Andrey
23.08.2018
07:36:50
Товарищи, как в sbt test подпихнуть в спарк spark.driver.extraJavaOptions ?

хочется задать свой derby.system.home

Andrey
23.08.2018
08:32:26
javaOptions in Test +=..
пробовал, спарк ее гдето теряет во время работы. Решилось в итоге путем Test / javaOptions и Test / envVars одновременно

Google
Vadim
23.08.2018
08:32:50
а еще форк надо включить

Andrey
23.08.2018
08:33:11
да, форк включен тоже ?

спасибо

Sergey
23.08.2018
08:36:57
коллеги, поделитесь опытом - как сделать простенький CDC над Оракловыми таблицами в NiFi/MiNiFi ? первичных ключей нет, есть inserted_ts/updated_ts

agathis
23.08.2018
09:06:25
коллеги, поделитесь опытом - как сделать простенький CDC над Оракловыми таблицами в NiFi/MiNiFi ? первичных ключей нет, есть inserted_ts/updated_ts
Как-то ничего в голову не приходит кроме периодического поллинга найфаем базы по SQL с ограничением по последнему таймстампу. Причём эта схема не очень любит длинные транзакции.

Sergey
23.08.2018
09:07:25
на выходе у меня будут FlowFile'ы с порциями оракловых данных в виде avro?

agathis
23.08.2018
09:13:20
на выходе у меня будут FlowFile'ы с порциями оракловых данных в виде avro?
Найфая нет под рукой, так не помню. Кажется джсоны. Проще самому процессор посмотреть) блобы не пробовал

Sergioss
23.08.2018
09:25:07
у большинства замьючен; по дефолту мьютятся большие супер конфы.
+ Прост этож даже не новостной канал) Все ересь что не касается лично тебя, если быть откровенным. Общаться с людьми по сабжу скорее нормально чем не нормально.

Stanislav
23.08.2018
09:45:57
на выходе у меня будут FlowFile'ы с порциями оракловых данных в виде avro?
Да, все верно. Най-фай все скул запросы переводит в авро

Но есть стандартный конвертер авро-жсон

Mikhail
23.08.2018
10:38:03
а так писал) 3.1.1 hadoop 2.1.0 hbase
я удивился потому что в hdp hadoop 3.1.0 + hbase 2.0.1 всё работает https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.0.0/release-notes/content/comp_versions.html

Sergioss
23.08.2018
10:39:24
я удивился потому что в hdp hadoop 3.1.0 + hbase 2.0.1 всё работает https://docs.hortonworks.com/HDPDocuments/HDP3/HDP-3.0.0/release-notes/content/comp_versions.html
у меня ванила, + тут хдп 3.0.0 В теории я мог дать ложную инфу, но тут 50-50, для себя решил что несовместимость.

Mikhail
23.08.2018
12:16:18
Привет, и сразу есть вопрос: почему в клаудере (5.15) для спарка не поднимается мастер порт (ставил спарк 2 из csd)? Или в не standalone моде он поднимается как-то иначе?

в доке не нашёл, в примерах написания приклада оно как бы есть

или теперь мой путь лежит в чатик по спарку?)

Grigory
23.08.2018
12:20:48
или теперь мой путь лежит в чатик по спарку?)
тот чат по спарку это больше чат митапа

можешь конечно и там спросить но там теже рожи

тут были пользователи клаудеры, ответят

Google
Grigory
23.08.2018
12:23:33
но к слову я не припомню что бы у меня были пробелмы какието, правда я давно не пользовался клаудерой

что ты ожидаешь по 7077? не пингуется или что?

обычно через ярн пускается все там, на сколько понимаю

стартуешь джобы через ярн

тебе спарк кластер в привычном понимании стенделоун кластера вообще не нужен

сабмитишь все через ярн; ярн выделяет ресурсы

Mikhail
23.08.2018
12:25:48
ну оно без проблем разворачивает спарк, вешает на ноду роль history server, а вот больше я ничего с ним сделать не могу. Насколько я понял оно хочет жить исключительно через деплой приложения yarn'ом. Но это странно.

Grigory
23.08.2018
12:26:04
почему это странно? это продакшен мир спарка

стенделоун шедулером никто не пользуется обычно

Страница 137 из 182