@hadoopusers

Страница 110 из 182
 
Daniel
27.06.2018
14:31:22
да они маленькие были) килобайты джейсона
ну килобайты еще ничего, гайки можно подкручивать в зависимости от чего не нравится

 
Grigory
27.06.2018
14:31:44
эт да; но там на потоке сообщений было уже бесполезно крутить; ей не нравилось

 
да и быстрее оказалось (на том проекте была ажура) даже слать ссылку и тащить реальные файлы из ажур блоб стора

 
Vadim
27.06.2018
14:32:52
кафконасилие

Google
 
Grigory
27.06.2018
14:33:18
конечно косяк возникал что там в теории могли быть более мегабайта сообщения да и вообще несколько мегабайт) что в принципе тоже немного

 
Jury
27.06.2018
14:33:54
конечно косяк возникал что там в теории могли быть более мегабайта сообщения да и вообще несколько мегабайт) что в принципе тоже немного
ну вот доки то бывают и около мега, + его ж кодировать придется, будет больше

 
Daniel
27.06.2018
14:46:04
конечно косяк возникал что там в теории могли быть более мегабайта сообщения да и вообще несколько мегабайт) что в принципе тоже немного
А это уже особо не покрутить

 
Grigory
27.06.2018
14:46:47
А это уже особо не покрутить
мульиполгионы ага );

 
Juliano
28.06.2018
17:37:40
Hi! Is English alowed here?

 
Константин
28.06.2018
17:44:42
I suppose yes

 
Mikhail
28.06.2018
17:48:03
Hola! Si, Mas o menos!

 
KrivdaAllStars
28.06.2018
17:54:41
Наверное нужно сделать англоязычную :) в дополнение

 
https://t.me/dataengi позже порекламирую

 
Juliano
28.06.2018
18:10:43
I need to export from Sqoop to PostgreSQL. "task failed"

 
Alexander
28.06.2018
19:04:02
I need to export from Sqoop to PostgreSQL. "task failed"
Do you get any additional error description? May be the target schema is not compatible with your data (e.g. data types or constraints). You need to look at the MR logs.

 
Andrew
28.06.2018
20:02:32
I need to export from Sqoop to PostgreSQL. "task failed"
Log pls

 
Juliano
29.06.2018
11:42:44
Log pls
I need to recreate the environment to reproduce the error message again. Thx

Google
 
Andrey
29.06.2018
20:47:29
Выделение новой специальности “machine learning engineer”, которая отличается от “data scientist” и "data engineer". Задача этой категории специалистов - deploying, monitoring and managing models in production. https://www.oreilly.com/ideas/we-need-to-build-machine-learning-tools-to-augment-machine-learning-engineers

 
Старый
01.07.2018
19:14:33
Выделение новой специальности “machine learning engineer”, которая отличается от “data scientist” и "data engineer". Задача этой категории специалистов - deploying, monitoring and managing models in production. https://www.oreilly.com/ideas/we-need-to-build-machine-learning-tools-to-augment-machine-learning-engineers
hh правда об этом не знает

 
Artem
02.07.2018
10:48:13
Выделение новой специальности “machine learning engineer”, которая отличается от “data scientist” и "data engineer". Задача этой категории специалистов - deploying, monitoring and managing models in production. https://www.oreilly.com/ideas/we-need-to-build-machine-learning-tools-to-augment-machine-learning-engineers
А зачем если есть devops? ?

 
Grigory
02.07.2018
10:48:25
А зачем если есть devops? ?
девопсов нет

 
@gurinderu

 
Artem
02.07.2018
10:48:38
Ну ок

 
Расскажите это всему миру, чтоб перестали употреблять это слово

 
Grigory
02.07.2018
10:49:35
слово то правильное, но в силу семантики его часто интерпретируется не искаженно, все хорошо, мы тебя поняли.

 
Nick
02.07.2018
11:58:33
А я тут причём?

 
Старый
02.07.2018
12:02:31
слово то правильное, но в силу семантики его часто интерпретируется не искаженно, все хорошо, мы тебя поняли.
слово правильное, но работодатели увидели в нём способ 3-5 должностей объединить в 1, а платить столько же

 
Alexey
02.07.2018
12:04:03
вот же негодяи. путать проектную роль и должность, это так тупо.

 
Nick
02.07.2018
12:18:04
эт не проектная роль

 
и не должность

 
Grigory
02.07.2018
12:18:42
вот поэтому я тя и призвал

 
Oleksandr
02.07.2018
12:24:30
амазоноюзеры, мб кто в курсе, лимиты https://docs.aws.amazon.com/batch/latest/userguide/service_limits.html вообще как-то можно поменять?

 
в частности, Maximum number of job dependencies и Maximum number of job queues / Maximum number of compute environments

 
cannot be changed в терминологии AWS не константа, а функция от заплаченного бабла, поэтому мб есть шанс

 
Timmy
02.07.2018
12:32:49
В поддержку писал? Некоторые лимиты они могут поднять если их попросить

 
Oleksandr
02.07.2018
12:33:07
у нас базовый план

 
я могу апнуть, но надо знать точно, даст ли это профит

Google
 
Oleksandr
02.07.2018
12:33:47
а на вопрос "будет ли это работать, если юзать другой план" саппорт почему-то не хочет отвечать

 
Лев
03.07.2018
20:20:57
Народ всем привет. Ищем дата инженеров в компанию Х5. Собираемся строить архитектуру с нуля. Есть бюджет и желание руководства компании. Компоненты: Kafka, HDFS, greenplum, exasol. Считалка на spark и greenplum. Так же будет ELT, какой ещё не решили. Из транспортных тулзов до лэйка: nifi, sqoop, flume. Так же требуются devops-ы (ansible/puppet) ЗП по рынку высокая, социалка - ДМС, скидки в магазинах ?, партнерские программы в спортзал и английский. За подробностями пишите в личку.
Так не навязчиво апну тему. Все ещё актуально. Тролить можно и даже приветствуется ?

 
Constantine
04.07.2018
04:22:37
Так не навязчиво апну тему. Все ещё актуально. Тролить можно и даже приветствуется ?
Ты ушел из хоум кредита? ?

 
Лев
04.07.2018
04:22:53
Ага

 
Constantine
04.07.2018
04:23:29
Теперь для х5 команду создавать) Видимо, тебе понравилось))

 
Лев
04.07.2018
06:01:18
Не то чтобы понравилось. Скорее необходимость

 
Я был бы рад если б она уже была ))

 
Paul
04.07.2018
07:46:12
Я был бы рад если б она уже была ))
А систему тоже с нуля все строить нужно или уже есть что-то (естественно кроме опыта имею ввиду)?

 
А, извиняюсь, объявление прочитал боком, там так и написано с нуля)

 
Лев
04.07.2018
08:03:39
А систему тоже с нуля все строить нужно или уже есть что-то (естественно кроме опыта имею ввиду)?
С нуля

 
Tsh
04.07.2018
08:35:46
С нуля - это очень хорошо

 
Nick
04.07.2018
08:45:57
чем же хорошо? все равно в гавно скатится)

 
Pavel
04.07.2018
09:49:54
Всем привет. Устанавливаю kafka на Cloudera 5.14. Сервис нн стартует и выдает ошибку HeapOutOfMemory. Увеличил java heap size broker и mirror на 10 gb. Та же ошибка. Может кто помлчь?

 
Старый
04.07.2018
10:07:13
Всем привет. Устанавливаю kafka на Cloudera 5.14. Сервис нн стартует и выдает ошибку HeapOutOfMemory. Увеличил java heap size broker и mirror на 10 gb. Та же ошибка. Может кто помлчь?
я нормально клоудеру смог запустить только на 80 гб оперативы

 
до этого постоянно какому то сервису не хватало памяти

 
Pavel
04.07.2018
10:08:59
я нормально клоудеру смог запустить только на 80 гб оперативы
А можно вкратце настройки написать: брокеры, мирроры, гэйтвэй, heap и тд? Подозреваю что проблема только в них

 
Старый
04.07.2018
10:09:25
А можно вкратце настройки написать: брокеры, мирроры, гэйтвэй, heap и тд? Подозреваю что проблема только в них
я это делал в ноябре, у меня сейчас даже доступа туда нет

 
я когда запустил esxi виртуалку с cloudera, залил наши данные, у меня было 3600 ошибок

 
в итоге увеличив памяти до 80, cpu без HT до 12 и выделив 2 ssd их стало 15, и уж уже решал

 
Pavel
04.07.2018
10:13:10
У меня только одна эта??‍♂️

Google
 
Pavel
04.07.2018
10:13:18
С хипом

 
Старый
04.07.2018
10:17:14
KAFKA_HEAP_OPTS="-Xmx10g -Xms10g" и удалять env-var пробовал?

 
Pavel
04.07.2018
10:18:10
Не удялял. В оптс написал 5g

 
По идее при установке клаудера переписывать должна env var

 
Попробую с этим.

 
Старый
04.07.2018
10:19:22
ну там пишут про какой то обходной путь в env-var

 
который надо удалить чтобы работало KAFKA_HEAP_OPTS="-Xmx10g -Xms10g"

 
Pavel
04.07.2018
10:37:30
А где пишут?

 
Daniel
04.07.2018
10:42:13
который надо удалить чтобы работало KAFKA_HEAP_OPTS="-Xmx10g -Xms10g"
Хрена. 10 гигов на кафку.

 
Alex
04.07.2018
11:51:38
ребят всем привет, кто-нибудь знает можно ли у airflow переопределить host с которого он читает логи на UI?

 
в идеале это сделать как-нибудь через variables

 
Stanislav
04.07.2018
11:55:15
Странное использование. Читает или пишет?

 
Alex
04.07.2018
12:31:34
там такая проблема, я эирфлоу запускаю в докере и когда логи открываю там первые 2 строки: *** Log file isn't local. *** Fetching here: http://6d5128393daf:8793/log/datasource-2-4-etl/wait_for_input/2018-07-04T11:49:00/1.log это если у конкретного дага стейджу смотреть, если я докер контейнер билдю заново, то все ломается тк docker container id меняется и старые логи нельзя посмотреть. ошибка примерно такая Failed to fetch log file from worker.

 
Oleksandr
04.07.2018
12:32:40
там такая проблема, я эирфлоу запускаю в докере и когда логи открываю там первые 2 строки: *** Log file isn't local. *** Fetching here: http://6d5128393daf:8793/log/datasource-2-4-etl/wait_for_input/2018-07-04T11:49:00/1.log это если у конкретного дага стейджу смотреть, если я докер контейнер билдю заново, то все ломается тк docker container id меняется и старые логи нельзя посмотреть. ошибка примерно такая Failed to fetch log file from worker.
можно просунуть специальный mount/volume для этого дела

 
Alex
04.07.2018
12:34:18
чем это поможет?

 
Alexander
04.07.2018
12:34:19
docker run ... -v .../log:.../log:rw ...

 
Alex
04.07.2018
12:34:40
там проблема именно в том что при перебилдивании докер контейнера у него hostname меняется

 
и когда вебсервер пытается фетчить логи он фетчит по старому хосту у воркера

 
Oleksandr
04.07.2018
12:35:02
аа

 
ну тогда hosts :)

Google
 
Alex
04.07.2018
12:35:16
то есть проблема не c volume

 
можно поподробнее про hosts?)

 
Oleksandr
04.07.2018
12:36:14
можно поподробнее про hosts?)
/etc/hosts — перенаправить битую урлу на правильную

 
Alex
04.07.2018
12:36:50
а в этом смысле

Страница 110 из 182