@hadoopusers

Страница 110 из 182
Daniel
27.06.2018
14:31:22
да они маленькие были) килобайты джейсона
ну килобайты еще ничего, гайки можно подкручивать в зависимости от чего не нравится

Grigory
27.06.2018
14:31:44
эт да; но там на потоке сообщений было уже бесполезно крутить; ей не нравилось

да и быстрее оказалось (на том проекте была ажура) даже слать ссылку и тащить реальные файлы из ажур блоб стора

Vadim
27.06.2018
14:32:52
кафконасилие

Google
Grigory
27.06.2018
14:33:18
конечно косяк возникал что там в теории могли быть более мегабайта сообщения да и вообще несколько мегабайт) что в принципе тоже немного

Grigory
27.06.2018
14:46:47
А это уже особо не покрутить
мульиполгионы ага );

Juliano
28.06.2018
17:37:40
Hi! Is English alowed here?

Константин
28.06.2018
17:44:42
I suppose yes

Mikhail
28.06.2018
17:48:03
Hola! Si, Mas o menos!

KrivdaAllStars
28.06.2018
17:54:41
Наверное нужно сделать англоязычную :) в дополнение

https://t.me/dataengi позже порекламирую

Juliano
28.06.2018
18:10:43
I need to export from Sqoop to PostgreSQL. "task failed"

Alexander
28.06.2018
19:04:02
I need to export from Sqoop to PostgreSQL. "task failed"
Do you get any additional error description? May be the target schema is not compatible with your data (e.g. data types or constraints). You need to look at the MR logs.

Juliano
29.06.2018
11:42:44
Log pls
I need to recreate the environment to reproduce the error message again. Thx

Google
Andrey
29.06.2018
20:47:29
Выделение новой специальности “machine learning engineer”, которая отличается от “data scientist” и "data engineer". Задача этой категории специалистов - deploying, monitoring and managing models in production. https://www.oreilly.com/ideas/we-need-to-build-machine-learning-tools-to-augment-machine-learning-engineers

Grigory
02.07.2018
10:48:25
@gurinderu

Artem
02.07.2018
10:48:38
Ну ок

Расскажите это всему миру, чтоб перестали употреблять это слово

Grigory
02.07.2018
10:49:35
слово то правильное, но в силу семантики его часто интерпретируется не искаженно, все хорошо, мы тебя поняли.

Nick
02.07.2018
11:58:33
А я тут причём?

Старый
02.07.2018
12:02:31
слово то правильное, но в силу семантики его часто интерпретируется не искаженно, все хорошо, мы тебя поняли.
слово правильное, но работодатели увидели в нём способ 3-5 должностей объединить в 1, а платить столько же

Alexey
02.07.2018
12:04:03
вот же негодяи. путать проектную роль и должность, это так тупо.

Nick
02.07.2018
12:18:04
эт не проектная роль

и не должность

Grigory
02.07.2018
12:18:42
вот поэтому я тя и призвал

Oleksandr
02.07.2018
12:24:30
амазоноюзеры, мб кто в курсе, лимиты https://docs.aws.amazon.com/batch/latest/userguide/service_limits.html вообще как-то можно поменять?

в частности, Maximum number of job dependencies и Maximum number of job queues / Maximum number of compute environments

cannot be changed в терминологии AWS не константа, а функция от заплаченного бабла, поэтому мб есть шанс

Timmy
02.07.2018
12:32:49
В поддержку писал? Некоторые лимиты они могут поднять если их попросить

Oleksandr
02.07.2018
12:33:07
у нас базовый план

я могу апнуть, но надо знать точно, даст ли это профит

Google
Oleksandr
02.07.2018
12:33:47
а на вопрос "будет ли это работать, если юзать другой план" саппорт почему-то не хочет отвечать

Лев
04.07.2018
04:22:53
Ага

Constantine
04.07.2018
04:23:29
Теперь для х5 команду создавать) Видимо, тебе понравилось))

Лев
04.07.2018
06:01:18
Не то чтобы понравилось. Скорее необходимость

Я был бы рад если б она уже была ))

Paul
04.07.2018
07:46:12
Я был бы рад если б она уже была ))
А систему тоже с нуля все строить нужно или уже есть что-то (естественно кроме опыта имею ввиду)?

А, извиняюсь, объявление прочитал боком, там так и написано с нуля)

Tsh
04.07.2018
08:35:46
С нуля - это очень хорошо

Nick
04.07.2018
08:45:57
чем же хорошо? все равно в гавно скатится)

Pavel
04.07.2018
09:49:54
Всем привет. Устанавливаю kafka на Cloudera 5.14. Сервис нн стартует и выдает ошибку HeapOutOfMemory. Увеличил java heap size broker и mirror на 10 gb. Та же ошибка. Может кто помлчь?

Старый
04.07.2018
10:07:13
до этого постоянно какому то сервису не хватало памяти

Pavel
04.07.2018
10:08:59
я нормально клоудеру смог запустить только на 80 гб оперативы
А можно вкратце настройки написать: брокеры, мирроры, гэйтвэй, heap и тд? Подозреваю что проблема только в них

Старый
04.07.2018
10:09:25
я когда запустил esxi виртуалку с cloudera, залил наши данные, у меня было 3600 ошибок

в итоге увеличив памяти до 80, cpu без HT до 12 и выделив 2 ssd их стало 15, и уж уже решал

Pavel
04.07.2018
10:13:10
У меня только одна эта??‍♂️

Google
Pavel
04.07.2018
10:13:18
С хипом

Старый
04.07.2018
10:17:14
KAFKA_HEAP_OPTS="-Xmx10g -Xms10g" и удалять env-var пробовал?

Pavel
04.07.2018
10:18:10
Не удялял. В оптс написал 5g

По идее при установке клаудера переписывать должна env var

Попробую с этим.

Старый
04.07.2018
10:19:22
ну там пишут про какой то обходной путь в env-var

который надо удалить чтобы работало KAFKA_HEAP_OPTS="-Xmx10g -Xms10g"

Pavel
04.07.2018
10:37:30
А где пишут?

Daniel
04.07.2018
10:42:13
Alex
04.07.2018
11:51:38
ребят всем привет, кто-нибудь знает можно ли у airflow переопределить host с которого он читает логи на UI?

в идеале это сделать как-нибудь через variables

Stanislav
04.07.2018
11:55:15
Странное использование. Читает или пишет?

Alex
04.07.2018
12:31:34
там такая проблема, я эирфлоу запускаю в докере и когда логи открываю там первые 2 строки: *** Log file isn't local. *** Fetching here: http://6d5128393daf:8793/log/datasource-2-4-etl/wait_for_input/2018-07-04T11:49:00/1.log это если у конкретного дага стейджу смотреть, если я докер контейнер билдю заново, то все ломается тк docker container id меняется и старые логи нельзя посмотреть. ошибка примерно такая Failed to fetch log file from worker.

Alex
04.07.2018
12:34:18
чем это поможет?

Alexander
04.07.2018
12:34:19
docker run ... -v .../log:.../log:rw ...

Alex
04.07.2018
12:34:40
там проблема именно в том что при перебилдивании докер контейнера у него hostname меняется

и когда вебсервер пытается фетчить логи он фетчит по старому хосту у воркера

Oleksandr
04.07.2018
12:35:02
аа

ну тогда hosts :)

Google
Alex
04.07.2018
12:35:16
то есть проблема не c volume

можно поподробнее про hosts?)

Oleksandr
04.07.2018
12:36:14
можно поподробнее про hosts?)
/etc/hosts — перенаправить битую урлу на правильную

Alex
04.07.2018
12:36:50
а в этом смысле

Страница 110 из 182