
Daniel
27.06.2018
14:31:22

Grigory
27.06.2018
14:31:44
эт да; но там на потоке сообщений было уже бесполезно крутить; ей не нравилось
да и быстрее оказалось (на том проекте была ажура) даже слать ссылку и тащить реальные файлы из ажур блоб стора

Vadim
27.06.2018
14:32:52
кафконасилие

Google

Grigory
27.06.2018
14:33:18
конечно косяк возникал что там в теории могли быть более мегабайта сообщения
да и вообще несколько мегабайт)
что в принципе тоже немного

Jury
27.06.2018
14:33:54

Daniel
27.06.2018
14:46:04

Grigory
27.06.2018
14:46:47

Juliano
28.06.2018
17:37:40
Hi!
Is English alowed here?

Константин
28.06.2018
17:44:42
I suppose yes

Mikhail
28.06.2018
17:48:03
Hola! Si, Mas o menos!

KrivdaAllStars
28.06.2018
17:54:41
Наверное нужно сделать англоязычную :) в дополнение
https://t.me/dataengi позже порекламирую

Juliano
28.06.2018
18:10:43
I need to export from Sqoop to PostgreSQL.
"task failed"

Alexander
28.06.2018
19:04:02

Andrew
28.06.2018
20:02:32

Juliano
29.06.2018
11:42:44
Log pls
I need to recreate the environment to reproduce the error message again.
Thx

Google

Andrey
29.06.2018
20:47:29
Выделение новой специальности “machine learning engineer”, которая отличается от “data scientist” и "data engineer". Задача этой категории специалистов - deploying, monitoring and managing models in production. https://www.oreilly.com/ideas/we-need-to-build-machine-learning-tools-to-augment-machine-learning-engineers

Старый
01.07.2018
19:14:33

Artem
02.07.2018
10:48:13

Grigory
02.07.2018
10:48:25
@gurinderu

Artem
02.07.2018
10:48:38
Ну ок
Расскажите это всему миру, чтоб перестали употреблять это слово

Grigory
02.07.2018
10:49:35
слово то правильное, но в силу семантики его часто интерпретируется не искаженно, все хорошо, мы тебя поняли.

Nick
02.07.2018
11:58:33
А я тут причём?

Старый
02.07.2018
12:02:31

Alexey
02.07.2018
12:04:03
вот же негодяи.
путать проектную роль и должность, это так тупо.

Nick
02.07.2018
12:18:04
эт не проектная роль
и не должность

Grigory
02.07.2018
12:18:42
вот поэтому я тя и призвал

Oleksandr
02.07.2018
12:24:30
амазоноюзеры, мб кто в курсе, лимиты https://docs.aws.amazon.com/batch/latest/userguide/service_limits.html вообще как-то можно поменять?
в частности, Maximum number of job dependencies и Maximum number of job queues / Maximum number of compute environments
cannot be changed в терминологии AWS не константа, а функция от заплаченного бабла, поэтому мб есть шанс

Timmy
02.07.2018
12:32:49
В поддержку писал? Некоторые лимиты они могут поднять если их попросить

Oleksandr
02.07.2018
12:33:07
у нас базовый план
я могу апнуть, но надо знать точно, даст ли это профит

Google

Oleksandr
02.07.2018
12:33:47
а на вопрос "будет ли это работать, если юзать другой план" саппорт почему-то не хочет отвечать

Лев
03.07.2018
20:20:57

Constantine
04.07.2018
04:22:37

Лев
04.07.2018
04:22:53
Ага

Constantine
04.07.2018
04:23:29
Теперь для х5 команду создавать) Видимо, тебе понравилось))

Лев
04.07.2018
06:01:18
Не то чтобы понравилось. Скорее необходимость
Я был бы рад если б она уже была ))

Paul
04.07.2018
07:46:12
А, извиняюсь, объявление прочитал боком, там так и написано с нуля)

Лев
04.07.2018
08:03:39

Tsh
04.07.2018
08:35:46
С нуля - это очень хорошо

Nick
04.07.2018
08:45:57
чем же хорошо? все равно в гавно скатится)

Pavel
04.07.2018
09:49:54
Всем привет. Устанавливаю kafka на Cloudera 5.14. Сервис нн стартует и выдает ошибку HeapOutOfMemory. Увеличил java heap size broker и mirror на 10 gb. Та же ошибка. Может кто помлчь?

Старый
04.07.2018
10:07:13
до этого постоянно какому то сервису не хватало памяти

Pavel
04.07.2018
10:08:59

Старый
04.07.2018
10:09:25
я когда запустил esxi виртуалку с cloudera, залил наши данные, у меня было 3600 ошибок
в итоге увеличив памяти до 80, cpu без HT до 12 и выделив 2 ssd их стало 15, и уж уже решал

Pavel
04.07.2018
10:13:10
У меня только одна эта??♂️

Google

Pavel
04.07.2018
10:13:18
С хипом

Старый
04.07.2018
10:17:14
KAFKA_HEAP_OPTS="-Xmx10g -Xms10g" и удалять env-var пробовал?

Pavel
04.07.2018
10:18:10
Не удялял. В оптс написал 5g
По идее при установке клаудера переписывать должна env var
Попробую с этим.

Старый
04.07.2018
10:19:22
ну там пишут про какой то обходной путь в env-var
который надо удалить чтобы работало KAFKA_HEAP_OPTS="-Xmx10g -Xms10g"

Pavel
04.07.2018
10:37:30
А где пишут?

Daniel
04.07.2018
10:42:13

Alex
04.07.2018
11:51:38
ребят всем привет, кто-нибудь знает можно ли у airflow переопределить host с которого он читает логи на UI?
в идеале это сделать как-нибудь через variables

Stanislav
04.07.2018
11:55:15
Странное использование. Читает или пишет?

Alex
04.07.2018
12:31:34
там такая проблема, я эирфлоу запускаю в докере и когда логи открываю там первые 2 строки:
*** Log file isn't local.
*** Fetching here: http://6d5128393daf:8793/log/datasource-2-4-etl/wait_for_input/2018-07-04T11:49:00/1.log
это если у конкретного дага стейджу смотреть, если я докер контейнер билдю заново, то все ломается тк docker container id меняется и старые логи нельзя посмотреть.
ошибка примерно такая Failed to fetch log file from worker.

Oleksandr
04.07.2018
12:32:40

Alex
04.07.2018
12:34:18
чем это поможет?

Alexander
04.07.2018
12:34:19
docker run ... -v .../log:.../log:rw ...

Alex
04.07.2018
12:34:40
там проблема именно в том что при перебилдивании докер контейнера у него hostname меняется
и когда вебсервер пытается фетчить логи он фетчит по старому хосту у воркера

Oleksandr
04.07.2018
12:35:02
аа
ну тогда hosts :)

Google

Alex
04.07.2018
12:35:16
то есть проблема не c volume
можно поподробнее про hosts?)

Oleksandr
04.07.2018
12:36:14

Alex
04.07.2018
12:36:50
а в этом смысле