а есть среди нас те, кто побеждал в боях с крб+спарк+кафка?

в итоге победили

в итоге победили

А что было в итоге

а есть среди нас те, кто побеждал в боях с крб+спарк+кафка?

А что не так там?

Как раз с ними работаю

А что было в итоге

сочетание спарка 1.6 и кафки - нужно было выбрать правильный джарник, правильно сделать .jaas и правильно добавить все это рукоблудие в сабмит скрипт

А что не так там?

да ничего особо, настроить не получалось просто

А что было в итоге

ну и плюс всякие приколы от разработчиков - то им PLAINTEXTSASL, то SASL_PLAINTEXT подавай в конфиг и ошибки нифига не информативные

коллеги, привет всем! кто-либо сталкивался с проблемами при обработке дат-таймстемпов в Hive - если дата попадает на DST (daylight saving time) той таймзоны, в рамках которой работает кластер или все работают с UTC таймзоной в клстере?

пример: 1) у меня выставлена таймзона Asia/Yekaterinburg 2) у этой таймзоны был переход на летнее время в 1983-04-01 00:00:00 на 1 час вперед 3) в Hive запускаю запрос: select cast("1983-04-01 00:00:00" as timestamp); получаю 1983-04-01 01:00:00 4) если я в Hive запускаю запрос: select from_utc_timestamp("1983-04-01 00:00:00", 'UTC'); получаю то же самое: 1983-04-01 01:00:00

насколько я понимаю. в Hive таймстемпы хранятся БЕЗ таймзоны. лишь смещения но как мне преобразовать таймстемп в UTC формат без сдвигов на DST используемой таймзоны?

насколько я понимаю. в Hive таймстемпы хранятся БЕЗ таймзоны. лишь смещения но как мне преобразовать таймстемп в UTC формат без сдвигов на DST используемой таймзоны?

мне кажется таймстемпы там хранятся в секундах синс эпох, а таймзону уже берет клиент

Привет

кто нибудь разбирался с kafka on yarn ?

проблема в том, что запускаю несколько контейнеров, у которых в resources.json указано yarn.vcore =4, но контейнеры поднимаются с 1 ядром

есть идеи у кого нибудь?

есть идеи у кого нибудь?

Имхо - ее проще отдельно поставить, она весьма стабильная, нетребовательная к ресурсам, простая в настройке, особенно если поставить рядом какой нибудь kafka manager... Проще поставить отдельно и забыть о ней.. периодически обновляя до актуального релиза разумеется

это все понятно, задача развернуть в кластере

#job #москва Всем привет! OZON.ru приглашает в свою команду Python разработчика. Подробности есть вот тут: https://job.ozon.ru/vacancies/13683/

?

https://blog.jupyter.org/jupyterlab-is-ready-for-users-5a6f039b8906

Выглядит круто

Вопрос по стабильности и насколько правдиво реализованы заявленные фичи

у меня тут человек рядом сидит и оч довольный)

анонс сегодняшний, you are welcome to investigate

Кафку из поставки HDP выпиливают. Стоит ли вобще ставить HDF или для kafka + storm + schema registry проще руками через всякие там ансиблы развернуть ?

Второй вариант - кафку легко ставить , единственное мониторинг надо самому делать

Если проект / компания довольно большая то наверняка есть что то для мониторинга других сервисов помимо хдф или цдх

мониторинг конечно внешний есть.

внешний относительно hdp стека.

Была статья что конфлуент прикрутил мониторинг к кафке с графиками и прочими свистелками. Только не помню, есть ли такая фича в бесплатной версии

В бесплатной все убого. В платной лучше но не сильно, Имхо.

Кто такой джон голт?

Кто такой джон голт?

это не из Револьвера, случайно?

это не из Револьвера, случайно?

там мистер золото (голд)

это не из Револьвера, случайно?

Это из этого

все карты раскрыл сразу ):

Да норм книжка чо вы

Я вот реально не понимаю стеба над ней последнее время

Стебут ее, потому что она стала жутко популярной у хипстеров и дев с богатым внутренним миром. Так со всем хайповым происходит

Ясно

До Эко уже добрались ? Или я пропустил все

Стебут ее, потому что она стала жутко популярной у хипстеров и дев с богатым внутренним миром. Так со всем хайповым происходит

я думаю ее стебут вообще почти все время)

До Эко уже добрались ? Или я пропустил все

да, все что (якобы) имеет сокральные смыслы подвергается стебу со стороны знатоков (или не знатоков)

Стебут ее, потому что она стала жутко популярной у хипстеров и дев с богатым внутренним миром. Так со всем хайповым происходит

очень радует , что теперь людям которые кричат про микробатчи можно будет тыкать в continuos processing

Коллеги, а кто-нибудь встречал ошибка ...Спарк стриминге при подключении к касандре через пол часа работы to many open files настройки для ос согласно рекомендациям дастакса

Посмотри кто наоткрывал файлов, да увеличь

Или не смотри)

Да увеличили уже

Там даже анлим стоит вроде по рекомендациям

Сервис ребутал?

Не подхватится юлимит

Надо убедиться что действительно увеличили. И посмотреть сколько реально открытых файлов

Сервис в смысле агент кассандры?

Ну что у тебя там крутится и выжирает лимит надо перезапустить

Стриминговое приложение, ну ок спасибо, завтра ещё раз всё проверю

Не за что, по возможности ребутни сервак. Понимаю - эникей стайл, но вроде не грешновато в случае с лимитами

Перевернуть сервер это круто там же столько всякой херни клоудера.... И тд.

А , ну ок, тогда изучай лсоф

Олег сказал все слова что знал ? )

ulimit для сессии. Если у вас стриминг стартуется неким init скриптом \ systemd таском, то имено в них нужно увеличивать значение, и да это параметр для сессии, тоесть придётся перезапустить приложеньку.

плюс для начала стоит посмотреть фактическое значение ulimit у процесса - cat /proc/XXXXXX/limits

уже почти скоро, кому интересно, изменения в законе о защите данных

интересно послушать тех кто прошел через адаптацию под него

я правильно понимаю? - гражданин ЕС приезжает в РФ и покупает симку МТС - гражданин звонит и т.п., можно из роуминга - потом говорит МТС: а дайте ка мне полный дамп всех моих персональных данных из всех ваших систем, а также объясните как вы это всё используете, в т.ч. все 3d-party компании, в течение 30 дней - а потом удалите ка эту информацию из всех систем в течение 30 дней - МТС делает сложное лицо - гражданин подаёт в суд, миллионы штрафа (а ну и пофиг, что иностранная компания)

а почему это должно распространяться на РФ

я правильно понимаю? - гражданин ЕС приезжает в РФ и покупает симку МТС - гражданин звонит и т.п., можно из роуминга - потом говорит МТС: а дайте ка мне полный дамп всех моих персональных данных из всех ваших систем, а также объясните как вы это всё используете, в т.ч. все 3d-party компании, в течение 30 дней - а потом удалите ка эту информацию из всех систем в течение 30 дней - МТС делает сложное лицо - гражданин подаёт в суд, миллионы штрафа (а ну и пофиг, что иностранная компания)

Я думаю гражданам ес не будут оказывать услугу