Добрый вечер. Коллеги, не подскажете ссылку на какой-нибудь толковый материал по kafka mirror maker? Апачевская дока и hortonовский Best practis не помогают, валится зараза.

Ещё есть такое нехорошее подозрение, поскольку в Scala не силен, что один mirror maker создаёт только один producer или я ошибаюсь?

Добрый вечер. Коллеги, не подскажете ссылку на какой-нибудь толковый материал по kafka mirror maker? Апачевская дока и hortonовский Best practis не помогают, валится зараза.

https://t.me/proKafka

https://t.me/proKafka

Благодарю

Благодарю

Там по Confluent как раз могут подсказать.

The incredible benefits of using infrastructure as code include being able to sleep at night—a pretty nice benefit indeed—knowing that you can redeploy to a given state safely. For your tools of choice, Nathan Malishev compares CloudFormation and Terraform. https://hackernoon.com/your-infrastructure-as-code-cloudformation-vs-terraform-34ec5fb5f044?mkt_tok=eyJpIjoiT0RneVkyRmpaamM0T1RNNCIsInQiOiJ2dmEzbEVcL0xLMmxkc1wvNlFLbmM5K0doK0pPTnRxN21DXC92WStPaWY1ZmxsaHRoaWhzUE5vdGRWbVJ2SHpZMzlkNTVYQzFnbnB5MUJFOGtxeWJTTnFtaURoV2hKbVNydXo3U280YjFjK280T3U4eWdZZ3BlUVk5ZXJ0WmZZeTNoXC8ifQ%3D%3D

Всем привет! Я так и не очухался, поэтому у нас сегодня новый ведущий и это... сюрприз-сюрприз... @krivdathetriewe! Трансляция будет доступна вот по этой ссылке https://moscowspark.github.io/

https://www.scylladb.com/scylla-summit-2018/ кто едет?

печалька

Ну почему же печалька) у нас хорошо на волгоградке.

Ну почему же печалька) у нас хорошо на волгоградке.

До вас теперь 35 трамвай не ходит :)

Часть офиса уехала на Добрынинскую, но ИТ остались на Волгоградском проспекте.

Как обычно, айтишники в самом стремном офисе а самой жопе)

Как обычно, айтишники в самом стремном офисе а самой жопе)

Оч круто было, что к нам в ibm бизнесс заходить на этаж не мог, а мы к бизнесу могли

Оч круто было, что к нам в ibm бизнесс заходить на этаж не мог, а мы к бизнесу могли

бизнес не мог из брезгливости?

кто имел дело с Cloudera Navigator? оно умеет метадату из HBase достать? Или только Hive?

У нас появилась возможность добавить людей в списки, кто не попал, но хочет придти?

А расскажите как правильно использовать метастор. Вот создаю датафрейм, делаю df.write.saveAsTable('event'), всё отрабатывает, но как потом в новой спарк сессии получить эту таблицу? Я думал всё автоматически должно работать, может что делаю не так

spark-sql говорит нет такой таблицы

У тебя warehouse.dir корректно подтягивается (причем в общем случае для Spark и Hive они отличаются)? Spark в логе ее пишет.

У тебя warehouse.dir корректно подтягивается (причем в общем случае для Spark и Hive они отличаются)? Spark в логе ее пишет.

Вот да, уже добрался до того что надо warehouse.dir задать, полный путь конфига spark.sql.warehouse.dir ведь? Вообще, делаю так: запускаю pyspark --conf spark.sql.warehouse.dir='/tmp/spark_warehouse', потом делаю spark.read.parquet('...').write.saveAsTable('foo') и получаю ошибку типа java.io.FileNotFoundException: File file:/user/hive/warehouse/foo/_temporary/0 does not exist

Ребятки, помогите, у меня в hive не агрегируются данные. Дано: Тип операции (varchar), id операции (varchar). Надо посчитать кол-во операций по типам опер. Select Oper_type ,count(operation_id) From table_name Group by oper_type

Ребятки, помогите, у меня в hive не агрегируются данные. Дано: Тип операции (varchar), id операции (varchar). Надо посчитать кол-во операций по типам опер. Select Oper_type ,count(operation_id) From table_name Group by oper_type

group by oper_type не работает разве?

Хотя хз может и так можно, не в курсе про такой синтаксис

group by oper_type не работает разве?

Да так и написал, тут сократил просто. Дело в том, что он выводит без агрегации Типа: перевод // 1 и т.д

И так миллионы строк, т.е не схлопывает однотипные операции

Почему не сделать Select Oper_type ,count(operation_id) From table_name Group by Oper_type ?

Почему не сделать Select Oper_type ,count(operation_id) From table_name Group by Oper_type ?

Исправил. Вопрос в агрегации данных.

Если сделать Select Oper_type ,count(*) From table_name Group by Oper_type аггрегированный результат выдает?

Нет, к сожалению

Выводит также множество однотипных строк, без агрегации

Выглядит так как будто данные такие и есть

А в каунтах чо?

select count(*) from table_name where oper_type=...

В смысле такие и есть?

Как обычно, айтишники в самом стремном офисе а самой жопе)

Внутри у нас отличный офис, с ремонтом и всем необходимым на территории, включая бесплатную парковку, магазин с собственной продукцией, химчистка, аптека, кабинет врача, кафе, столовая

Все, всем спасибо. Проблема была в дате

Все, всем спасибо. Проблема была в дате

А можешь рассказать?

Трансляция запущена

https://moscowspark.github.io/

А можешь рассказать?

У меня есть поле с датой, которое в формате timestamp. хочу все данные сагрегировать oper_type, month, count(oper_id). Как понял ошибка в этом Если пишу так: Last_day(to_date(finish_dttm)) as month_dt То редактор выдает ошибку. Пишет, что month нет в таблице. Если без alias, то не группирует. Пока не придумал что делать

У тебя не группирует по alias от функции? Это корректно, alias можно использовать, например, при сортировке из-за логического порядка выполнения SQL Ну так подставь саму функцию в условие группировки. Или какой именно запрос не работает?

У тебя не группирует по alias от функции? Это корректно, alias можно использовать, например, при сортировке из-за логического порядка выполнения SQL Ну так подставь саму функцию в условие группировки. Или какой именно запрос не работает?

Блин, спасибо огромное! Просто в субд работает, а тут оказывается функцию надо в group by вписывать. Не знал. ?

Блин, спасибо огромное! Просто в субд работает, а тут оказывается функцию надо в group by вписывать. Не знал. ?

Или обернуть в еще один select, который будет группировать

Или обернуть в еще один select, который будет группировать

Да, тоже так думал. Но предложенный Александром вариант более рациональный.

Да, тоже так думал. Но предложенный Александром вариант более рациональный.

А в чем рациональность, план такой же будет, только запрос понятнее

Всем спасибо за митап

Всем спасибо за митап

Не за что

А запись можно будет где-нибудь глянуть?

А запись можно будет где-нибудь глянуть?

Да, выложим все на этой неделе

Да, выложим все на этой неделе

??

Привет. Impala на Cloudera выдаёт Bad Health и такую ошибку: Audit Pipeline Tes Изначально сапорт подсказал посмотреть кодировки БД. Оказалось что база для Cloudera Navigator была закодирована в latin1, поменяли на utf8mb4, но все та же самая проблема. Кто-то сталкивался с подобным?

ребята, есть кто с geomesa связан? точного вопроса нет по этому и вопрос не очень)

@Sergio_ss есть

пиши сюда

можешь писать также в их гиттер или в наше локейшн тех лобби; задавать вопросы можно также на локешнтех мейлинг листе

привет, а анонс конференции тут можно разместить?

можно

Коллеги из Барселоны приглашают на https://www.dataengconf.com  Это 2-дневная конференция для технарей по data science, data-engineering и аналитике. Приглашены команды из Европы, США и Азии из таких компаний как Spotify, Uber, The New York Times, Datadog, Schibsted Media, Typeform, LINE, Criteo и т.д. Для представителей комьюнити скидка 30% по коду “MinskDS”. Ссылка на покупку билетов: https://www.eventbrite.com/e/dataengconf-bcn-18-tickets-47847605476?discount=MinskDS Море и солнце включены бесплатно!

чот кроме Wes McKinney особо интересных нет... я буду в Spain как раз в эти даты, так что спасибо - для меня актуально

a на конфу Сциллы никто не собирается в ноябре?

a на конфу Сциллы никто не собирается в ноябре?

я очень конечно в ней разочарован был в свое время

это который в сф будет?

я очень конечно в ней разочарован был в свое время

когда это было и почему?

это который в сф будет?

он самый

когда это было и почему?

год наверн назад; медленная

ну я покрывал кассандра кейс; при одинаковых улсовиях сцилка просто падала

при том что ни касандру ни сциллу я особо не тюнил и не ковырял