Датаноды, но диски разные, про файлкеш знаю, но вроде не сильно упирались

Ой много ли ей надо

все зависит от ситуации

в идеале данные не должны вымывваться из памяти пока их не прочтут все консьюмеры

в идеале данные не должны вымывваться из памяти пока их не прочтут все консьюмеры

Рамиль. а чем вы мониторите кафку? например, тот же факт вымывания

честно говоря не мониторили такие вещи

да и на тех проектах где участвовал нагрузка на кафку была мизерной

в идеале данные не должны вымывваться из памяти пока их не прочтут все консьюмеры

Зависит от )

А кто-нибудь переезжал с паркета на карбон дату?

А кто-нибудь переезжал с паркета на карбон дату?

А вы пользуетесь carbon data? Какие плюсы? Действительно стоит того?

Нет, но мы посматриваем

Поэтому и спрашиваю

Нам очень не хватает индексов в паркете

Нам очень не хватает индексов в паркете

А орс чем плох?

Это что?

Это что?

orc

Это что?

https://orc.apache.org

А sql по этому можно?

Да:)

Он заточен под Hive, неплохой формат

Мы используем вместо Parquet

Он заточен под Hive, неплохой формат

carbondata?

carbondata?

ORC Carbon не пробовали

Он заточен под Hive, неплохой формат

Почему, в спарке 2,3 вроде добавили норм поддержку

Да, векторизованый ридер.

Там много оптимизаций для ORC в 2.3 спарке, а также Horton забекпортил оптимизацию под ORC начиная со спарка 2.2 (HDP 2.6.4+)

Вы с паркетом сравнивали на 2.3 спарке? А то у меня руки не доходят никак...

А так и даталокалити получаешь пр работе спарком

Причем здесь только кафка

А есть сравнение в плане фич с паркетом? Или это просто drop in replacement?

А есть сравнение в плане фич с паркетом? Или это просто drop in replacement?

Ну по описанию, там есть блум фильтр и индексы.

Читаю доку, выглядит прикольно.

И да, дока у них по информативнее, чем у паркета

Правда для вложенных данных паркет вроде лучше подходит

Слушайте, а вот там есть struct и union типы. Это что же получается, я могу полноценное адт выразить?

Правда для вложенных данных паркет вроде лучше подходит

Почему?

Честно, никогда вложенных структур не хранил. Но вообще, паркет изначально разрабатывался для вложенных структур.

Возможно кто-то в этом чате лучше знает

А лучше самому потестить и сравнить)

О, холивар Parquet vs ORC, обожаю

О, холивар Parquet vs ORC, обожаю

Да вроде тут никто не холиварит)

Пока что )) я жду когда придут паркетчики и прочтут

А четам холиварить

Орк не умеет ничего кроме snappy/deflate(zlib)

Орк не умеет ничего кроме snappy/deflate(zlib)

Zlib же

Zlib же

Вот да

Орк не умеет ничего кроме snappy/deflate(zlib)

Это так плохо?

Это так плохо?

Ну, в паркет завезли brotli и zstandard, последний по сжатию на уровне deflate и при этом быстрее

Ну сжатие - это хорошо. Но без индексов грустно живётся

Блум фильтры и индексы в орке выглядят вкусно, надо пробовать

Ну, в паркет завезли brotli и zstandard, последний по сжатию на уровне deflate и при этом быстрее

Не вижу, чтобы последний Спарк 2.3.2 поддерживал их. Судя по доке: Acceptable values include: none, uncompressed, snappy, gzip, lzo.

Не вижу, чтобы последний Спарк 2.3.2 поддерживал их. Судя по доке: Acceptable values include: none, uncompressed, snappy, gzip, lzo.

С 2.4

Патчи нетфликса

ждем уж 2.4 ппц сколько

):

Там уже 3.0-snapshot ( нужно только подождать еще года 3 )

Ну вообще RC 2.4.0 уже паблишатся в апачевую RC репу: https://repository.apache.org/content/repositories/

так что велком

Ну вот когда официальный релиз будет, тогда и можно будет что-то говорить) тем более пока это всё до продакшна дойдёт...

Ну вообще RC 2.4.0 уже паблишатся в апачевую RC репу: https://repository.apache.org/content/repositories/

Не считово, я верю в свою победу

Не считово, я верю в свою победу

Думаешь после нг релиз?

Думаешь после нг релиз?

После скалы 2.13))

После скалы 2.13))

Rc1 ток в январе будет

если будет)

Чего там завезут интересно

Всем доброго вечера! А здесь есть админы Hadoop, кто хочет развития и делать полезные для города задачи? А то нам нужны такие. Если да - пишите в лс #job

Безопасный транспорт?

Безопасный транспорт?

Ответил в лс.

Кто-ниубдь в Hive пакетно менял кириллицу на латиницу?

В строках.

Заделитесь кодом.

Вы с паркетом сравнивали на 2.3 спарке? А то у меня руки не доходят никак...

Дотошно не сравнивали, но примерно то же самое и получилось по скорости. Orc+Zlib для нас работает как оптимальная комбинация

Что можно юзать для разделения двух голосов в одной дорожке, которые говорят одновременно?

ну типо вообще какие методы применяются

и вообще как гуглить по этой теме? а то я не нашёл, пока что, годных ресурсов

Ты, похоже чятиком промахнулся.

Что можно юзать для разделения двух голосов в одной дорожке, которые говорят одновременно?

пейперы по темам speaker detection, speaker tracking

пейперы по темам speaker detection, speaker tracking

Благодарю

Ты, похоже чятиком промахнулся.

Чатиком*

Ты, похоже чятиком промахнулся.

+

ребят, не знаете где взять docker образ, чтобы парсер парсил и передовал данные (скорее в json) в Kafka, а потом в Elasticsearch и затем в Kibana ?

Какой парсер?

«…и чтоб можно было грабить корованы…»

ребят, не знаете где взять docker образ, чтобы парсер парсил и передовал данные (скорее в json) в Kafka, а потом в Elasticsearch и затем в Kibana ?

Если ты знаешь где взять такой парсер - его скорее всего можно запаковать в докер, и это не трудно. Если парсера у тебя нет, то убери из своей задачи слово докер и попробуй поискать решение.

ребят, не знаете где взять docker образ, чтобы парсер парсил и передовал данные (скорее в json) в Kafka, а потом в Elasticsearch и затем в Kibana ?

Logstash, greylog

Про это речь?

Logstash, greylog

вряд ли он их хотел

«…и чтоб можно было грабить корованы…»

?

spark.read.json(json_rdd).write.format("org.elasticsearch.spark.sql").mode('append').save("index0/mapping0")

это?

#job #работа #Москва Всем привет! В подразделение BigData С7 Техлаб (дочерняя компания авиакомпании С7) разыскивается Data Engineer (мидл и выше), который поможет нам построить самый лучший DataLake в мире. Наше подразделение занимается разработкой инновационных продуктов для авиакомпании, и всем этим продуктам требуются данные. Наконец-то все созрели для создания большого озера данных, в котором смогут плескаться все наши уникальные разработки :) Обязанности: - Создание подключений к источникам сырых данных (а иногда и к витринам корпоративных хранилищ); - Организация конвейеров данных из источников; - Организация доступа к данным для аналитиков, разработчиков и дата сатанистов; - Поддержание кластера Hadoop в боевом состоянии совместно с DevOps. Требования: - Отличные знания Hadoop-стека: HDFS (как, где и почему лежат данные), YARN (кому, какие и почему выделены ресурсы), Sqoop, Oozie (откуда и как текут данные, но можно и AirFlow), MapReduce (как и почему ведут себя базовые процессы, загрузка данных), Spark (обработка и трансформация) , HBase (промежуточные витрины, особенно круто, если есть опыт с Phoenix); - Крайне желательно умение работать с потоками данных: Kafka, Spark Streaming, Flink; - Отличные знания SQL и его диалектов, опыт работы с различными РСУБД: Oracle, MSSQL, PostgreSQL, способы оптимизации запросов, выделение инкрементов, репликации; - Отлично, если есть опыт работы с NoSQL- и колоночными базами: MongoDB, Redis, Aerospike, Vertica, ClickHouse; - Опыт администрирования кластера Hadoop. Разработка, в основном, ведется на Python/Scala, но не чураемся и Java. Место работы: Москва, уютный офис на Петровке, прямо напротив ЦУМ. Плюшки: система сложная, но в конечном счете приятная. Авиаперелеты, ДМС, спорт, мобильная связь, бары и рестораны по специальным корпоративным тарифам. Тарифы на авиабилеты действуют на всю семью, включая родителей жены/мужа, а ДМС, спорт и прочее можно оформить даже для друзей. Вилка: 150-250 т.р. на руки. Контакт: спрашивать свои ответы можно лично у меня, я тим-лид DE.