Тут скорее какой-нибудь hadoop ozone больше бы подошел, но он в глубокой разработке всё еще:(

тоже про него подумал, но его только вроде хортон хоть в каком-то виде у себя выкатил, клоудера и не близко

а вообще держи ссылку, действительно тут hbase уже какой лучше зайдет, плюс под это дело были и оптимизации у них

https://www.cloudera.com/documentation/enterprise/5-13-x/topics/admin_hbase_mob.html

они по минимуму compaction хоняют по указанным колумнфэмили, то есть лишний раз читать-писать не должно

http://blog.cloudera.com/blog/2017/06/introducing-apache-hbase-medium-object-storage-mob-compaction-partition-policies/

в качестве ключа используй твой же хеш и все дела

Всем привет. Нужен хадуп админ. https://m.hh.ru/vacancy/26937652

Основные требования - hadoop. Плюсом - oracle.

Вопросы тут или в личку

>Hadoop in the Enterprise: Architecture Версия 18го года сильно отличается от 17?

>Hadoop in the Enterprise: Architecture Версия 18го года сильно отличается от 17?

ну если тру ентерпрайз то должно быть одно и тоже @krivdathetriewe

не уверен что сильно отличается

18 в свободном доступе прост не нашел

ну сафарибукс

Всем. привет. Есть какие-то бест-практис касательно бекапов данных хранимых в hdfs? Там просто оченьго много мельких файлов, сейчас уже почти 500к, а будет больше. Если делать distcp на S3 это очень медленно, примерно 1000 файлов в час. Крайне неприемлемая скорость.

снепшоты норм тема, для бекапов.

Коллеги, всем привет! Расскажите, есть ли опыт использования инструментов Data Quality. Типа SAS DQ, IBM Data Quality Server, Informatica DQ, Collibra, Ataccama Буду признателен за отзывыв, особенно по двум последним

У меня знакомый работает в Ataccama, говорит что они лучшие в DQ :)

Collibra тоже нормальная, у клиента некоторые регионы используют.

Informatica юзал

Привет всем! Тут спрашивали про Data Quality инструменты, и я вот как раз отвечаю за развитие в сфере DQ for Big Data & Data Integration в пражском офисе Ataccama (у нас ещё ещё Московский офис есть, но там только консультанты работают, разработка вся в Праге) Мы сотрудничаем с Collibra кстати, у них фокус больше на Metadata Managemnt/Data Catalog, DQ у них появилось только недавно и довольно простое. Очень часто бывает что они сами нас зовут к своим клиентам чтоб мы DQ делали для них. А мы в Ataccama как раз таки очень хардкорный и пластичный DQ изначально были (ещё по Master Data Mangement очень хорошо идём, и вот недавно вышли на рынок с Data Catalog&Discovery / Big Data Integration решениями) Буду рад ответить на вопросы!

Привет всем! Тут спрашивали про Data Quality инструменты, и я вот как раз отвечаю за развитие в сфере DQ for Big Data & Data Integration в пражском офисе Ataccama (у нас ещё ещё Московский офис есть, но там только консультанты работают, разработка вся в Праге) Мы сотрудничаем с Collibra кстати, у них фокус больше на Metadata Managemnt/Data Catalog, DQ у них появилось только недавно и довольно простое. Очень часто бывает что они сами нас зовут к своим клиентам чтоб мы DQ делали для них. А мы в Ataccama как раз таки очень хардкорный и пластичный DQ изначально были (ещё по Master Data Mangement очень хорошо идём, и вот недавно вышли на рынок с Data Catalog&Discovery / Big Data Integration решениями) Буду рад ответить на вопросы!

+ У Collibra упор на Governance.

Да, и это в основном Data Catalog/Dictionary/Glossary/Reference Data

По моему опыту-большинство проверок/обеспечения качества данных это ручной самопис на основе каких-то бизнес правил.

Ни разу не встречал данные, к которым можно применить всякие инструменты вроде референс таблиц и дедупликаторов.

Прочитай внимательно. Речь о том, что есть Governance, есть DQ.

Да, DQ часто проще написать самим.

Гайз привет.

А дайте ссылочку на сам вопрос

Тема оч интересна

Коллеги, всем привет! Расскажите, есть ли опыт использования инструментов Data Quality. Типа SAS DQ, IBM Data Quality Server, Informatica DQ, Collibra, Ataccama Буду признателен за отзывыв, особенно по двум последним

@lev_ragulin

Спс

Прочитай внимательно. Речь о том, что есть Governance, есть DQ.

Про DQ изначально и спрашивали

Да, и это в основном Data Catalog/Dictionary/Glossary/Reference Data

А это уже Governance

Всем привет! А open source решения DQ ведь имеются если не самопис? Аналоги той же информатики?

Всем привет! А open source решения DQ ведь имеются если не самопис? Аналоги той же информатики?

Talend

Talend

Вы его используете?

Вы его используете?

PoC делали, сейчас нет, пишем сами

PoC делали, сейчас нет, пишем сами

Мы сейчас на этапе выбора, в какую сторону идти.

Но он платный в функциональных сборках, хоть и Open Source.

PoC делали, сейчас нет, пишем сами

А можно поподробней насчёт самописа?

А можно поподробней насчёт самописа?

Ну если вам, например, надо сверить ваше хранилище с данными бухгалтерского баланса, которые формируется в OLTP системе, вам тут DQ не помощник.

То же самое-если, например, в данных не пришёл какой-то показатель (например, сумма чека) и его надо вычислить из других (стоимость товара*количество) .

Инструменты DQ-это из разряда "проверь правило и распили потоки данных на нормальные и говноданные".

Или все адреса нормализуй.

Короче, не совсем то DQ, которое обычно бизнес хочет.

Ну если вам, например, надо сверить ваше хранилище с данными бухгалтерского баланса, которые формируется в OLTP системе, вам тут DQ не помощник.

Наверное не бизнес логика, а платформа или подход.

Не очень понял.

Скажем, мы вот, как вариант, думаем заюзать Airflow и в пайплайн встроить шаги по проверке данных, затем результат, например, пишем в базенку и рассылка отчета

ну это прям в лоб

встроить в DAG

Тож вариант.

Не советую думать о Talend как о open source продукте, да для какого-нить айти стартапа оно может подойти, но энтерпрайзу он совсем не подходит. Без платного саппорта сделать чтот невозможно будет

Ну если вам, например, надо сверить ваше хранилище с данными бухгалтерского баланса, которые формируется в OLTP системе, вам тут DQ не помощник.

Согласен, сталкивался с этим в некоторых Российских компаниях о том что понятие DQ понимается немного по другому. Попадались и всякие реконсиляции и нахождение циклов в графах у почтовых служб, и сверка правильности ETL процессов при переносе данных. Но в большинстве случаев справлялись со всеми запросами.

Скажем, мы вот, как вариант, думаем заюзать Airflow и в пайплайн встроить шаги по проверке данных, затем результат, например, пишем в базенку и рассылка отчета

Как вам Airflow в плане enterprise-ready?

Мы сейчас на этапе выбора, в какую сторону идти.

Talend выходит очень дорогой для большой команды.

Talend выходит очень дорогой для большой команды.

pentaho удобнее

Только самопис, только хардкор.

Не советую думать о Talend как о open source продукте, да для какого-нить айти стартапа оно может подойти, но энтерпрайзу он совсем не подходит. Без платного саппорта сделать чтот невозможно будет

можно, но CE версия подразумевает разработку только в одно лицо

есть костыли, как это обойти, но проще использовать пентаху

Как вам Airflow в плане enterprise-ready?

Я думаю, вы и так знаете)) Мы же работаем вместе)))

Как вам Airflow в плане enterprise-ready?

Если честно, то пока норм. Порог вхождения не высокий.

Инструменты DQ-это из разряда "проверь правило и распили потоки данных на нормальные и говноданные".

Я бы ещё к этом добавил что очень часто важна валидация данных, то есть понимать насколько эти данные хороши/плохи для анализа, нужно ли предпринимать какие-нибудь шаги для их очистки или же оставить все как есть. И конечно же это не один раз проверил качество и забыл, а нужно это делать постоянно, хотя бы раз в месяц чтоб аналитики могли следить за этим (просматривая всякие графики)

Как вам Airflow в плане enterprise-ready?

Криво-косо, но стоит. Пайплайны писать одно удовольствие, отлаживать планировщик и пытаться понять куда пропал таск три дня назад - больно и неприятно :(

Криво-косо, но стоит. Пайплайны писать одно удовольствие, отлаживать планировщик и пытаться понять куда пропал таск три дня назад - больно и неприятно :(

альтернативу видите?

Криво-косо, но стоит. Пайплайны писать одно удовольствие, отлаживать планировщик и пытаться понять куда пропал таск три дня назад - больно и неприятно :(

Целери?

Luigi?

Luigi?

У него не было своего планировщика, появился?

ХЗ. Давно не смотрел в ту сторону.

Граждане-кафкианцы. Поделитесь плиз опытом, как её ставили. На датанадоы Ходупа? Сколько узлов?

Граждане-кафкианцы. Поделитесь плиз опытом, как её ставили. На датанадоы Ходупа? Сколько узлов?

Хм, у нас либо отдельно, либо на фронтенде. Потому что по архитектуре дата ноды спрятаны от внешнего мира великим фаерволом и ни один байтик напрямую не зайдет. 2 edge нода

Граждане-кафкианцы. Поделитесь плиз опытом, как её ставили. На датанадоы Ходупа? Сколько узлов?

Кафка на датанодах это вообще что-то очень странное, я вооще не понимаю почему её стали включать в хадуп дистрибутивы

Целери?

Планируем попробовать)

видимо потому что модно и МЫ ТОЖЕ ЭТО УМЕЕМ

У всех наших клиентов кафки всегда отдельно стоят

Кафка на датанодах это вообще что-то очень странное, я вооще не понимаю почему её стали включать в хадуп дистрибутивы

А в чем проблема если датаноды и кафка используют разные диски?

А так и даталокалити получаешь пр работе спарком

Кафка на датанодах это вообще что-то очень странное, я вооще не понимаю почему её стали включать в хадуп дистрибутивы

Потому что спарк-стриминг же

С другой стороны, количество компонентов в составе хортона зашкаливает за 3 десятка. Одним больше, одним меньше

ну так это открывать фаервол на хадуп кластер для любой апликации которая хочет в кафку писать.

кафка как раз таки должна быть между хадупом и апликациями

не думаю что data locality играет серьёзную роль честно говоря, есть какие-то тесты?

Мне предстоит ~1000 миниJSON в секунду как-то обрабатывать, вот пытаюсь придумать архитектуру.

ну так это открывать фаервол на хадуп кластер для любой апликации которая хочет в кафку писать.

Никто не мешает в составе кластера держать вынесенные ноды с кафкой )

как я всё это вижу, то на data locality все уже давно особо забыли, в клауде на hdfs с дата локалити не так важен, все хранят данные в С3/Азуре

До этого со стримом ниалё.

У нас был один заказчик у которого прод кластер был разделен на два обособленных. Один чисто HDFS, а на другом только спарк

А в чем проблема если датаноды и кафка используют разные диски?

в том что кафке нужна память под файловый кеш и дата нодам тоже нужна память для контейров ярна

говорят что безопасность удобнее, но мы конечно на них смотрели с подозрительными глазами

ну это как одно из

Да, я понимаю, поэтому видео разные деплойменты

Если только пару раз прочитать из кафки то обычно отдельно

А если стриминг прочитали отрроцессили записали обратно

И так многоступенчато, то обычно рядом

в том что кафке нужна память под файловый кеш и дата нодам тоже нужна память для контейров ярна

Ой много ли ей надо