Привет! Кто нибудь сталкивался с такой штукой для OLAP целей? Отзывы или личный опыт интересует.. http://kylin.apache.org

Да, мы сделали POC на нем. В целом отношение позитивное. Самое проблемное было запустить на нашей клаудере. А с интерфейсом построения кубов и наши аналитики разобрались. Пару раз за кривые конфигурации руки поотрывали и потом в целом работало. Из недостатков для полной миграции с MSSQL им не хватало поддержки каких-то аналитических функций и какие-то периодические проблемы с TableAu были.

Хм.. интересно, спасибо! Нормальная поддержка аналитических функций и вообще sql тут вещь редкая

Да, мы сделали POC на нем. В целом отношение позитивное. Самое проблемное было запустить на нашей клаудере. А с интерфейсом построения кубов и наши аналитики разобрались. Пару раз за кривые конфигурации руки поотрывали и потом в целом работало. Из недостатков для полной миграции с MSSQL им не хватало поддержки каких-то аналитических функций и какие-то периодические проблемы с TableAu были.

Если не секрет, то можно немного деталей? 1) Какой объем входных данных? 2) Насколько быстро строится и перестраивается куб? Использовался ли Spark (оптимизация за счет пересчета последовательности RDD)? 3) Насколько сложная модель (сколько измерений) и насколько большой строится куб (требуется хранение полного набора сочетаний, поскольку используется HBase с доступом по RowKey)?

Немного деталей могу дать: 1. Данных для POC немного, в сумме около 4Тб 2. Куб на Spark, по цифрам не скажу, но примерно на 30%-50% быстрее чем MR. Полностью куб собирается за 5-6 часов, но он в отдельной зажатой очереди, чтобы ресурсов много не отъедал. 3. Примерно 50 dimensions и 10 measures. В Hbase построенный куб занимает 1Тб без учета реплика фактор.

Немного деталей могу дать: 1. Данных для POC немного, в сумме около 4Тб 2. Куб на Spark, по цифрам не скажу, но примерно на 30%-50% быстрее чем MR. Полностью куб собирается за 5-6 часов, но он в отдельной зажатой очереди, чтобы ресурсов много не отъедал. 3. Примерно 50 dimensions и 10 measures. В Hbase построенный куб занимает 1Тб без учета реплика фактор.

Спасибо большое!

Да не за что

The Site Reliability Workbook is the hands-on companion to the bestselling Site Reliability Engineering book and uses concrete examples to show how to put SRE principles and practices to work. This book contains practical examples from Google’s experiences and case studies from Google’s Cloud Platform customers. Evernote, The Home Depot, The New York Times, and other companies outline hard-won experiences of what worked for them and what didn’t. https://landing.google.com/sre/book.html

Свободно скачать можно до 23 августа

Businesses are going big with their big data strategy. According to a 2017 study by New Vantage partners, 37.2% of surveyed organizations have invested more than $100M in a big data strategy within the past five years, with 6.5% investing over $1B. https://www.import.io/post/ultimate-big-data-strategy/

This is an interesting look at Google Cloud Platform and how it compares to AWS https://www.deps.co/blog/google-cloud-platform-good-bad-ugly/?mkt_tok=eyJpIjoiWkRVNU5tWTJOMlF6TW1ObSIsInQiOiJ5cEk5OFwvaERrM0wrUWNvaENZaE1aRUlwazNCbDlJSFdodDJGYlFhcUFubEZmTW9WdGZjNjRxU0M1WEd4UTZ1M1E3eUpndUVMdzJcL2hhQXFmNUFENkV2eklxWlRJbVErQW9iWnBaZ1FHM1FyMnRDbUc5cGZHUERWa0QwTG9MdFY1In0%3D

Немного деталей могу дать: 1. Данных для POC немного, в сумме около 4Тб 2. Куб на Spark, по цифрам не скажу, но примерно на 30%-50% быстрее чем MR. Полностью куб собирается за 5-6 часов, но он в отдельной зажатой очереди, чтобы ресурсов много не отъедал. 3. Примерно 50 dimensions и 10 measures. В Hbase построенный куб занимает 1Тб без учета реплика фактор.

Какая версия спарка использовалась? Раньше проблемы с кайлин были связаны с старой версией спарка, рдд апроачем и прочим

Да, он свою версию спарка тянул, вроде 1.6 была. Мы делали свою сборку с зависимостями от клаудеры. В свежих версиях Кайлина с этим должно быть проще - у них уже есть готовая сборка для CDH

Спасибо! А можешь отдельно zeppelin-env.sh прислать? Не могу его достать из джарника

unzip xxx.jar

Рибята, спарку на 2.12 быть: https://issues.apache.org/jira/browse/SPARK-14220

Spark 2.4.0 ожидается с кросспаблишем

Spark 2.4.0 ожидается с кросспаблишем

Т.е. к концу года

Т.е. к концу года

видимо да; осенью оптимистично, новый год пессимистично

зависит от того когда 2.3 запаблишется

новый

я хотел бы осенью)

Есть предположение что не так все быстро будет

зависит от того когда 2.3 запаблишется

От того когда 2.13 запаблишится

Есть предположение что не так все быстро будет

нужны инсайты

да могут и запаблишить забагованый релиз

Осенью не жди

а потом будет как с одним из спарков

Самое время бэкпортировать паркет с зстд

Spark 2.4.0 ожидается с кросспаблишем

зажевем

нужны инсайты

Прост основные дистрибуторы ещё Java 7 поддерживают

по статусу же все блокеры закрыты

Прост основные дистрибуторы ещё Java 7 поддерживают

да и норм; он под 2.11 собирается

Ну прост типа, пока основной тулчейн не переедет в дистрибуциях эт не появится

дистрибьюции это дистриьюции

все помнят как было с 2.11 и 2.10

Спарк это опенсорс в худшем (вру, хуже хадупы те же) виде. Конечно переедут. Это повод рубить бабла на саппорте и консалтинге.

все помнят как было с 2.11 и 2.10

Я плохо помню, чего было в двух словах?

Спарк это опенсорс в худшем (вру, хуже хадупы те же) виде. Конечно переедут. Это повод рубить бабла на саппорте и консалтинге.

что плохого в спарк как опенсоурс решения, и что является образцом для подражания?

что плохого в спарк как опенсоурс решения, и что является образцом для подражания?

крон 2.0 же

крон 2.0 же

Йеп

его пилят не корпоративные программисты на зарплате, а фиг знает кто. без чётких гайдов и надзора. отсюда и велосипедостроение, и куча странных решений. а корпорации паразитируют на коммерческой поддержке этого шалтай-болтая, да

его пилят не корпоративные программисты на зарплате, а фиг знает кто. без чётких гайдов и надзора. отсюда и велосипедостроение, и куча странных решений. а корпорации паразитируют на коммерческой поддержке этого шалтай-болтая, да

лол

вот это поворот

ахаххаахха

чё нет?

ниет

его пилят не корпоративные программисты на зарплате, а фиг знает кто. без чётких гайдов и надзора. отсюда и велосипедостроение, и куча странных решений. а корпорации паразитируют на коммерческой поддержке этого шалтай-болтая, да

Ну решения там типично корпоративные порой. Отказы от пров без вменяемых причин.

спарк до мозга костей тырпрайз или пытается им быть

он типичный апаче продукт, а почти за всеми крупными апаче продуктами крупные корпорации сидят

и пилят его конкретные люди

как-то у него хреновато получается быть тырпрайзом

а суть не предложить готовое решение в опенсорс

как-то у него хреновато получается быть тырпрайзом

Вполне. Айбиэмо тырпрайз.

это типичная модель опенсорсного тырпрайза

плохая, плохая модель

нет

она хорошая

весь опенсорс так живет

ну прям. я с этим ибм поимел секса в своё время. что j9, что вебсфера

опенсорс это не для пользователей опенсорсных всегда а для себя

чо ты как первый день какбудто в опенсорсе

ну, у каких-нить редхатов получается лучше, чем у ибм.

ну, у каких-нить редхатов получается лучше, чем у ибм.

Хух. Например?

одинаково все +-

ну, у каких-нить редхатов получается лучше, чем у ибм.

Хех. Там все по классике. Но айбиэм конечно чемпион.

а киньте ссылку на официальный роадмап спарка, если он есть. чё-то так просто не находится. интересно вот стало, какие там планы вообще

а киньте ссылку на официальный роадмап спарка, если он есть. чё-то так просто не находится. интересно вот стало, какие там планы вообще

по лейблу roadmap фильтрани жиру

https://issues.apache.org/jira/browse/SPARK-23758?jql=project%20%3D%20SPARK%20AND%20status%20in%20(Open%2C%20%22In%20Progress%22%2C%20Reopened)%20AND%20text%20~%20%22roadmap%22

типа так

короче, нет его

короче, нет его

он не в паблике, мы свой тоже не шарим в паблик

а ещё опенсорс.

какбуд-то тебе что-то должны

даже у какого-нить прости господи дотнеткора есть публичный роадмап на два релиза вперёд

пользуйся им

опенсорс же

тут нет обязанностей перед пользователями

или есть?

это пользователям дали возможность пользоваться кодом

а не для них делается

^^^^ к вопросу о качестве опенсорса.

типа, вот вам хрень, а дальше ебитесь сами.

все опенсорные либы такие

хочешь роадмап плати

я чет рил никак не пойму ты стебешлься или рили считаешь что спарк / хадуп / мезос / хбейз / аккумуло и тп пилят нонеймы в хаотичном порядке?

стебусь конечно. просто неопределённость слегка вымораживает

изначальный вопрос ведь про что был. будет скала 2.12 или нет. тут ведь новости такие, что jvm даже в lts варианте с поддержкой только по полгода начиная с 11й (дольше -- за деньги).

как-то оно не оч. новости

ну и хотелось бы знать, какие там у них планы по миграции на новые версиию. собсно, и весь вопрос.