Спасибо спрошу там

Гуглится хорошо, но ответа найти не могу, поэтому написал здесь.

По этой части лога сложно сказать, что именно не так. Вот например https://stackoverflow.com/questions/25755479/client-cannot-authenticate-viatoken-kerberos

По этой части лога сложно сказать, что именно не так. Вот например https://stackoverflow.com/questions/25755479/client-cannot-authenticate-viatoken-kerberos

По какой части лога будет понятнее? В принципе, тут все описано в той части, что я скинул. Но могу, конечно, выслать всю портянку. Ошибка говорит ровно об одном - куда-то потерялся delegation token, который был выдан после аутентификации в hdfs на самом начальном этапе запуска джоба. С ним appmaster должен был пройти аутентификацию в hdfs далее на этапе работы локалайзера, но что пошло не так. По ссылке, что ты скинул, как раз говорится о недостатке в самом коде джоба. You must grab the tokens from UserGroupInformation object with a call to get credentials. Then you must set the tokens on the ContainerLaunchContext. Полистав гугл у меня получилась такая статистика: Кто-то описал мой кейс, но ответа не получил. Кто-то нашел косяк с разницей времени на клиенте, с которого запускался джоб, и нодами кластера. У меня тут все ок, т.к. ntp, проверял. У кого-то адрес namenode есть экстернал для обращений клиентов, а есть интернал для обращений с датанод и у ребят возникала такая та же ошибка. Но у меня нет такого кейса. Часть ссылок касается интеграции с изилоном, эластиком и прочими продуктами, разбор их примеров ничего нового мне не дал. И несколько ситуаций, как по ссылке выше, когда человек не учитывал работу с выданными токенами hdfs в своем коде. Вот у меня есть джарник, есть код, но нет того кто его писал, нет хадуп-разработчиков на проекте, вся разработка отдана в дочерние компании у нас. Ну разве что найти джависта в подразделении, дать ему код и заставить разобраться или самому уйти в это с головой на несколько дней. Короче, как этот кейс проверить мне неясно.

По какой части лога будет понятнее? В принципе, тут все описано в той части, что я скинул. Но могу, конечно, выслать всю портянку. Ошибка говорит ровно об одном - куда-то потерялся delegation token, который был выдан после аутентификации в hdfs на самом начальном этапе запуска джоба. С ним appmaster должен был пройти аутентификацию в hdfs далее на этапе работы локалайзера, но что пошло не так. По ссылке, что ты скинул, как раз говорится о недостатке в самом коде джоба. You must grab the tokens from UserGroupInformation object with a call to get credentials. Then you must set the tokens on the ContainerLaunchContext. Полистав гугл у меня получилась такая статистика: Кто-то описал мой кейс, но ответа не получил. Кто-то нашел косяк с разницей времени на клиенте, с которого запускался джоб, и нодами кластера. У меня тут все ок, т.к. ntp, проверял. У кого-то адрес namenode есть экстернал для обращений клиентов, а есть интернал для обращений с датанод и у ребят возникала такая та же ошибка. Но у меня нет такого кейса. Часть ссылок касается интеграции с изилоном, эластиком и прочими продуктами, разбор их примеров ничего нового мне не дал. И несколько ситуаций, как по ссылке выше, когда человек не учитывал работу с выданными токенами hdfs в своем коде. Вот у меня есть джарник, есть код, но нет того кто его писал, нет хадуп-разработчиков на проекте, вся разработка отдана в дочерние компании у нас. Ну разве что найти джависта в подразделении, дать ему код и заставить разобраться или самому уйти в это с головой на несколько дней. Короче, как этот кейс проверить мне неясно.

Так много кода что-ли в джобе? Тем более работа с токеном явно недалеко от начала. Хотя Ява, это боль конечно

По какой части лога будет понятнее? В принципе, тут все описано в той части, что я скинул. Но могу, конечно, выслать всю портянку. Ошибка говорит ровно об одном - куда-то потерялся delegation token, который был выдан после аутентификации в hdfs на самом начальном этапе запуска джоба. С ним appmaster должен был пройти аутентификацию в hdfs далее на этапе работы локалайзера, но что пошло не так. По ссылке, что ты скинул, как раз говорится о недостатке в самом коде джоба. You must grab the tokens from UserGroupInformation object with a call to get credentials. Then you must set the tokens on the ContainerLaunchContext. Полистав гугл у меня получилась такая статистика: Кто-то описал мой кейс, но ответа не получил. Кто-то нашел косяк с разницей времени на клиенте, с которого запускался джоб, и нодами кластера. У меня тут все ок, т.к. ntp, проверял. У кого-то адрес namenode есть экстернал для обращений клиентов, а есть интернал для обращений с датанод и у ребят возникала такая та же ошибка. Но у меня нет такого кейса. Часть ссылок касается интеграции с изилоном, эластиком и прочими продуктами, разбор их примеров ничего нового мне не дал. И несколько ситуаций, как по ссылке выше, когда человек не учитывал работу с выданными токенами hdfs в своем коде. Вот у меня есть джарник, есть код, но нет того кто его писал, нет хадуп-разработчиков на проекте, вся разработка отдана в дочерние компании у нас. Ну разве что найти джависта в подразделении, дать ему код и заставить разобраться или самому уйти в это с головой на несколько дней. Короче, как этот кейс проверить мне неясно.

Кажется, что важной частью лога явлется вот это “ Client cannot authenticate via:[TOKEN, KERBEROS];” Обычно помогает включение дебага, откуда понятнее где appmaster пытался искать TOKEN, KERBEROS, нашел ли и что с ними сделал. Но для начала хорошо бы проверить, что код в джобе пытается что-то делать на этот счет. Примерно так, как по ссылке выше

Там большой проект. Просто методом исключения остаётся только это.

Хотя бы попробовать просунуть в джобу -Dsun.security.krb5.debug=true -Dsun.security.spnego.debug=true и посмотреть будет ли что-то более интересное

коллеги, подскажите, как мне сопоставить в Zeppelin java-процесс интерпретатора с именем ноутбука?

кто-то выжирает память, вижу этот процесс - но нужно понять каким ноутбуком и каким его параграфом выжраны ресурсы интерпретатора

ps aux | grep interpr там будет ИД ноутбука

дальше уже по дереву можно смотреть потомков

Эксперсс вопрос, я правильно понял, что если у нас везде есть SparkContext а тут пришел я такой умный и хочу паркет через SparkSession вставить как один из вариантов конвеера посередине, то мне теперь все на SparkSession переделывать ? или достаточно до общего RDD[] вывести ?

Эксперсс вопрос, я правильно понял, что если у нас везде есть SparkContext а тут пришел я такой умный и хочу паркет через SparkSession вставить как один из вариантов конвеера посередине, то мне теперь все на SparkSession переделывать ? или достаточно до общего RDD[] вывести ?

Можно поднять сессию на уже готовом спарк контексте

Главное не дропать её потом, а то контекст тоже упадёт

Можно поднять сессию на уже готовом спарк контексте

спасибо тебе добрый человек, чет не пришло в голову

Designing data-intensive applications and its related books. https://anvaka.github.io/greview/ddia/1/?utm_medium=email&utm_source=topic+optin&utm_campaign=awareness&utm_content=20180829+data+nl&mkt_tok=eyJpIjoiWXprM01tTTBZbU5qWWpjNSIsInQiOiJ6UTJQVnRobnpoNGxaTUx5MWs2V0V1QmFWZDNIbWdLUGtHdUpPSUd4b2E4b0xDeG84aURQd0NseVdXR3oxZGpwQVlKXC94bjk5WHVpZkFsZVV6M3lER3ZHOTR6QjFRSU50TEJ6ZlYzSDN2TFJBS25ENW9FSjlcL0R6aWZaWFcwQ2ZBIn0%3D

It's a pretty interesting visualization. Looking at "this auto-generated graph of also-boughts from Amazon, we can see that Designing Data-Intensive Applications stands in the middle of the world, where: the East is taken by practical engineering: Algorithms, design patterns, and architecture. The West is taken by distributed systems: Machine learning, Hadoop. And the South is guarded by SRE and DevOps."

so, devops always goes south? is there any benefit from visualisations like this, beside they're kinda cool looking?

so, devops always goes south? is there any benefit from visualisations like this, beside they're kinda cool looking?

All SRE books are blue, and all big data books are red. Choose your book by color!:)

a decent observation, thanks!

Есть parquet файл с большим количеством полей типа struct (около ста). Большинство из них пустые (то есть null), тем не менее, файл из ~280 000 строк занимает аж 9ГБ в ФС, то есть примерно 30КБ на строчку

Ну и соответственно все операции на таком файле очень тяжелые

Необходимо вынести все вложенные struct в другие файлы?

И никак иначе

ребят кто-нибудь решал проблему высоких задержек между тасками в даге airflow? например тут https://stackoverflow.com/questions/49902599/airflow-latency-between-tasks говорят что с этим ничего нельзя сделать

@ruairflow

огонь спс

@dos65 насколько мист прибит к спарку? можно ли его допилить и под флинк?

@dos65 насколько мист прибит к спарку? можно ли его допилить и под флинк?

хз, врядли это возможно, я не поьзовался флинком. но там все только про спарк. проще на основе миста заного написать под флинк если там такая же модель с запуском драйвер аппов

хз, врядли это возможно, я не поьзовался флинком. но там все только про спарк. проще на основе миста заного написать под флинк если там такая же модель с запуском драйвер аппов

да я губу раскатал на одну штуку и для того и для того

Гидросфера поддерживает PFA http://dmg.org/pfa/ ? Или имеются планы по поддержке PFA?

Гидросфера поддерживает PFA http://dmg.org/pfa/ ? Или имеются планы по поддержке PFA?

я первый раз про такую штуку слышу.

Гидросфера поддерживает PFA http://dmg.org/pfa/ ? Или имеются планы по поддержке PFA?

я думаю можно подключить это и самому в коде сделать экспорт; вроде была либа для спарка которая умеет это делать (выгружать и загружать модельки)

я первый раз про такую штуку слышу.

https://github.com/CODAIT/aardpfark

Holden karau или в самом спарке или в Apache arrow несколько месяцев назад поднимал(а, о) эту тему. Что в спарке модели хранятся в дерьмовом виде, а pmml тоже не очень, что если они хотят ml / dl двигать в спарк

Типа надо какой то нормальный формат цеплять

Holden karau или в самом спарке или в Apache arrow несколько месяцев назад поднимал(а, о) эту тему. Что в спарке модели хранятся в дерьмовом виде, а pmml тоже не очень, что если они хотят ml / dl двигать в спарк

по-моему датабрикс конфа была

чувак из ИБМ рассказывал

https://databricks.com/session/productionizing-spark-ml-pipelines-with-the-portable-format-for-analytics

хз - картинка про +1 еще один стандарт. я правда не знаю как удалось pmml распростаранить, по моим ощущениям почти никак

Holden karau или в самом спарке или в Apache arrow несколько месяцев назад поднимал(а, о) эту тему. Что в спарке модели хранятся в дерьмовом виде, а pmml тоже не очень, что если они хотят ml / dl двигать в спарк

теоретически спарк мог бы просто нормально написать эти модели. там один фиг от них тупо выхлоп в каталист аст. если отвязать от датафреймов, сделать похожее аст и прикрутить разные исполнялки, аля переводилка в каталистовое аст и переводилка в быстрый скоринг без спарков, то все бы шик было. а еще на это можно было бы накруть скаланэтив и скалажс

теоретически спарк мог бы просто нормально написать эти модели. там один фиг от них тупо выхлоп в каталист аст. если отвязать от датафреймов, сделать похожее аст и прикрутить разные исполнялки, аля переводилка в каталистовое аст и переводилка в быстрый скоринг без спарков, то все бы шик было. а еще на это можно было бы накруть скаланэтив и скалажс

Они бабки рубят на консалтинге, если сделать по нормальному - то поляну захватят другие чуваки ?

мне кажется если не сделать нормально как раз таки придут другие чуваки, заинтегрируют свой мль под спарк и спаркмль совсем загнется

The open source project, dubbed Kubernetes Director or KubeDirector for short, is a custom controller which simplifies and streamlines the packaging, deployment, and management of complex distributed stateful applications for Big Data and AI use cases. https://www.bluedata.com/blog/2018/07/operation-stateful-bluek8s-and-kubernetes-director/?mkt_tok=eyJpIjoiWTJZMU5qVXhNbVF6WkRVeSIsInQiOiJmeVZXbFM5Rk9vaTBDTGlkTllnUTFlWGcybk82azg0ZlptMWNrc3lMcDgyd1BSeWkzemd4NHlvXC9ldmg4cHlwb1J5WXRjU1lBajFTeW15dWxLVldVQ2luY0RRMHZGRlg5RWpzeGFXUzlmRHA4NjRiMFUwMmFZNVplcDA4b2xiYk4ifQ%3D%3D

Value Stream Management (VSM) tools help software development organizations to visualize the development pipeline end to end. These tools capture, visualize, and analyze critical indicators of the speed and quality of software product creation. VSM is an emerging market: Vendors with a vision of empowering teams with analytics informed by real-world data and flexible planning schemes beat out those that focus on incremental enhancements within their traditional domains. https://page.gitlab.com/rs/194-VVC-221/images/vsm_forrester.pdf

Amazon Web Services, Google Cloud Platform, and Microsoft Azure have all recently doubled down on threat intelligence to help users identify and respond to malicious activity in the public cloud. But where do these platforms differ, and how do those differences help or harm cloud security? Brad Geesaman, an independent cloud infrastructure security consultant, aimed to clarify the strengths and shortcomings of each platform during his Black Hat session "Detecting Malicious Cloud Account Behavior: A Look at the New Native Platform Capabilities." He set the stage for his side-by-side comparison with a broader look at how security is different in the cloud. https://www.darkreading.com/threat-intelligence/cloud-intelligence-throwdown-amazon-vs-google-vs-microsoft/d/d-id/1332527

Здравствуйте Пожалуйста, порекомендуйте распределённую БД типа как касандра или сцилла Нагуглил монго, ну и кучу всяких костыльных решений. Задача - распределённое хранение большого количества данных данных

Для больных ублюдков может ещё подойти elasticsearch

Здравствуйте Пожалуйста, порекомендуйте распределённую БД типа как касандра или сцилла Нагуглил монго, ну и кучу всяких костыльных решений. Задача - распределённое хранение большого количества данных данных

семь бед - один clickhouse

Для больных ублюдков может ещё подойти elasticsearch

Использую его в качестве поискового движка. В индексе ТОЛЬКО поисковые атрибуты. Работает на УРА Наверное я больной ублудок)) Какая альтернатива ему?

тут вопрос не в объеме в основном, а в том какие у вас требования поверх - сколько будет реквестов к данным, в каком формате они будут etc. Так то терабайты можно хоть в виде .csv.gz хранить.

Для больных ублюдков может ещё подойти elasticsearch

Кстати, у него нет распределения данных по нодам. Есть только полное дублирование

Для больных ублюдков может ещё подойти elasticsearch

и сколько rps держит ?

Кек Вы чо?

и сколько rps держит ?

больше тысячи, дальше не тестил

Использую его в качестве поискового движка. В индексе ТОЛЬКО поисковые атрибуты. Работает на УРА Наверное я больной ублудок)) Какая альтернатива ему?

Знакомый один как хранилище использует, а не как поисковый индекс))

Знакомый один как хранилище использует, а не как поисковый индекс))

Привет ему от всех нас =)

Итог - одна кривая аггрегация и беги перезапускать кластер

Требования отсутствуют. Что советовать то.

семь бед - один clickhouse

Ща посмотрю вернусь

Требования отсутствуют. Что советовать то.

- приборы - 42 - что 42 ? а что приборы ?

Требования: нонстап запись в 3-5 потоков пачками Нонстоп чтение на фронт (1000rps) + нонстоп чтение скриптами тоже в 3-5 потоков Фильтры не обязательны, достаточно кейвелью

Кстати, у него нет распределения данных по нодам. Есть только полное дублирование

простите, а это вам кто сказал, там есть шарды, шарды раскидываются по нодам, данные внутри шарды уникальны

А, ну ещё важно, чтоб данные распределялись, диск то не резиновый

Кстати, у него нет распределения данных по нодам. Есть только полное дублирование

Ну шарды типа есть, значит есть распределение

Только ноды желательно одинаковые по размеру

Я хз, я всё излазил, не понял как размазать данные, например на 10 тачек с rf 3

простите, а это вам кто сказал, там есть шарды, шарды раскидываются по нодам, данные внутри шарды уникальны

Дай ссыль почитать плиз

Я хз, я всё излазил, не понял как размазать данные, например на 10 тачек с rf 3

А если задать индексу шардов побольше? Эластик же пытается равномерно размазать их по нодам

Мне помогало разок установить репликацию в 0, а потом поставить какую надо

Дай ссыль почитать плиз

https://www.elastic.co/guide/en/elasticsearch/reference/6.2/modules-cluster.html

Требования: нонстап запись в 3-5 потоков пачками Нонстоп чтение на фронт (1000rps) + нонстоп чтение скриптами тоже в 3-5 потоков Фильтры не обязательны, достаточно кейвелью

а чтение у вас большими батчами или микрозапросы по ключу?

А если задать индексу шардов побольше? Эластик же пытается равномерно размазать их по нодам

да, проблема в том что их надо сразу задавать, потом увеличить не так просто (reindex надо будет делать)

Требования: нонстап запись в 3-5 потоков пачками Нонстоп чтение на фронт (1000rps) + нонстоп чтение скриптами тоже в 3-5 потоков Фильтры не обязательны, достаточно кейвелью

а что за данные ?

Вообще кажется что если много мелких и по key-value, то тогда clickhouse тут не пойдет (where not to use CH - Key-value access with high request rate)

а что за данные ?

статистика юр , реестры фнс, суды и прочая лабуда из корпоративной среды

а чтение у вас большими батчами или микрозапросы по ключу?

микрозапросы в основном. Иногда надо обойти все доки

Вообще кажется что если много мелких и по key-value, то тогда clickhouse тут не пойдет (where not to use CH - Key-value access with high request rate)

тоже так думаю, он для агрегатов или чтения сразу большими блоками, не для kv вообще

Но вообще редис должен норм пойти тогда - раз мелкие KV, вот они в бенчмарке хвастаются что у них 72k RPS без дополнительных мытарств: https://redis.io/topics/benchmarks

https://www.elastic.co/guide/en/elasticsearch/reference/6.2/modules-cluster.html

Чёт не помню я чтоб он делал то что мне надо. Но спасибо, Я ещё попробую

Но вообще редис должен норм пойти тогда - раз мелкие KV, вот они в бенчмарке хвастаются что у них 72k RPS без дополнительных мытарств: https://redis.io/topics/benchmarks

а вы мне купите оперативы на 1 тб? =)))

Но вообще редис должен норм пойти тогда - раз мелкие KV, вот они в бенчмарке хвастаются что у них 72k RPS без дополнительных мытарств: https://redis.io/topics/benchmarks

это пока в память помещается, иначе попробуй аэроспайк

это пока в память помещается, иначе попробуй аэроспайк

Аэроспайк на диске держит да? И как у него с распределением данных?

микрозапросы в основном. Иногда надо обойти все доки

скорее всего точно не ch

Чёт не помню я чтоб он делал то что мне надо. Но спасибо, Я ещё попробую

эластик очень хорош, но боюсь если считать большие агрегаты не подойдет

Требования: нонстап запись в 3-5 потоков пачками Нонстоп чтение на фронт (1000rps) + нонстоп чтение скриптами тоже в 3-5 потоков Фильтры не обязательны, достаточно кейвелью

Этого все равно мало. Объемов данных нет. Не понятно что с украшениями и перекосом данных. Требований к распределенной системе нет совсем. Требования по отклики отсутствуют.