Админ, удали всех участников "1 2"

В чатах по питону они активно спамят

прошу прощения, навеяло

Админ, удали всех участников "1 2"

Тут такое количество спецов по BD и ML на квадратный метр, что нужно антиспам бота писать ;)

Рядом, но не мейлру ;-))

Я уже запутался в "пожалуй, самый большой даталейк в РФ"

Переобученная модель

Шаришь

Надо было разные кейсы давать

А то в локальный экстремум очевидно свалилась

прошу прощения, навеяло

да невеяло не то слово, я сейсас тоже думаю где программиста искать

Привет, сталкивался кто-нибудь с такой ошибкой? Unable to close file because the last block BP-... does not have enough number of replicas.

Привет, сталкивался кто-нибудь с такой ошибкой? Unable to close file because the last block BP-... does not have enough number of replicas.

как скфонижен dfs.replication в настройках хдфс?

2

hdfs в нормальном режиме? stanby случайно не включился? место на датанодах не кончилось?

Вроде все в порядке, свободно еще 20%. Есть только warning о том что слишком много блоков

Вроде все в порядке, свободно еще 20%. Есть только warning о том что слишком много блоков

это говорит о том что много мелких файлов хранится не раицонально

а пробовал ребалансировку? или оно отбалансено?

ну и чтоб ворн небеспокоил там в настройках можн конфижить этот параметр))

это говорит о том что много мелких файлов хранится не раицонально

мы знаем об этом :) пока что это by design. но по идее это не должно сильно влиять на загрузку. балансировку тоже недавно делали параметр пока что тоже by design. временно храним больше данных, чем влезет с 3х репликацией

в обычном режиме таких ошибок нет, но стоит рядом еще запустить какой-нибудь спарк, больше чем на 5 минут, начинается хаос

Есть какой-нибудь способ узнать где узкое место?

похоже в колвах конектов или что-то в этом духе, слишком мног блоков выделяет сразу, я не помню в чем соль, но часто для персиста на тех же спарках ретрай с бекофом на персисте делают, чтоб как раз такое сохранить

Есть какой-нибудь способ узнать где узкое место?

Так ио судя по всему. У вас не успевают реплицироваться блоки

вот да, станислав очень хорошую идею сказал

точно

ага, то есть решение снизить нагрузку?) ну или "забросать идею железом"?

ретрай с бекоффом можно) посмотреть чо с дисками и сетью

ретрай с бекоффом можно) посмотреть чо с дисками и сетью

ретрай есть)

в любом случае, спасибо за советы :) попробуем еще официальному саппорту написать, пусть копаются в логах

ага, то есть решение снизить нагрузку?) ну или "забросать идею железом"?

Ссд во все поля с вашей кучей блоков )

Либо начать клеить данные в большие блоки

ssd дороговато выйдет) наверно, придется все-таки написать склеивающий код)

есть ещё предположение - ipv6 вкл/выкл?

Просто наблюдение, ошибка имеет временной херактер, то есть последнняя началась в 11:32:00 и закончалась 11:33:46, то есть все мапперы упали в этот момент, а не в разнобой в разное время

В кронах пусто

и это так было всегда, то есть не только сегодня, а всегда все падало "на одно минуту", но в разное время

И именно с той ошибкой

А что у вас за формат хранится и сколько примерно файлов?

Может хип неймноды не справляться.

Может хип неймноды не справляться.

Была б другая ошибка. От неймноды требуется только отдать клиенту список свободных блоков для записи. Дальше клиент сам пишет и ждёт - удачно или нет. Ошибка явно говорит о том, что ио не успевает закомитить реплику

А что у вас за формат хранится и сколько примерно файлов?

у меня программист по блокам за менше суток сумел мне ошибку сделать

у меня программист по блокам за менше суток сумел мне ошибку сделать

Если отладка — процесс удаления ошибок, то программирование должно быть процессом их внесения. (с) Дейкстра)

Я уже запутался в "пожалуй, самый большой даталейк в РФ"

Спасибо, теперь я понял ход мыслей почему майлру.

если не мейл - то сбер

Привет, дата инженеры! Я много лет разрабатывал всякие сервисы на python, имею обширный опыт построения микросервисной архитектуры. С некоторых пор заинтересовала тема потоковой обработки данных. Скажите, стоит ли туда соваться без знания Java. И насколько хорошо нужно знать Java, чтобы эффективно использовать Hadoop, Spark и т. д.?

соваться можно, но если хочется серьезно погружаться, то надо и стэк новый знать лучше

А что под новым стеком подразумевается?

java, jvm?

jvm как платформа доминирующая и scala/java

Привет, дата инженеры! Я много лет разрабатывал всякие сервисы на python, имею обширный опыт построения микросервисной архитектуры. С некоторых пор заинтересовала тема потоковой обработки данных. Скажите, стоит ли туда соваться без знания Java. И насколько хорошо нужно знать Java, чтобы эффективно использовать Hadoop, Spark и т. д.?

Сейчас очень много работы на написание расчётов на спарке (pyspark). Там нужно знать только сам спарк и SQL. Но это тоска зелёная.

Сейчас очень много работы на написание расчётов на спарке (pyspark). Там нужно знать только сам спарк и SQL. Но это тоска зелёная.

ну и ты ничего в плане оптимизаций и проектирования с этим не сделаешь, разве что "А ДАВАЙТЕ ВСЕ НАПИХАЕМ КУЧЕЙ В ЭРРОУ!!!!"

Будто что-то плохое

Может быть, для начала пойдёт?)

Джава наверное не обязательна, но Scala однозначно нужна. Дело в том что спарковское апи в питоне для наиболее сложных и/или интересных функций (например, стриминг) всегда немного отстаёт от Scala.

Может быть, для начала пойдёт?)

так про начало я написал что с питоном вкатываться можно без проблем сложности будут, когда надо тюнить, фиксить, понимать устройство

Хипдампы @ хипдампы

А есть кто-то, кто хоть что-то понимает в том что происходит в jvm спарка? Есть какие-то ресурсы?

Из питона вообще ничего не получается затюнить касательно памяти

А есть кто-то, кто хоть что-то понимает в том что происходит в jvm спарка? Есть какие-то ресурсы?

сорцы открываешь и куришь

Слишком толсто

А что именно хотелось бы тюнить? Спарковые конфиги можно проставить так же в pyspark

чтобы крутить ручки надо понять что и ради чего (ну есть конечно большинство этой планеты, которые делает пальцем в небо, но это мягко говоря не дальновидно) а чтобы диагностировать проблемы то придется и в устройстве платформы хоть как то разбираться (но это конечно от тяжести случаев зависит)

так то можно конечно и совсем без головы работать и даже весьма успешно и популярно (py4j)

Хотелось бы понять почему Спарк жрет столько сколько жрет. Когда ему чкармливаешь 15 мб файл а потом он падает на оом при map only джобе

ну можно метрики спарка смотреть, можно по коду гадать, а можно смотреть метрики vm собсно когда первого и второго не хватит, то третьего не особо избежать получится (хотя еще можно забить)

да и не понимаю чего бояться изучить что-то новое особенно когда только питон в багаже (помадчин.жпг)

ебпф есть, трейсишь все как боженька

ну можно и по наводкам эмп, но зачем

А это такая частая задача- понимать что происходит в jvm? Ну кроме статистики gc, естесьно.

да невеяло не то слово, я сейсас тоже думаю где программиста искать

Того, который ошибок наделал? Он потерялся?

А это такая частая задача- понимать что происходит в jvm? Ну кроме статистики gc, естесьно.

Ну раньше была, сейчас чуть побольше железа и не так критично. А так я пытался имея 25 GB на четырех узлах делать что-то с таблицей в 100 гб

А это такая частая задача- понимать что происходит в jvm? Ну кроме статистики gc, естесьно.

нет, но это что то вроде тяжелого но более дотошного инструмента, когда не помогло все предыдущее ну и если выпал ООМ, то можно либо памяти добавить и спокойно идти на обед, а может памяти уже и не быть доступной

нет, но это что то вроде тяжелого но более дотошного инструмента, когда не помогло все предыдущее ну и если выпал ООМ, то можно либо памяти добавить и спокойно идти на обед, а может памяти уже и не быть доступной

Только надо понимать куда.

ну можно метрики спарка смотреть, можно по коду гадать, а можно смотреть метрики vm собсно когда первого и второго не хватит, то третьего не особо избежать получится (хотя еще можно забить)

Это можно делать и в питоне. Но для меня до сих пор загадка как так, в спарке максимальное использование памяти 100 мб в какой-нибудь стейдже, а он падает с 20 гигами

Это можно делать и в питоне. Но для меня до сих пор загадка как так, в спарке максимальное использование памяти 100 мб в какой-нибудь стейдже, а он падает с 20 гигами

что можно делать в питоне? прожирать память? думаю, легко в любом существующем яп

что можно делать в питоне? прожирать память? думаю, легко в любом существующем яп

Смотреть в Спарк и гадать на коде

так да, я ж и не говорил иного пункт 3 требует знаний уже за рамками апи фреймворка и собственного кода

Это можно делать и в питоне. Но для меня до сих пор загадка как так, в спарке максимальное использование памяти 100 мб в какой-нибудь стейдже, а он падает с 20 гигами

Нет адекватной статы, хотел зачитать на драйвер какую-то "мелкую" таблицу, чтобы забродкастить, не шмог из-за ограничений памяти драйвера на максимум обрабатываемой инфы.

Нет адекватной статы, хотел зачитать на драйвер какую-то "мелкую" таблицу, чтобы забродкастить, не шмог из-за ограничений памяти драйвера на максимум обрабатываемой инфы.

а спроблемами логических ресурсов придется в код спарка лазить, да

в общем пока все хорошо, то оно всё и не надо =)

Нет адекватной статы, хотел зачитать на драйвер какую-то "мелкую" таблицу, чтобы забродкастить, не шмог из-за ограничений памяти драйвера на максимум обрабатываемой инфы.

Map only джобы, причем максимально прямые. Разобрать json и взять нужных пять полей)

но морально стоит быть готовым

в общем пока все хорошо, то оно всё и не надо =)

После airflow меня уже сложно испугать) Но в код спарка тоже пришлось заглядывать

https://hortonworks.com/blog/introducing-apache-hadoop-ozone-object-store-apache-hadoop/

Это можно делать и в питоне. Но для меня до сих пор загадка как так, в спарке максимальное использование памяти 100 мб в какой-нибудь стейдже, а он падает с 20 гигами

Профайлинг драйвера хорошо помогает. В падение экзекьюторов при таких условиях не верится чото

https://hortonworks.com/blog/introducing-apache-hadoop-ozone-object-store-apache-hadoop/

Альфа, тестов нет. Получается они сделали ещё хбейз, но со стандартными обёртками фс. Интересны скорость работы и потребляемое ио на эту скорость

Альфа, тестов нет. Получается они сделали ещё хбейз, но со стандартными обёртками фс. Интересны скорость работы и потребляемое ио на эту скорость

Это же объектное хранилище, чем это на hbase похоже?

Это же объектное хранилище, чем это на hbase похоже?

и там и там набор байт, кривая_рожа.жпг

и там и там набор байт, кривая_рожа.жпг

Больше на аналог Amazon S3 похоже

Это же объектное хранилище, чем это на hbase похоже?

Решаемой задачей хранить миллиард миллиардов объектов :)

Решаемой задачей хранить миллиард миллиардов объектов :)

Блин, ну так можно всё hbase обзывать