а можно кейс? очень необычное желание

да что-то не понятно как аптайм экзекутар к этоому относится

в идеале чтобы executor первые пол часа после запуска делал одно, а после другое

Мезос нужен

мы пишем логи через nifi в hdfs в файлы, которые затем подцепляются файлстримом с onlyNewFiles = no, и он смотрит на некоторое время назад, на случай если спарк стриминг упал и логи не засасывались им. Но минус этого в том, что при рестарте стримера мы гарантированно получаем дубликат логов, по понятным причинам. Хочется сделать так, что если executor работает менее получаса, то он перед записью в orc будет делать df.except(orc_file), чтобы не было дубликатов

Отвичаю

а если более получаса - то писал без except, тк это дорогая операция и долго работать будет

ну а делать глобальное время на всю джобу по идее нельзя, тк при отвале одного executor'а в процессе работы джобы появится новый, который тогда не будет делать то чо надо)

ну а делать глобальное время на всю джобу по идее нельзя, тк при отвале одного executor'а в процессе работы джобы появится новый, который тогда не будет делать то чо надо)

почему нельзя забродкастить время старта?

рили

потому что на первый вгляд это решает проблему

дык этож будет глобальное время старта джобы?

допустим работала джоба час

потом один хост отъехал

exectur переполз на другой хост

броадкаст то не изменится

ты его на драйвере посчитал, потом это простой Long от него и пляши

не изменится, но в этом случае на каждом executor'е будет время старта джобы :)

всей целиком

а мне надо старт джобы -> прошло 3 часа -> упал хост -> появился новый executor -> он понял что он новый и начал делать другой алгоритм

можно сделать так: фиксированое число экзекуторов; каждому дать ид; броадкастить коллекцию старта времени каждого экзекутора

а иначе не получится без фикс числа (макс числа)

конечно придется попялсать чтоб понять у кого какой номер

но вообще звучит как что-то не правильное

число фикс, да :)

да прост присвой каждому ид и все

коллизия возникнет когда сразу n упадет

но там +- одно и тоже время будет

ок, попробую :)

спасибо

мне в голову приходит , что нужно сделать обёртку над некоторым объектом, как в шаред кафка продьюссере, который при инициализации имеет внутреннее поле со значением 0, после операции он должен иметь значение += 1

проверять на 0

кажется так должно сработать :)

ток я не соображу сразу как такое сделать )

Ребят

Зачем вы усложняете

В мезосе/дцос все так и сделано

http://allegro.tech/2015/08/spark-kafka-integration.html

вот тип такого, но вместо объекта продьюсера какое-то поле , котрое проверяется

Если подытожить, то это кейс распределенного коммит лога. Всё сильно зависит от требования к уровню консистентности. В случаях средней тяжести и хуже, имхо, надо отдать предпочтение готовы решениям.

Если подытожить, то это кейс распределенного коммит лога. Всё сильно зависит от требования к уровню консистентности. В случаях средней тяжести и хуже, имхо, надо отдать предпочтение готовы решениям.

Ораклу?

Я бы посмеялся, но оракл и распределенный в одном предложении не смешно

а как жи рак

:)

оракл говорит это лучшее что еть на рынке распределенностей :D

Файл бд при этом один

это был сарказм >.>

Я бы посмеялся, но оракл и распределенный в одном предложении не смешно

А как же rac

Или как его там

а как жи рак

+

Он на самом деле хороший, только стоит как Аляска

как и обычный оракл

точнее, как и любой оракл :D

Он на самом деле хороший, только стоит как Аляска

Он ужасен. Особенно по отзывам обладателя крупнейшего кластера оракла.

Он ужасен. Особенно по отзывам обладателя крупнейшего кластера оракла.

эт кого?

эт кого?

ну если серьезно, то у нас дба уже 3й год сопротивляются цфт на рак переводить

видимо они что то знают

ты из цфт чтоль?

я? нет

я из банка

из банка?

из банка

:х

это плохо?

- рак поднимает n инстансов субд (оно по-моему лимитировано, но мог уже забыть) - один из инстансов является мастером (балансер + еще какие-то вещи, возможно redo log, на его совести) - файлы бд общие на все инстансы благодаря достаточному числому синглпоинтов, перформанс у него по началу конечно растет для примера 2 инстанса имеют производительность не выше х1.5 в какой то момент начнется даже падение удельной производительности видел реалии и не очень довольные лица дба (российских и иностранных) высокой квалификации

но это все про 11ую версию, возможно в 12 произошло чудо и реновация ^^

к разговору выше, то я хз что там распределенного вообще есть)

реновация в мск

выселяют маргиналов на окраины

такой масштаб реноваций ораклу конечно не снился)

да; уж лучше пусть оракл будет такйо чем у него появятся новые тротуары

ну и всякое такое

я вот хз, может он как постгрес xl работает)

- рак поднимает n инстансов субд (оно по-моему лимитировано, но мог уже забыть) - один из инстансов является мастером (балансер + еще какие-то вещи, возможно redo log, на его совести) - файлы бд общие на все инстансы благодаря достаточному числому синглпоинтов, перформанс у него по началу конечно растет для примера 2 инстанса имеют производительность не выше х1.5 в какой то момент начнется даже падение удельной производительности видел реалии и не очень довольные лица дба (российских и иностранных) высокой квалификации

это как у хезелькаста

это как у хезелькаста

У хз нет мастера ж

У хз нет мастера ж

падает производительность

С чего она падает

С чего она падает

статья Яндекса про опыт эксплуатации я там описано , что убили половину год, а производительность выросла в двое

Там же клиент по ключу определяет куда кинуть значение

Там же клиент по ключу определяет куда кинуть значение

короч , хехелькаст Яндекс хабрахбр и получаешь полный обзор

Ну Там не Яндекс, а яд

Чувак конечно красава, сдаётся мне что там не в количестве нод проблема, а в том что идёт репликация между дц

Чувак конечно красава, сдаётся мне что там не в количестве нод проблема, а в том что идёт репликация между дц

а репликешн фактор же не меняли ?)

И что

у хз есть дц детектор?

Витя ж ответил