т.е. на двух разных машинах/стойках отдельные "кластеры" NiFi? между которыми осуществляется переключение VIP-адреса через keepalived?

не мы обычно просто поднимали один кластер из нескольких NiFi

как правило ведь NiFi сам выступает в роли инициатора взаимодействия

поэтому балансер по сути не особо нужен

исключение составляет один единственный процессор

как правило ведь NiFi сам выступает в роли инициатора взаимодействия

Поэтому и ремарка про дизайн.

Ага

но

есть в этой истории одно «НО»

флоу файлы не находятся одновременно на всех нодах

т.е. если узел упал, часть флоу файлов временно выпадут из оборота

kafka никто до свежей не обновлял ?

или не временно если диски подохнут…

kafka никто до свежей не обновлял ?

если только до свежей в понимании хортона

но она ни когда не будет последней

если только до свежей в понимании хортона

у меня разрабы 2,0 хотят хотя бы

а лучше 2,11

ты можешь поставить ту версию кафки, которую хочешь, но тебе придется добвлять в амбари как кастомный сервис

разрабы сказали в хортоне слишком старая, и под неё код писать нереально почти

т.е. если узел упал, часть флоу файлов временно выпадут из оборота

Вопрос генерации флоуфайлов. Если очередь большая, надо докручивать или замедлять генерацию. Ну и балансировка есть через ремоут-групс. Правда убогость в том, что его можно использовать только на уровне рута, а не внутри групп.

разрабы сказали в хортоне слишком старая, и под неё код писать нереально почти

Зачем тебе вообще Кафка хортона?

Поставь ванилу, и дело с концом

Вопрос генерации флоуфайлов. Если очередь большая, надо докручивать или замедлять генерацию. Ну и балансировка есть через ремоут-групс. Правда убогость в том, что его можно использовать только на уровне рута, а не внутри групп.

мб есть варик хранить флоу файлы на зеркалируемых дисковых полках ?

хотя так себе тема ?

На яндекс.диске

по поводу скорости генерации флоу файлов тут как ни крути все равно какая то часть будет в работе.

т.е. получается не совсем HA

мб есть варик хранить флоу файлы на зеркалируемых дисковых полках ?

И держать под парами второй инстанс с найфай для переключения? В принципе в случае чп можно выбрать все хранилище, но цеплять к существующей ноде не пробовал

ну вот да, я об этом подумал написав «хотя так себе тема»

по поводу скорости генерации флоу файлов тут как ни крути все равно какая то часть будет в работе.

Тут вопрос скорости генерации. Чаще генеришь, выше шанс что отработка уедет с примари с битой ноды

в общем как я помню в нифи HA еще не реализовано

Тут вопрос скорости генерации. Чаще генеришь, выше шанс что отработка уедет с примари с битой ноды

может и примари упасть, т.е. все равно гарантий нет.

я думаю тут правильнее будет организовать лямбду

полноценную

может и примари упасть, т.е. все равно гарантий нет.

Так как раз фишка в том, что примари упадет, произойдут выборы и генерация уедет на новый сервер

а что с флоуфайлами которые были на этой ноге?

Будут мертвы, пока нода не встанет

я думаю тут правильнее будет организовать лямбду

упала нога потерялись флоу файлы - пофиг ночью батч все догонит куда надо и в каком надо порядке.

Весь процесс балансировки, отказоустойчивости и прочих вещей в найфай переложили на программиста

ну в общем то да

И все классно, пока ты не используешь найфай для стриминга )

?

?классно когда у тебя разрабы что-то знают, а не ты гадаешь что им нужно будет

?классно когда у тебя разрабы что-то знают, а не ты гадаешь что им нужно будет

это фантастика

И все классно, пока ты не используешь найфай для стриминга )

парни, не останавливайтесь, я внимательно записываю! на самом деле очень полезное обсуждение. не считаете?

это фантастика

эт нормально, я когда пришёл тут была просто гениальная мыль делать олапы на сетевом рейд 5

и 40к iops до вычета расходов сопражённых с raid5

парни, не останавливайтесь, я внимательно записываю! на самом деле очень полезное обсуждение. не считаете?

Да что там писать, надо это один раз пройти :) много боли вплоть до того, что генерация флоуфайлов может останавливаться под нагрузкой и твой стрим просто не получит команды на включение )

с другой стороны еще наброшу: а на чем правильнее делать балансировщик для входящего эндпойнта? чтоб например в кафку пушил или в найфай

Это при одновременном выполнении батчей и стримов

с другой стороны еще наброшу: а на чем правильнее делать балансировщик для входящего эндпойнта? чтоб например в кафку пушил или в найфай

а зачем перед кафкой балансировщик?

у меня кафка проглатывала 10к сообщений в сек

Да что там писать, надо это один раз пройти :) много боли вплоть до того, что генерация флоуфайлов может останавливаться под нагрузкой и твой стрим просто не получит команды на включение )

т.е. вы это уже прошли?

вот да

зачем перед кафкой балансер?

она сама разруливает кто что будет обрабатывать

т.е. вы это уже прошли?

В процессе

на клиенте должен быть указан полный списко брокеров

с другой стороны еще наброшу: а на чем правильнее делать балансировщик для входящего эндпойнта? чтоб например в кафку пушил или в найфай

Лучше бросать в кафку, и доставать из най-фай

и вот я бы как раз кафку и использовал как входную точку для нифи

на клиенте должен быть указан полный списко брокеров

разрабы против этого часто

разрабы против этого часто

чем они это мотивируют?

зачем перед кафкой балансер?

у меня нет доступа до клиентов, все льеться на определенный шлюз

чем они это мотивируют?

по разному, типа у приложения должен быть 1 ip куда ходить и всё

а лучше вообще локалхост и тот же хапрокси

значит этот разраб просто что то не то курил с утра

потому что довод вообще так себе

значит этот разраб просто что то не то курил с утра

у меня разраб предложил на 1230v3 и 32 гб оперативы блейд с 2 дисками по 4 тб под амбари

sata 7200

Перед найфаем ставить прокси в зависимости от потока - нгинкс, хапрокси. Что больше нравится и какие средства аутентификации ИБ согласовали

?‍♀️

у меня нет доступа до клиентов, все льеться на определенный шлюз

не совсем понял как это…

типа так будет больше плотность и дешевле

Перед найфаем ставить прокси в зависимости от потока - нгинкс, хапрокси. Что больше нравится и какие средства аутентификации ИБ согласовали

хапрокси устаревшая балалайка которая ни чего как балансировщик не может

нужно nginx либо envoy, либо сразу оба

А лучше так не делать вообще ) минус головняк и сапорт всей балалайки

А лучше так не делать вообще ) минус головняк и сапорт всей балалайки

а как лучше делать? ;)

а как лучше делать? ;)

лучше вообще ни как не делать, тогда головняка вообще не будет

?

хапрокси устаревшая балалайка которая ни чего как балансировщик не может

?скажите это сотням контор

а как лучше делать? ;)

Думаю, что в рамках найфая какое то решение на базе минифая

Потому что скорее всего он умеет кидать данные на ремоут групп

А там автоматом определяются живые ноды без нагрузки

Ха+балансир в одном флаконе

на клиенте должен быть указан полный списко брокеров

Нет. Состав кластера все равно придет от любой ноды.

Нет. Состав кластера все равно придет от любой ноды.

если только она не упала

придет от другой из указанных

смысл указывать все ноды есть не всегда, потому что кафка как раз таки тупая в плане роутов

ок, но надо указать точно больше одной, так?

ради избыточности, да

как раз почти то, что я хотел сказать

Если проблем с резолвингом/сетью нет, то на ту ноду мог приходить OOM киллер

есть еще мысли?

есть еще мысли?

Телепатические? Наличие внутреннего ДНС не гарантирует отсутствие проблем с резолвингом Наличие десятков терабайт свободной ОЗУ не гарантирует того, что не придет ООМ киллер

ну нет ООМа в логах, а что гарантирует отсутствие проблем с резолвингом, на ваш взгляд?

В логах чего?

В логах чего?

messages

да и чему там тормозить в резольвинге? обычный named)

Ну дальнейшее вангование будет оффтопиком. Нужны детали. Можно начать с того, что за ОС, дистр хадупа. Обновить таки битые ссылки на приложенные логи

Ну дальнейшее вангование будет оффтопиком. Нужны детали. Можно начать с того, что за ОС, дистр хадупа. Обновить таки битые ссылки на приложенные логи

https://pastebin.com/gZnDLFnE + http://termbin.com/8835