@hadoopusers

Страница 158 из 182
Рамиль
04.10.2018
12:02:30
как правило ведь NiFi сам выступает в роли инициатора взаимодействия

поэтому балансер по сути не особо нужен

исключение составляет один единственный процессор

Google
Stanislav
04.10.2018
12:03:24
Ага

Рамиль
04.10.2018
12:03:38
но

есть в этой истории одно «НО»

флоу файлы не находятся одновременно на всех нодах

т.е. если узел упал, часть флоу файлов временно выпадут из оборота

Старый
04.10.2018
12:04:31
kafka никто до свежей не обновлял ?

Рамиль
04.10.2018
12:04:36
или не временно если диски подохнут…

kafka никто до свежей не обновлял ?
если только до свежей в понимании хортона

но она ни когда не будет последней

Старый
04.10.2018
12:05:05
если только до свежей в понимании хортона
у меня разрабы 2,0 хотят хотя бы

а лучше 2,11

Рамиль
04.10.2018
12:05:41
ты можешь поставить ту версию кафки, которую хочешь, но тебе придется добвлять в амбари как кастомный сервис

Google
Старый
04.10.2018
12:06:49
разрабы сказали в хортоне слишком старая, и под неё код писать нереально почти

Stanislav
04.10.2018
12:06:50
т.е. если узел упал, часть флоу файлов временно выпадут из оборота
Вопрос генерации флоуфайлов. Если очередь большая, надо докручивать или замедлять генерацию. Ну и балансировка есть через ремоут-групс. Правда убогость в том, что его можно использовать только на уровне рута, а не внутри групп.

Поставь ванилу, и дело с концом

Nikita Blagodarnyy
04.10.2018
12:08:56
На яндекс.диске

Рамиль
04.10.2018
12:09:21
по поводу скорости генерации флоу файлов тут как ни крути все равно какая то часть будет в работе.

т.е. получается не совсем HA

Stanislav
04.10.2018
12:11:10
мб есть варик хранить флоу файлы на зеркалируемых дисковых полках ?
И держать под парами второй инстанс с найфай для переключения? В принципе в случае чп можно выбрать все хранилище, но цеплять к существующей ноде не пробовал

Рамиль
04.10.2018
12:11:41
ну вот да, я об этом подумал написав «хотя так себе тема»

Stanislav
04.10.2018
12:11:50
по поводу скорости генерации флоу файлов тут как ни крути все равно какая то часть будет в работе.
Тут вопрос скорости генерации. Чаще генеришь, выше шанс что отработка уедет с примари с битой ноды

Рамиль
04.10.2018
12:11:59
в общем как я помню в нифи HA еще не реализовано

я думаю тут правильнее будет организовать лямбду

полноценную

Stanislav
04.10.2018
12:13:50
может и примари упасть, т.е. все равно гарантий нет.
Так как раз фишка в том, что примари упадет, произойдут выборы и генерация уедет на новый сервер

Рамиль
04.10.2018
12:14:06
а что с флоуфайлами которые были на этой ноге?

Stanislav
04.10.2018
12:14:26
Будут мертвы, пока нода не встанет

Рамиль
04.10.2018
12:14:41
я думаю тут правильнее будет организовать лямбду
упала нога потерялись флоу файлы - пофиг ночью батч все догонит куда надо и в каком надо порядке.

Google
Stanislav
04.10.2018
12:14:59
Весь процесс балансировки, отказоустойчивости и прочих вещей в найфай переложили на программиста

Рамиль
04.10.2018
12:15:12
ну в общем то да

Stanislav
04.10.2018
12:15:45
И все классно, пока ты не используешь найфай для стриминга )

Рамиль
04.10.2018
12:16:24
?

Старый
04.10.2018
12:22:26
?классно когда у тебя разрабы что-то знают, а не ты гадаешь что им нужно будет

Sergey
04.10.2018
12:23:32
И все классно, пока ты не используешь найфай для стриминга )
парни, не останавливайтесь, я внимательно записываю! на самом деле очень полезное обсуждение. не считаете?

Старый
04.10.2018
12:23:34
это фантастика
эт нормально, я когда пришёл тут была просто гениальная мыль делать олапы на сетевом рейд 5

и 40к iops до вычета расходов сопражённых с raid5

Stanislav
04.10.2018
12:25:14
парни, не останавливайтесь, я внимательно записываю! на самом деле очень полезное обсуждение. не считаете?
Да что там писать, надо это один раз пройти :) много боли вплоть до того, что генерация флоуфайлов может останавливаться под нагрузкой и твой стрим просто не получит команды на включение )

Sergey
04.10.2018
12:25:36
с другой стороны еще наброшу: а на чем правильнее делать балансировщик для входящего эндпойнта? чтоб например в кафку пушил или в найфай

Stanislav
04.10.2018
12:25:44
Это при одновременном выполнении батчей и стримов

Старый
04.10.2018
12:25:57
у меня кафка проглатывала 10к сообщений в сек

Рамиль
04.10.2018
12:26:26
вот да

зачем перед кафкой балансер?

она сама разруливает кто что будет обрабатывать

Stanislav
04.10.2018
12:26:49
Рамиль
04.10.2018
12:26:53
на клиенте должен быть указан полный списко брокеров

Google
Рамиль
04.10.2018
12:27:07
и вот я бы как раз кафку и использовал как входную точку для нифи

Старый
04.10.2018
12:27:15
Рамиль
04.10.2018
12:27:31
разрабы против этого часто
чем они это мотивируют?

Sergey
04.10.2018
12:27:54
зачем перед кафкой балансер?
у меня нет доступа до клиентов, все льеться на определенный шлюз

Старый
04.10.2018
12:27:54
чем они это мотивируют?
по разному, типа у приложения должен быть 1 ip куда ходить и всё

а лучше вообще локалхост и тот же хапрокси

Рамиль
04.10.2018
12:28:23
значит этот разраб просто что то не то курил с утра

потому что довод вообще так себе

Старый
04.10.2018
12:29:01
значит этот разраб просто что то не то курил с утра
у меня разраб предложил на 1230v3 и 32 гб оперативы блейд с 2 дисками по 4 тб под амбари

sata 7200

Stanislav
04.10.2018
12:29:56
Перед найфаем ставить прокси в зависимости от потока - нгинкс, хапрокси. Что больше нравится и какие средства аутентификации ИБ согласовали

Старый
04.10.2018
12:30:11
?‍♀️

Старый
04.10.2018
12:30:29
типа так будет больше плотность и дешевле

Рамиль
04.10.2018
12:30:44
нужно nginx либо envoy, либо сразу оба

Stanislav
04.10.2018
12:33:33
А лучше так не делать вообще ) минус головняк и сапорт всей балалайки

Рамиль
04.10.2018
12:38:57
а как лучше делать? ;)
лучше вообще ни как не делать, тогда головняка вообще не будет

Google
Рамиль
04.10.2018
12:39:00
?

Stanislav
04.10.2018
12:41:20
а как лучше делать? ;)
Думаю, что в рамках найфая какое то решение на базе минифая

Потому что скорее всего он умеет кидать данные на ремоут групп

А там автоматом определяются живые ноды без нагрузки

Ха+балансир в одном флаконе

Daniel
04.10.2018
12:43:01
на клиенте должен быть указан полный списко брокеров
Нет. Состав кластера все равно придет от любой ноды.

Рамиль
04.10.2018
13:13:35
Daniel
04.10.2018
13:23:15
придет от другой из указанных

смысл указывать все ноды есть не всегда, потому что кафка как раз таки тупая в плане роутов

Рамиль
04.10.2018
13:24:12
ок, но надо указать точно больше одной, так?

Daniel
04.10.2018
13:24:27
ради избыточности, да

Рамиль
04.10.2018
13:24:43
как раз почти то, что я хотел сказать

Artem
04.10.2018
13:46:58
есть еще мысли?
Телепатические? Наличие внутреннего ДНС не гарантирует отсутствие проблем с резолвингом Наличие десятков терабайт свободной ОЗУ не гарантирует того, что не придет ООМ киллер

Artem
04.10.2018
13:47:10
ну нет ООМа в логах, а что гарантирует отсутствие проблем с резолвингом, на ваш взгляд?

Artem
04.10.2018
13:47:23
В логах чего?

Artem
04.10.2018
13:47:31
да и чему там тормозить в резольвинге? обычный named)

Artem
04.10.2018
13:50:36
Ну дальнейшее вангование будет оффтопиком. Нужны детали. Можно начать с того, что за ОС, дистр хадупа. Обновить таки битые ссылки на приложенные логи

Страница 158 из 182