
Рамиль
04.10.2018
12:02:30
как правило ведь NiFi сам выступает в роли инициатора взаимодействия
поэтому балансер по сути не особо нужен
исключение составляет один единственный процессор

Google

Stanislav
04.10.2018
12:03:24
Ага

Рамиль
04.10.2018
12:03:38
но
есть в этой истории одно «НО»
флоу файлы не находятся одновременно на всех нодах
т.е. если узел упал, часть флоу файлов временно выпадут из оборота

Старый
04.10.2018
12:04:31
kafka никто до свежей не обновлял ?

Рамиль
04.10.2018
12:04:36
или не временно если диски подохнут…
но она ни когда не будет последней

Старый
04.10.2018
12:05:05
а лучше 2,11

Рамиль
04.10.2018
12:05:41
ты можешь поставить ту версию кафки, которую хочешь, но тебе придется добвлять в амбари как кастомный сервис

Google

Старый
04.10.2018
12:06:49
разрабы сказали в хортоне слишком старая, и под неё код писать нереально почти

Stanislav
04.10.2018
12:06:50
Поставь ванилу, и дело с концом

Рамиль
04.10.2018
12:08:26
хотя так себе тема ?

Nikita Blagodarnyy
04.10.2018
12:08:56
На яндекс.диске

Рамиль
04.10.2018
12:09:21
по поводу скорости генерации флоу файлов тут как ни крути все равно какая то часть будет в работе.
т.е. получается не совсем HA

Stanislav
04.10.2018
12:11:10

Рамиль
04.10.2018
12:11:41
ну вот да, я об этом подумал написав «хотя так себе тема»

Stanislav
04.10.2018
12:11:50

Рамиль
04.10.2018
12:11:59
в общем как я помню в нифи HA еще не реализовано
я думаю тут правильнее будет организовать лямбду
полноценную

Stanislav
04.10.2018
12:13:50

Рамиль
04.10.2018
12:14:06
а что с флоуфайлами которые были на этой ноге?

Stanislav
04.10.2018
12:14:26
Будут мертвы, пока нода не встанет

Рамиль
04.10.2018
12:14:41

Google

Stanislav
04.10.2018
12:14:59
Весь процесс балансировки, отказоустойчивости и прочих вещей в найфай переложили на программиста

Рамиль
04.10.2018
12:15:12
ну в общем то да

Stanislav
04.10.2018
12:15:45
И все классно, пока ты не используешь найфай для стриминга )

Рамиль
04.10.2018
12:16:24
?

Старый
04.10.2018
12:22:26
?классно когда у тебя разрабы что-то знают, а не ты гадаешь что им нужно будет

Рамиль
04.10.2018
12:22:49

Sergey
04.10.2018
12:23:32

Старый
04.10.2018
12:23:34
это фантастика
эт нормально, я когда пришёл тут была просто гениальная мыль делать олапы на сетевом рейд 5
и 40к iops до вычета расходов сопражённых с raid5

Stanislav
04.10.2018
12:25:14

Sergey
04.10.2018
12:25:36
с другой стороны еще наброшу: а на чем правильнее делать балансировщик для входящего эндпойнта? чтоб например в кафку пушил или в найфай

Stanislav
04.10.2018
12:25:44
Это при одновременном выполнении батчей и стримов

Старый
04.10.2018
12:25:57
у меня кафка проглатывала 10к сообщений в сек

Sergey
04.10.2018
12:26:24

Рамиль
04.10.2018
12:26:26
вот да
зачем перед кафкой балансер?
она сама разруливает кто что будет обрабатывать

Stanislav
04.10.2018
12:26:49

Рамиль
04.10.2018
12:26:53
на клиенте должен быть указан полный списко брокеров

Google

Stanislav
04.10.2018
12:27:07

Рамиль
04.10.2018
12:27:07
и вот я бы как раз кафку и использовал как входную точку для нифи

Старый
04.10.2018
12:27:15

Рамиль
04.10.2018
12:27:31

Sergey
04.10.2018
12:27:54

Старый
04.10.2018
12:27:54
а лучше вообще локалхост и тот же хапрокси

Рамиль
04.10.2018
12:28:23
значит этот разраб просто что то не то курил с утра
потому что довод вообще так себе

Старый
04.10.2018
12:29:01
sata 7200

Stanislav
04.10.2018
12:29:56
Перед найфаем ставить прокси в зависимости от потока - нгинкс, хапрокси. Что больше нравится и какие средства аутентификации ИБ согласовали

Старый
04.10.2018
12:30:11
?♀️

Рамиль
04.10.2018
12:30:27

Старый
04.10.2018
12:30:29
типа так будет больше плотность и дешевле

Рамиль
04.10.2018
12:30:44
нужно nginx либо envoy, либо сразу оба

Stanislav
04.10.2018
12:33:33
А лучше так не делать вообще ) минус головняк и сапорт всей балалайки

Sergey
04.10.2018
12:34:39

Рамиль
04.10.2018
12:38:57

Google

Рамиль
04.10.2018
12:39:00
?

Старый
04.10.2018
12:41:06

Stanislav
04.10.2018
12:41:20
Потому что скорее всего он умеет кидать данные на ремоут групп
А там автоматом определяются живые ноды без нагрузки
Ха+балансир в одном флаконе

Daniel
04.10.2018
12:43:01

Рамиль
04.10.2018
13:13:35

Daniel
04.10.2018
13:23:15
придет от другой из указанных
смысл указывать все ноды есть не всегда, потому что кафка как раз таки тупая в плане роутов

Рамиль
04.10.2018
13:24:12
ок, но надо указать точно больше одной, так?

Daniel
04.10.2018
13:24:27
ради избыточности, да

Рамиль
04.10.2018
13:24:43
как раз почти то, что я хотел сказать

Artem
04.10.2018
13:30:23

Artem
04.10.2018
13:46:58
есть еще мысли?
Телепатические?
Наличие внутреннего ДНС не гарантирует отсутствие проблем с резолвингом
Наличие десятков терабайт свободной ОЗУ не гарантирует того, что не придет ООМ киллер

Artem
04.10.2018
13:47:10
ну нет ООМа в логах, а что гарантирует отсутствие проблем с резолвингом, на ваш взгляд?

Artem
04.10.2018
13:47:23
В логах чего?

Artem
04.10.2018
13:47:31
да и чему там тормозить в резольвинге? обычный named)

Artem
04.10.2018
13:50:36
Ну дальнейшее вангование будет оффтопиком.
Нужны детали. Можно начать с того, что за ОС, дистр хадупа. Обновить таки битые ссылки на приложенные логи

Artem
04.10.2018
14:17:37