@hadoopusers

Страница 22 из 182
Grigory
22.07.2017
06:33:56
боюсь меня бы забанили если б я это написал

Nick
22.07.2017
06:34:42
Дык есть лс

Grigory
22.07.2017
06:35:25
та не не я; тебя банить это как забанить душу чата

Nick
22.07.2017
06:38:32
Ну в прожвм я то не душа

Google
Nick
22.07.2017
06:38:34
Лол

Там есть гуга

?Ivan
25.07.2017
07:22:44
@pomadchin @krivdaallstarts

Grigory
25.07.2017
07:23:25
Спасибо!

Nick
25.07.2017
07:45:34
Насыщенный диалог)

Grigory
25.07.2017
07:53:10
Конечно

надо придумать с этими ботами что-то

Nick
25.07.2017
07:58:43
Зови в чат по приглашениям

Для избранных

Ну или /report

Daniel
25.07.2017
08:01:10
надо придумать с этими ботами что-то
если не поленюсь, то доделаю к концу недели

Grigory
25.07.2017
08:01:38
обычный воут?

Google
Daniel
25.07.2017
08:02:26
это будет бот вариантов 2 1. Он будет тыкать админов сам, когда спам придет 2. выдать ему права, чтобы он удалял

Grigory
25.07.2017
08:02:47
а как различать будет спам?

по ключевым словам / ссылкам / текст тональности n?

Nick
25.07.2017
08:03:21
а как различать будет спам?
Будет разрешать писать только избранным

Daniel
25.07.2017
08:03:32
спам в телеге пока очень тупой будет трекер количества сообщений у пользователей, и если в первом же сообщении есть линк на другой канал/группу, то спам

но надо будет придусмотреть расширяемость правил

Grigory
25.07.2017
08:04:57
ясно, хорошая идея

Daniel
25.07.2017
08:05:36
хотел сначала на расте, но задолбало вручную протокол описывать взялся за скалку)

Grigory
25.07.2017
08:06:04
шарить базу сообщений

Nick
25.07.2017
08:07:04
Нужен Спарк и хадуп

Daniel
25.07.2017
08:08:06
шарить базу сообщений
да можно, но это следующий шаг вопрос еще куда задеплоить, не хочется ради тупого бота в ДО виртуалку поднимать)

Nick
25.07.2017
08:08:50
Найдём)

Daniel
25.07.2017
09:41:18
посмотрю

Grigory
25.07.2017
09:41:19
до дешевле будет (?)

KrivdaTheTriewe
25.07.2017
09:41:40
до дешевле будет (?)
бесплатный инстанс который

Grigory
25.07.2017
09:42:26
750 часов которых

мм я и забыл

Google
Grigory
25.07.2017
09:42:57
но это на год только

да и за лимиты если уползти по ресурсам тоже платить над

Nick
25.07.2017
09:46:10
посмотрю
продам свои мезос ?

KrivdaTheTriewe
25.07.2017
11:54:51
сейчас будет глупый вопрос

Есть кафка топик , туда льется протобаф, есть ли сейчас способы лучше складывать это всё партицированно в хдфс, отдельной спарк джобы или флюма ?

кафка старая

Andrey
25.07.2017
11:57:21
я бы nifi посмотрел

KrivdaTheTriewe
25.07.2017
11:58:13
партицировать нужно по внутреннему протобаф полю, так к слову

Andrey
25.07.2017
11:58:17
не знаю как она с кафкой работает, но у нас данные прилетают на сетевой порт, nifi их мержит по 100 МБ, жмет в snappy и кладет на hdfs

KrivdaTheTriewe
25.07.2017
12:00:34
Ладно, пока не горит, может попробую выбить обновление

с этим вероятно беда будет
вприципе можно забить и по времени сделать

Andrey
25.07.2017
13:44:13
вприципе можно забить и по времени сделать
а чем кстати спарк стриминг не нравится?

вроде так то оптимальный вариант, особенно если надо еще данные почистить/помодифицировать перед записью

KrivdaTheTriewe
25.07.2017
13:48:53
пока старая версия спарка только мешает

Grigory
25.07.2017
13:57:44
а слушай, если не нда; каикие сложноти в настоящий момнт мешают переезду на спарк 2? @krivdaallstarts

Daniel
25.07.2017
14:02:39
в телеграмме боты не могут общаться друг с другом, поэтому не прокатит (симулировать пользака на левом номере мне не хочется)

Google
KrivdaTheTriewe
25.07.2017
14:03:38
ничто не мешает на мастерноде запустить спарк два , но проблема в том, что я только этим смогу пользоваться

Grigory
25.07.2017
14:04:12
а на aws не хочешь уйти?

Daniel
25.07.2017
14:04:25
завязка на клаудеру
у нас админы на тачках для запуска/отладки настраивают окружение и просто переключают на то что захочешь

KrivdaTheTriewe
25.07.2017
14:04:57
а на aws не хочешь уйти?
есть инфраструктура, есть данные и кластер, нужно сначала все обновить, потом можно кластер обновить

Grigory
25.07.2017
14:05:11
ясно; в человекочасы упирается все

Daniel
25.07.2017
14:05:25
у вас отлаженные техпроцессы
админам конечно будет приятно но нет)

Andrew
25.07.2017
14:05:37
завязка на клаудеру
там же вроде можно было версию спарка обновить?

Grigory
25.07.2017
14:05:38
прост EMR?

KrivdaTheTriewe
25.07.2017
14:06:02
админам конечно будет приятно но нет)
ну можешь считать, что это частично на мне

Grigory
25.07.2017
14:06:37
ленивый кривда

Daniel
25.07.2017
14:08:35
один из админов нам для флинка настроил автодеплой с перезапусками на башевском скрипте проверяет раз в 5минут что все добавленные в папочку джобы запущены, если нет, то перезапускает =)

версию флинка правда руками менять надо

KrivdaTheTriewe
25.07.2017
14:12:04
ленивый кривда
я ниразу не ленивый, вернее ленивый, но не в этом плане

я не хочу плакаться, но если бы была возможность всё просто сделать спарком, я бы сделал спарком, а так я всё таки двоеду всё до обновления

Nick
25.07.2017
14:40:09
я не хочу плакаться, но поплакался

Страница 22 из 182