
Grigory
22.07.2017
06:33:56
боюсь меня бы забанили если б я это написал

Nick
22.07.2017
06:34:42
Дык есть лс

Grigory
22.07.2017
06:35:25
та не не я; тебя банить это как забанить душу чата

Nick
22.07.2017
06:38:32
Ну в прожвм я то не душа

Google

Nick
22.07.2017
06:38:34
Лол
Там есть гуга

?Ivan
25.07.2017
07:22:44
@pomadchin @krivdaallstarts

Grigory
25.07.2017
07:23:25
Спасибо!

Nick
25.07.2017
07:45:34
Насыщенный диалог)

Grigory
25.07.2017
07:53:10
Конечно
надо придумать с этими ботами что-то

Nick
25.07.2017
07:58:43
Зови в чат по приглашениям
Для избранных
Ну или /report

Daniel
25.07.2017
08:01:10

Grigory
25.07.2017
08:01:38
обычный воут?

Google

Daniel
25.07.2017
08:02:26
это будет бот
вариантов 2
1. Он будет тыкать админов сам, когда спам придет
2. выдать ему права, чтобы он удалял

Grigory
25.07.2017
08:02:47
а как различать будет спам?
по ключевым словам / ссылкам / текст тональности n?

Nick
25.07.2017
08:03:21

Daniel
25.07.2017
08:03:32
спам в телеге пока очень тупой
будет трекер количества сообщений у пользователей, и если в первом же сообщении есть линк на другой канал/группу, то спам
но надо будет придусмотреть расширяемость правил

Grigory
25.07.2017
08:04:57
ясно, хорошая идея

Daniel
25.07.2017
08:05:36
хотел сначала на расте, но задолбало вручную протокол описывать
взялся за скалку)

Nick
25.07.2017
08:05:54

Grigory
25.07.2017
08:06:04
шарить базу сообщений

Nick
25.07.2017
08:07:04
Нужен Спарк и хадуп

Daniel
25.07.2017
08:08:06
шарить базу сообщений
да можно, но это следующий шаг
вопрос еще куда задеплоить, не хочется ради тупого бота в ДО виртуалку поднимать)

Nick
25.07.2017
08:08:50
Найдём)

KrivdaTheTriewe
25.07.2017
09:40:54

Daniel
25.07.2017
09:41:18
посмотрю

Grigory
25.07.2017
09:41:19
до дешевле будет (?)

KrivdaTheTriewe
25.07.2017
09:41:40

Grigory
25.07.2017
09:42:26
750 часов которых
мм я и забыл

Google

Grigory
25.07.2017
09:42:57
но это на год только
да и за лимиты если уползти по ресурсам тоже платить над

Nick
25.07.2017
09:46:10

KrivdaTheTriewe
25.07.2017
11:54:51
сейчас будет глупый вопрос
Есть кафка топик , туда льется протобаф, есть ли сейчас способы лучше складывать это всё партицированно в хдфс, отдельной спарк джобы или флюма ?
кафка старая

Andrey
25.07.2017
11:57:21
я бы nifi посмотрел

KrivdaTheTriewe
25.07.2017
11:58:13
партицировать нужно по внутреннему протобаф полю, так к слову

Andrey
25.07.2017
11:58:17
не знаю как она с кафкой работает, но у нас данные прилетают на сетевой порт, nifi их мержит по 100 МБ, жмет в snappy и кладет на hdfs

KrivdaTheTriewe
25.07.2017
12:00:34
Ладно, пока не горит, может попробую выбить обновление

Nick
25.07.2017
12:03:49

Andrey
25.07.2017
13:44:13
вроде так то оптимальный вариант, особенно если надо еще данные почистить/помодифицировать перед записью

KrivdaTheTriewe
25.07.2017
13:48:53
пока старая версия спарка только мешает

Grigory
25.07.2017
13:57:44
а слушай, если не нда; каикие сложноти в настоящий момнт мешают переезду на спарк 2? @krivdaallstarts

Kirill
25.07.2017
14:01:27

Daniel
25.07.2017
14:02:39
в телеграмме боты не могут общаться друг с другом, поэтому не прокатит (симулировать пользака на левом номере мне не хочется)

KrivdaTheTriewe
25.07.2017
14:03:14

Google

KrivdaTheTriewe
25.07.2017
14:03:38
ничто не мешает на мастерноде запустить спарк два , но проблема в том, что я только этим смогу пользоваться

Grigory
25.07.2017
14:04:12
а на aws не хочешь уйти?

Daniel
25.07.2017
14:04:25
завязка на клаудеру
у нас админы на тачках для запуска/отладки настраивают окружение и просто переключают на то что захочешь

KrivdaTheTriewe
25.07.2017
14:04:57
а на aws не хочешь уйти?
есть инфраструктура, есть данные и кластер, нужно сначала все обновить, потом можно кластер обновить

Grigory
25.07.2017
14:05:11
ясно; в человекочасы упирается все

Daniel
25.07.2017
14:05:25

Andrew
25.07.2017
14:05:37

Grigory
25.07.2017
14:05:38
прост EMR?

KrivdaTheTriewe
25.07.2017
14:06:02

Grigory
25.07.2017
14:06:37
ленивый кривда

Daniel
25.07.2017
14:08:35
один из админов нам для флинка настроил автодеплой с перезапусками на башевском скрипте
проверяет раз в 5минут что все добавленные в папочку джобы запущены, если нет, то перезапускает =)
версию флинка правда руками менять надо

KrivdaTheTriewe
25.07.2017
14:12:04
я не хочу плакаться, но если бы была возможность всё просто сделать спарком, я бы сделал спарком, а так я всё таки двоеду всё до обновления

Nick
25.07.2017
14:40:09
я не хочу плакаться, но поплакался

KrivdaTheTriewe
25.07.2017
14:59:25