Теория DWH вообще не сильно меняется, так что действительно ничего страшного.

главный плюс - гораздо меньше боли при развитии... когда новые сущности появляются и требования к пользе от DWH

Ну Тинькофф вовсе про даталейк пишет

Мол классика не нужна

значит правильно путаю

там она тоже есть, в их lake, зачем от нее отказываться ) субд и DW на их базе много где есть применение

Обычно пишут, что data lake в довесок к DWH, а не вместо. Типа грузим данные как они есть в источниках, а потом on-read создаём структура.

Вот только сам гугл от которого пошла идея Map reduce и иже с ним всё равно к реляционным бд вернулся. Так что никуда DWH не денется в ближайшее время)

коллеги, правильно ли я понимаю что даталейк это в переводе на русский - свалка?

ну с key-value базами в основном

datalake - это мечта реальность - databog даталейк не говорит о технической имплементации, только о концепции на чем будет сделано - up to you

++

по мне data lake - храним и накапливаем все что можем в родном формате и в сыром виде... а далее то что надо - в DWH

если что и за прошлые периоды вытащим

@optician_owl спасибо

@optician_owl спасибо

@pomadchin @krivdaallstarts clean time

Бот тоже еще не идеален) обращение в начале фразы почти всегда ведёт к алерту

Спасибо ребят)

you are welcome to make pullrequests))

или хотя б ишью

а дайте ссылку на бота

покидаю ишшу покрайней мере

https://github.com/optician в гитхаб профиле

Ну чтоб не спамить ссылкой прямой

Уменьшил границу с 10 до 3 первых сообщений, которые проверяет бот у незнакомых ему. Через час обновлю. У него теперь относительно устойчивая локация деплоя и сбрасывать базу не буду больше. Должно стать получше в перспективе. В выхи сделаю небольшой рефакторинг и опишу схему работы, чтобы желающим проще было доработки делать.

Уменьшил границу с 10 до 3 первых сообщений, которые проверяет бот у незнакомых ему. Через час обновлю. У него теперь относительно устойчивая локация деплоя и сбрасывать базу не буду больше. Должно стать получше в перспективе. В выхи сделаю небольшой рефакторинг и опишу схему работы, чтобы желающим проще было доработки делать.

вопрос идеологический , счётчик сообщений мутабельным полем не станет ?

не понял вопрос, там стейт (монада), который сохраняется в базу

обмазался котами)

не понял вопрос, там стейт (монада), который сохраняется в базу

https://github.com/optician/Telegram-Silencer/blob/master/src/main/scala/me/optician_owl/silencer/model/UserStats.scala#L16

https://github.com/optician/Telegram-Silencer/blob/master/src/main/scala/me/optician_owl/silencer/model/UserStats.scala#L16

и до сих пор не пойму, ты предлагаешь его мутабельным сделать или что?

и до сих пор не пойму, ты предлагаешь его мутабельным сделать или что?

вообще предлагаю, но это наверное, меня мысль о том, что аллокация на каждое новое сообщение происходит коробит

бот пока только в одном реальном чате находится, тут о перформансе думать вообще не надо)

вообще предлагаю, но это наверное, меня мысль о том, что аллокация на каждое новое сообщение происходит коробит

можно подумать мы пишем по 1миллиону сообщений в секунду

это же чат про хадуп, по другому и быть не может

надо запилить кафка коннектор для телеграмма

а кто-то юзал https://phoenix.apache.org/salted.html ?

боту надо ещё учиться :)

пиши чаще, научится)

@optician_owl пишу чаще , а он всё равно!

сейчас же не ругнулся

@_@

и правда не ругнулся

:)

а это и не ссылка)

@tenKe

с утра он ругался

на вот это @_@

а точно, здесь я не выпиливал старый механизм, потому что не ясно пока как отличать людей от каналов

а телеграм не отдает тип?

он же в глобал поиске показывает, что @hadoopusers это канал)

у него есть поле в теле сообщений, где он указывает ссылки внешние и свои и это точно те ссылки, который будут отрисованы в клиенте как ссылки но вот для собственных там нет разделения, возможно в других полях или другим методом можно получить, я еще не разбирался

а было такое у кого, что после включения ттл и снаппи по hbase таблице начиналось медленное очен читать первые записи из таблицы

мердж регионов может спасти?

приложи хотя бы фотографию серверов, нужен какой-то предмет связанный с больным, чтобы почуствовать его энергетику