и нет людей, как я выше писал, т.к. для работы с кликхаус надо обучаться

https://events.yandex.ru/events/yagosti/21-november-2016/

Да, спасибо за ссылку

Приходите на митап!

Кстати, кто знает про success stories внедрения кликхауса - делитесь ссылками (помимо Я конечно), типа такого http://www.highload.ru/2016/abstracts/2297.html

Вот

https://habrahabr.ru/company/smi2/blog/314558/

И ещё интересно: https://habrahabr.ru/post/304602/

Кстати, кто знает про success stories внедрения кликхауса - делитесь ссылками (помимо Я конечно), типа такого http://www.highload.ru/2016/abstracts/2297.html

Вот поэтому выступлению я как раз и понял, что продукт совсем не очевиден...

Мой доклад про здоровье маркета с КХ под капотом https://events.yandex.ru/lib/talks/3715/

Вот поэтому выступлению я как раз и понял, что продукт совсем не очевиден...

прелесть в том, что КХ опенсорс и своим PR'ом можно сделать очевиднее :)

нее ребят вы явно из разных весовых категорий :)

прелесть в том, что КХ опенсорс и своим PR'ом можно сделать очевиднее :)

я не спорю, это очень большой плюс, но как я уже говорил, из-за специфики SQL и прочего, придется тратиться на другие вещи...

да и если вспомнить доклад у лайфстрит, там проскочила фраза, что на кликхаус тратилось на 20% больше места, пускай и с поправкой, что там можно в конфиге прописать параметры сжатия для древних записей

Владислав, вопрос не в том куда нельзя применить кликхаус, вопрос в том куда можно :)

и где от него будет проку прям щас

да ??

Владислав, вопрос не в том куда нельзя применить кликхаус, вопрос в том куда можно :)

ну я вот и спрашиваю, куда можно? я вижу только логи серверов и сбор данных с сайтов... Я не вижу, как можно применять подобную аналитику, например, в продажах...

получится заюзать его прям из докер образа - супер. надо будет впилит ьпару функций ну.... ок. надо будет дописать 100500 строк уже хуже.

facepalm

не очень я понимаю в продажах.

там обычно точные цифры нужны

очень

но бывает что нужны менее точные цифры быстро.

туда и применяйте

ну я вот и спрашиваю, куда можно? я вижу только логи серверов и сбор данных с сайтов... Я не вижу, как можно применять подобную аналитику, например, в продажах...

да банально тренды считать и следить, чтобы не падали

да банально тренды считать и следить, чтобы не падали

невыгодно

как быстро бизнес-модель посчиталась

вот есть икея

у икеи есть такая штука, как ожидание количества товара в нужный момент в нужном магазине

невыгодно

есть экселька с расчетом :) ?

вот икея мне кажется весьма подходящим вариантом, и, более того, они могут сэкономить, взяв OSS-продукт и пару разработчиков на интеграцию

там обычно точные цифры нужны

а кликхаус не умеет в точность? о_0 мне казалось, "приблизительность" была заявлена как доп опция, а не замена "точности"...

есть экселька с расчетом :) ?

она нужна? мне кажется внедрять новый продукт стоит дороже, чем использовать текущий...

она нужна? мне кажется внедрять новый продукт стоит дороже, чем использовать текущий...

хз хз хз

можно озвучить пример, когда внедрение оправдывается?

давайте от обратного :) какой у вас кейс

а кликхаус не умеет в точность? о_0 мне казалось, "приблизительность" была заявлена как доп опция, а не замена "точности"...

Конечно умеет. Все основные функции всегда делают точные вычисления (если не указано использовать семплирование)

а то чо то как то ни о чем разговор

ну например, множество источников данных, начиная от энтерпрайз БД, заканчивая файликами, необходима отчетность и аналитика

Всем привет!

и да, масштабы поступления новых данных гораздо ниже, чем у лайфстрит

Все те же лица что pgsql чате :)

юзкейс по типу метрики, рекламных юзеров собирать и показы, данные актуальны пару недель

Все те же лица что pgsql чате :)

ты так говоришь, будто это что-то плохое :D

ты так говоришь, будто это что-то плохое :D

ни в коем случае :)

Все те же лица что pgsql чате :)

Ну не только я работаю в рекламной платформе же )

юзкейс по типу метрики, рекламных юзеров собирать и показы, данные актуальны пару недель

Именно так.

Жаль что у нас пока на хадупе это делают ибо пока такого же сообщества нет

У нас тоже хадуповая реализация есть, но КХ ее убил. Весь R&D переключился на КХ.

А как получилось убить ? а то у нас всякий спарк стриминг и прочие джобы прикручивают

У нас очень плохо реализован data flow, и почти нет event-ориентированной архитектуры.

Поэтому КХ попал точно в цель

Жаль что у нас пока на хадупе это делают ибо пока такого же сообщества нет

этому сообществу 2 часа.

завести другое по всяким хадупам нет проблемы

я про сообщество в смысле коммунити и прочий стековерфлоу

Если в базу залить нетфлоу, то получится сделать выборку их бд что-то вроде такого: хост; все его порты на которые были обращения за месяц; сгруппированные по сетям потребители?

вопрос в функции агрегации сетей видимо

"по сетям" - это по чему?

Да. Пусть даже в каком-то ipam есть уже эти префиксы

Если в базу залить нетфлоу, то получится сделать выборку их бд что-то вроде такого: хост; все его порты на которые были обращения за месяц; сгруппированные по сетям потребители?

Да, причем можно даже в реальном времени

Есть хосты. Надо увязать с подсетями из списка

Есть хосты. Надо увязать с подсетями из списка

выглядит как задача для словаря, но не уверен что range_hashed для этого сейчас приспособлен.

Зачем оно нужно?

Есть старый пакет flow-tools со своим коллектором и reportами. Очень медленно и неудобно.

Анализ флуда, вирусни, аудит для внедрения межсетевых экранов, например

Зачем оно нужно?

изначально создавалось для аналитики, но область применения каждый определяет для себя сам с учётом его преимуществ и недостатков

Хм, а карту построить можно?

Географическую? =)

Нет, тепловую