Eduard
10.11.2016
13:04:10
рпс - сколько сможет сгенерить один человек :)
ну несколько раз в день
Виктор
10.11.2016
13:04:21
А читается сколько данных?
Какой объем
Google
Eduard
10.11.2016
13:04:32
несколько мегабайт
Виктор
10.11.2016
13:04:38
А, ну взлетит конечно.
Особенно если по индексу получится
Eduard
10.11.2016
13:04:46
чтобы не быть голословным, данные - netflow
Виктор
10.11.2016
13:04:54
Ага. Должно заработать без проблем
Попробуйте семпл загрузить гигабайт на 100 например
Eduard
10.11.2016
13:05:13
спасибо, как раз собираюсь
Dmitriy
10.11.2016
13:05:25
А поделитесь ссылкой на описание протокола?
Виктор
10.11.2016
13:05:26
Тут с индексом основной вопрос
Dmitriy
10.11.2016
13:05:36
Порисую бенчмарки на досуге.
Виктор
10.11.2016
13:06:22
Протокол? http?
Dmitriy
10.11.2016
13:06:31
Ага. А под ним?
Виктор
10.11.2016
13:06:37
https://clickhouse.yandex/reference_en.html#HTTP%20interface
Google
Виктор
10.11.2016
13:06:42
Вот тут дока
Dmitriy
10.11.2016
13:07:05
Ага, спасибо!
Виктор
10.11.2016
13:07:28
Под HTTP TCP =)
Не очень понял вопроса
Dmitriy
10.11.2016
13:07:57
То есть над. Список параметров спрашивал (уже вижу). :)
Виктор
10.11.2016
13:08:47
Можно реализацию готовую посмотреть
https://github.com/Infinidat/infi.clickhouse_orm/tree/develop/src/infi/clickhouse_orm
Dmitriy
10.11.2016
13:13:30
Алексей
10.11.2016
13:13:33
А хз. На netflow оно едет гораздо дальше и быстрее чем оригинальный nfcap который под это заточен
хотя я всерьез думаю - не попробовать ли складывать туда syslog
я тестил. см выше. 10кратная экономия места по сравнению с nfcap
возможности аналитики - просто несравнимы
841гиг нетфлова а не 31 :)
исходная выборка - за одни сутки. нарезка 10-минутными интервалами
Eduard
10.11.2016
13:14:02
Виктор, а с удалением данных как дела обстоят? В целях освобождения места.
Dmitriy
10.11.2016
13:14:09
https://github.com/mailru/nosql-benchmark - хочу сюда бенчмарк добавить.
Алексей
10.11.2016
13:14:39
Эдик почти твоя тема
Eduard
10.11.2016
13:14:45
Т.е. старый netflow нас не интересует, через 3 года его можно удалить.
Vladimir
10.11.2016
13:14:58
@the_real_jkee а есть part2 доклада? )
Eduard
10.11.2016
13:15:02
Леха, спасибо, да.
Google
Vladimir
10.11.2016
13:15:03
или там part1 просто так?
Виктор
10.11.2016
13:15:22
Часть 2 там где-то вроде есть, но не факт
Там вроде только вопросы не влезли
Vladimir
10.11.2016
13:15:44
ну так самое интересное ж)
Виктор
10.11.2016
13:15:51
Удаление так: можно по месяцам, можно через collapsedmergetree
Подробнее мы постараемся написать в блоге, когда будет блог
Vladimir
10.11.2016
13:16:12
и ты говорил что там следующий доклад - а он где? )
Eduard
10.11.2016
13:16:14
По месяцам заедет, да.
Спасибо.
Виктор
10.11.2016
13:16:20
Тогда
Drop partition
Eduard
10.11.2016
13:17:32
Партиции по нодам разбросаны?
Алексей
10.11.2016
13:17:51
ага да
позырь оба доклада
но в вашей схеме все будет не просто...
винты отдельно же
Eduard
10.11.2016
13:18:10
так я зырил, но видать не все уловил :)
Меня Антропов заверли что железо найдется :)
Vladislav
10.11.2016
13:22:14
Там вроде только вопросы не влезли
а в вопросах по сути самое интересное...
по факту, пока кроме складирования логов и записи событий с сайтов юзкейс кликхаус не очевиден, а перспективе даже не особо выгоден, несмотря на опэнсорс...
Admin
Google
Алексей
10.11.2016
13:23:51
аналитика же
Vladislav
10.11.2016
13:24:25
у вертики в разы больше преимуществ, начиная от нормальной поддержки SQL и заканчивая другими вещами
тогда как у кликхаус есть аналитика, но нет стандарта общения, а потому есть дока, а следовательно надо учить людей, тратить время и деньги
Виктор
10.11.2016
13:26:18
Пожалуй, не буду с вами устраивать здесь жаркие споры.
Vladislav
10.11.2016
13:26:28
не, я не устраиваю спор
Виктор
10.11.2016
13:26:35
Вертика - хорошее решение, если есть на неё деньги.
Eduard
10.11.2016
13:26:39
+
Виктор
10.11.2016
13:26:44
На петабайты она стоит космос
Vladislav
10.11.2016
13:26:49
просто приведите реальные юзкейсы, которые могли бы выйти за пределы IT-компаний
Виктор
10.11.2016
13:27:13
Аналитика, все тоже самое.
Сейчас любая компания на сколько-то IT
Алексей
10.11.2016
13:27:42
есть компании которые не знают как применить it
Vladislav
10.11.2016
13:28:24
понятно
Виктор
10.11.2016
13:28:53
И сейчас кликхаус действительно не для них.
Это не сервис, это скорее кубик
Vladislav
10.11.2016
13:28:57
Т.е. компании по продаже печенек ставить кликхаус нет смысла
Виктор
10.11.2016
13:29:16
Ну только если петабайты печенек :)
Darafei
10.11.2016
13:29:25
он будет у них внутри кассового аппарата, и они не должны об этом даже знать
Алексей
10.11.2016
13:29:29
Google
Fike
10.11.2016
13:29:37
Я пока слабо представляю сам кликхаус как продукт, но меня он сейчас интересует в разрезе сбора аналитики по нашим звонкам, потому что по воле звезд мы сидим на мускуле, в который запихнут event sourcing, и прямо там это дело немного сложно собирать.
Алексей
10.11.2016
13:29:52
в реалмайме и аналитика выхода из сторя конвеера :)
Vladislav
10.11.2016
13:30:11
сбор информации с конвеера и складов
не очевидна и требует крупных вложений для не IT-компаний, т.к. необходима разработка. Инстурментов для ETL для кликхаус на текущий момент нет как класс...
Алексей
10.11.2016
13:30:34
сейчас для early adopters
Vladislav
10.11.2016
13:31:13
#некоробка
и нет людей, как я выше писал, т.к. для работы с кликхаус надо обучаться