он в этом плане точь-в-точь КликХаус - если вставлять поштучно давится мгновенно

я пробовал графитный их плагин, потому что писать свое сложно и требует довольно много времени

у меня в тысячи_процентов разница была между "поштучно" и "по 10к"))

графитный плагин очень плох, очень плох

для инфалкса есть го либа, где замутить батчинг оч легко

НО если данные идут неравномерно... да, увы, тут графита лучше

а если посекундно то инфлакс )

тоесть на 300G памяти 244к записи в секунду...

инфлюкс хорош ?

у меня сто тыясч записей/секунду на тазе пятилетней давности

на процессоре 35% одного ядра, SSD

кардинальность какая ?

маленькая, около 10 миллионов сущностей

по каждой - 10 метрик

тогда вопросов нет.

а если кардинальность большая это уже совершенно другая история :)

время старта сколько ?

я не мерил, честно говоря, при перезагрузке ни разу не замечали чтобы это было долго

на 10милионах она должна быть около 20 минут

без упора в какой либо ресурс в принцпе.

@pavel_odintsov давай продолжим на @metrics_ru

боюсь тут мы не по делу.

угумс) кончаю офтоп

у меня вопрос, на который я не нашел ответ в документации и в рассылке. Можно ли простым способом собрать конфигурацию при которой данные за последний месяц лежат на SSD, а всё что старше уходит на HDD? Куда погуглить, если этот вопрос уже обсуждался?

у меня вопрос, на который я не нашел ответ в документации и в рассылке. Можно ли простым способом собрать конфигурацию при которой данные за последний месяц лежат на SSD, а всё что старше уходит на HDD? Куда погуглить, если этот вопрос уже обсуждался?

bcache

т.е. вы советуете делать это не средствами БД, а средствами ОС?

средствами БД это делать лучшее и правильнее, но она пока не умеет

Алексей тоже про это говорит

В хк простого нет

сложный переностить руками партиции из одной базы/таблицы в другую

ага, разные таблицы и потом их мержить?

Сверху Merge таблицей обернуть

ага, это интересный вариант

т.е. new_sessions, old_sessions а сверху sessions = Merge(new_, old_

и самому раз в день руками копировать партицию с ssd на hdd, потом подключать к old_sessions и выдергивать из new_sessions

так?

В merge чуть другой формат, есть в доке

Переливать получиться корректно только месяцами

DETACH или FREEZE PATTITION переместить и ATTACH

ага, ну месяцы тоже ок

Прошу помощи, хочу к новому CH_GUI - добавить документацию по построению графиков с примером на основе открытых данных - чтобы пользователь смог сам воспроизвести все, т/к я далек от нормальных статей по data science, а гугл что то, тяжело помогает - все подсовывает "Ирисы". Может кто то, знает хороший набор данных к которому идет статья/книга типа: "вот тут мы построим" Scatter Matrix, а тут лучше использовать Treemap или Sankey,stacked area...

а их кх вообще данные нельзя никак удалять? Допустим у нас есть что то типа статистики и прилетело много данных, большая часть из которых оказалась например от ботов и эти данные не нужны, совсем, никогда. Можно как то такое вычистить?

перезалить в патрицию и подменить

DETACH или FREEZE PATTITION переместить и ATTACH

если я правильно понимаю, старые партиции можно перемещать на более медленные диски, а вместо них оставлять хардлинки. Для КХ такое перемещение должно быть незаметным и таблица будет выглядеть так же, как и раньше. Но при обращении к перемещнным месяцам скорость будет медленнее

хардлинки между дисками — это рейд. Вы наверное софтлинки имели ввиду?

плюс вопрос в том, не поломает ли разная скорость доступа к однородным данным саму базу

плюс вопрос в том, не поломает ли разная скорость доступа к однородным данным саму базу

Не поломает. При чтении из MergeTree сделано, что разные потоки читают следующие данные по мере возможности - то есть, разбиение работы по потокам происходит динамически.

вот это когда merge tree

Вот для Merge есть нюансы.

Там на каждую составляющую таблицу выдаётся часть потоков. И уже может быть неравномерная нагрузка.

Попробуйте поискать dataframe Титаника, он самый популярный из всех, примеров масса из визуализации вроде как

Прошу помощи, хочу к новому CH_GUI - добавить документацию по построению графиков с примером на основе открытых данных - чтобы пользователь смог сам воспроизвести все, т/к я далек от нормальных статей по data science, а гугл что то, тяжело помогает - все подсовывает "Ирисы". Может кто то, знает хороший набор данных к которому идет статья/книга типа: "вот тут мы построим" Scatter Matrix, а тут лучше использовать Treemap или Sankey,stacked area...

Там на каждую составляющую таблицу выдаётся часть потоков. И уже может быть неравномерная нагрузка.

так я имел ввиду что наверное можно ожидать проблему, если в одной таблице партиции обманным способом раскидать на разные диски?

так я имел ввиду что наверное можно ожидать проблему, если в одной таблице партиции обманным способом раскидать на разные диски?

При использовании одной таблицы, по равномерности нагрузки при чтении, проблем быть не должно. Могут быть такие проблемы: - при мерже кусков, результат будет создаваться в обычном месте; Также когда-то давно у нас был случай, что в одной инсталляции сделали симлинки и была проблема, что сервер отказывался удалять куски, которые были симлинками - но эту проблему исправили.

Попробуйте поискать dataframe Титаника, он самый популярный из всех, примеров масса из визуализации вроде как

Спасибо, натолкнули на правильное гугление) дополнительно попалась интересная книга "Data Visualisation with R: 100 Examples"

Там всякого разного, но в основном данных не так много, сейчас на kaggle идут соревнования разные и данных значительно больше, попробуйте их импортнуть

в примерах по ggplot2 обычно diamonds используется, в принципе для exploratory analytics в книгах по R есть и отсылки к их стандартынм датасетам, и картинки.

Спасибо тоже по гуглю ggplot Просто, проблема в том что если я зачитаюсь таких книг обновление еще задержится ))) И так 3и месяца "пелякаю" - в планах asap уложится за 2 недели и выкатиться ... видео пример на GEO данных https://monosnap.com/file/pU8NkmTDkfisakiGcavJoBznnAC18B

Вот и ищу облегчение себе задачи - найти сет и статью/книгу - чтобы можно было в документации сказать - вот тут почитайте -> вот так загрузите сет в CH -> вот так вы получите charts

Господа, я помню что дневные партиции были невозможны. но это было top of all feature requests. запилили ?

дневные партиции?

да

сейчас только месячные же

отсюда вопрос

а есть ли более-менее публичный road map?

на одном из митапов говорили про то что скоро запилят партиционирование по произвольному ключу

а есть ли более-менее публичный road map?

есть. постоянно озвучивают на митапах

ну на митапе я был (удаленно)

но какой-то листочек или документик - был бы кстати)

и еще не очень понятно максимальный уровень мерджа 9-ый ?

Хотеть нэтивный тип int128 :)

Что такое максимальный уровень мержа?

вижу директории заканчивающиеся на _X

вижу что optimize final делает Х=9

Ребят, а у всех прогрессбар в консоли обновляется?

а то у меня он просто добавляет копии строки в одну и ту же.

примерно так это выглядит

> @dudy_dud Ребят, а у всех прогрессбар в консоли обновляется? Даа, с прогрессбаром и правда есть такая проблема. Есть подозрение, что это так на Дебиане.

Или из-за кривого туннеля

Ну у меня Ubuntu 16.04.2 LTS, я думаю проблема где то в настройках терминала. Но TERM=xterm. В Яндексе вроде тоже повсеместно Ubuntu.

Как можно получить статистику запроса по памяти?

1. Включить query log. Например, прописать <log_queries>1</log_queries> в profiles/default в users.xml 2. Данные будут в столбце memory_usage таблицы system.query_log.

Круто! Большое спасибо. Просто натолкнулся на 208 issue. ))

здравствуйте. подскажите пожалуйста по обновлению CH, мне кажется я дико туплю: ставлю новую версию через apt-get install..., выдается clickhouse-server-common is already the newest version (1.1.54165)., перезапускаю CH, подключаюсь, делаю select version() в ответ 1.1.54164 . Может каки-то доп. шаги необходимы для обновления? OS: Ubuntu 16.04

+1 Точно такая же проблема

скорее всего все ок, просто мета-инфа о версии в пакете другая

По APT версия 1.1.54165, а изнутри 1.1.54164

https://github.com/yandex/ClickHouse/releases?after=v1.1.54170-testing

здесь вроде видно, что никаких изменений не было толком

Да вопрос скорее в том, на чьей стороне проблема. Не поменяли версию внутри самого CLickhouse или пакет поставился криво.

немного шатает систему сборки, несовпадение пока нормально

еще такой вопрос. Как быстро новые версии попадают в репу яндека после появления тега в гитхабе? Если предположить что никаких фатальных проблем при тестировании на метрике не произошло

После того, как версия выезжает на все прод сервера яндекса

Интересно, а что за сторадж юзает гугл под те же задачи?