Читая eng КХ чатик возник вопрос - я так понимаю что будет переделка вертикального алгоритма? Или это только касается того случая?

после перезапуска CH, таблица удалилась

но интересно что я мог сделать не так

Читая eng КХ чатик возник вопрос - я так понимаю что будет переделка вертикального алгоритма? Или это только касается того случая?

Тут речь идет о исправлении возможно присутсвующего в нем бага, вызывающего bad size of marks file.

Тут речь идет о исправлении возможно присутсвующего в нем бага, вызывающего bad size of marks file.

Да я понял. Поэтому и спросил. Так как смотря тот чат и этот можно проследить увеличение подобного рода ошибок.

Технически проблема не совсем в вертикальном алгоритме, а кое в чём рядом. Разбираемся. Надеюсь, удастся сделать фикс в течение пары дней.

Привет! А нет у кого-нибудь наработок по шедулеру поверх ClickHouse? Задача такая: в очередь задач CH поступает N рассчетных задач (текстовых запросов CH), все одновременно в CH не влезают по квоте. Нужно приоритезировать, отдавать статус, иметь возможность прийти и забрать результат (большой) по готовности. Python

что то я не могу понять в чём причина :) 1. Создаю таблицы CREATE TABLE wssg.sales_access_logs_local (Date Date, TimeStamp DateTime, HostName String, Method String, UriPath String, UriParam String, HttpStatus Int16, UpstreamTime Float32, RecieveBytes UInt64, UserId String, Ip String, SessionId String, AuthType String, AuthSource String, UserIpHash UInt64, UserUriPathHash UInt64, UserUriHash UInt64, UserUriIpHash UInt64, UserSessionHash UInt64, UserSessionIpHash UInt64, UserSessionUriPathHash UInt64, UserSessionUriHash UInt64, UserSessionUriIpHash UInt64) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{logsshard}/sales_access_logs', '{replica}', Date, (TimeStamp, UserId), 8192) CREATE TABLE wssg.sales_access_logs (Date Date, TimeStamp DateTime, HostName String, Method String, UriPath String, UriParam String, HttpStatus Int16, UpstreamTime Float32, RecieveBytes UInt64, UserId String, Ip String, SessionId String, AuthType String, AuthSource String, UserIpHash UInt64, UserUriPathHash UInt64, UserUriHash UInt64, UserUriIpHash UInt64, UserSessionHash UInt64, UserSessionIpHash UInt64, UserSessionUriPathHash UInt64, UserSessionUriHash UInt64, UserSessionUriIpHash UInt64) ENGINE = Distributed(logs, wssg, sales_access_logs, rand()); 2. начинаю писать в distributed таблицу wssg.sales_access_logs по 10к записей кликхаус возвращает 200 3. делаю запрос select count() from wssg.sales_access_logs получаю: Code: 202, e.displayText() = DB::Exception: Received from clickhouse5:9000, 192.168.231.6. DB::Exception: Received from clickhouse2:9000, 192.168.231.1. DB::Exception: Received from clickhouse5:9000, 192.168.231.6. DB::Exception: Received from clickhouse9:9000, 192.168.231.101. DB::Exception: Too much simultaneous queries. Maximum: 100. 4. вставка ломается 5. в процессах весит несколько строк вида 1 default 035982a2-a96a-4f21-ae43-b14bb58204ea ::ffff:192.168.231.106 53530 default 035982a2-a96a-4f21-ae43-b14bb58204ea ::ffff:192.168.231.106 53530 1 Clickhouse7.sys-msk.kontur-extern.ru ClickHouse Distributed_default@192%2E168%2E231%2E101:9000 1 1 54164 0 0.395845127 0 0 0 1 388 1146490 INSERT INTO wssg.sales_access_logs (Date, TimeStamp, HostName, Method, UriPath, UriParam, HttpStatus, UpstreamTime, RecieveBytes, UserId, Ip, SessionId, AuthType, AuthSource, UserIpHash, UserUriPathHash, UserUriHash, UserUriIpHash, UserSessionHash, UserSessionIpHash, UserSessionUriPathHash, UserSessionUriHash, UserSessionUriIpHash) FORMAT Values 6. запросы в другую таблицу на этом же кластере отрабатывают нормально

Привет! А нет у кого-нибудь наработок по шедулеру поверх ClickHouse? Задача такая: в очередь задач CH поступает N рассчетных задач (текстовых запросов CH), все одновременно в CH не влезают по квоте. Нужно приоритезировать, отдавать статус, иметь возможность прийти и забрать результат (большой) по готовности. Python

да тут сам по себе кликхаух не причем. Берите любую очередь и юзайте. Зачем уж из него комбайн то делать?

лог с одной из нод

да тут сам по себе кликхаух не причем. Берите любую очередь и юзайте. Зачем уж из него комбайн то делать?

Андрей, а можете накидать примеров? Я собственно и спрашиваю про надстройку поверх)

подскажите как выяснять причину?

Андрей, а можете накидать примеров? Я собственно и спрашиваю про надстройку поверх)

avtivemq, rabbitmq и практически любая mq с подержкой приоритетов

>2. начинаю писать в distributed таблицу wssg.sales_access_logs по 10к записей на всякий случай - 10к это очень мало. Лучше 100к - 1кк

В вашем кейсе (ключ шардирования rand()) я бы вообще не рекомендовал вставлять через Distrubuted таблицу, делайте вставку напрямую в таблицу с данными на случайной реплике

Когда Distubuted таблица отдаёт 200, это не значит что данные уже вставлены в таблицы с данными. Она сохраняет данные локально, а потом асинхронно пишет данные в реплики

Это и создаёт большое количество запросов

Это и создаёт большое количество запросов

Спасибо! Попробую

Привет. У нас в Медузе есть своя внутренняя статистика просмотров материалов. На каждый хит на клиентах мы делаем GET определенного урла. Хиты собираются в пачки и раз в пару минут инкрементят значения просмотров материалов в mysql табличке. Хитов около 60млн в месяц. Читаем из таблицы только для внутренней админки, как батч так и отдельные урлы. В батче максимум 100 урлов, максиммальный RPM = 3000 (30 пользователей внутреннней админки). Вопросы: 1) это нормальный юзкейс для кликхауса? 2) сколько нам железа потребуется?

3) на какой latency на чтение стоит рассчитывать?

Вам как раз summingmergetree подойдет )

А в админке просто данные выводите, без агрегации?

Ну т.е. цифорки

В общем это нормальный кейс для КХ и можно вполне хранить и каждый хит отдельно

60 млн записей в месяц - это очень мало, хватит одного сервера без шардов

Естественно лучше с репликами

Причем сервер то даже не особо такой лютый нужен. У меня по 232млн записей по лайку фильтрует за 1.066 sec. И это на виртуалке 4CPU/20Gb Ram

latency - надо смотреть на реальных запросах, порядок несколько сотен милисекунд

Привет. У нас в Медузе есть своя внутренняя статистика просмотров материалов. На каждый хит на клиентах мы делаем GET определенного урла. Хиты собираются в пачки и раз в пару минут инкрементят значения просмотров материалов в mysql табличке. Хитов около 60млн в месяц. Читаем из таблицы только для внутренней админки, как батч так и отдельные урлы. В батче максимум 100 урлов, максиммальный RPM = 3000 (30 пользователей внутреннней админки). Вопросы: 1) это нормальный юзкейс для кликхауса? 2) сколько нам железа потребуется?

похоже, что у вас первая стадия отсюда https://habrahabr.ru/company/yandex/blog/273305/ это нормальный кейс для кликхауса. А чем вас Метрика или Аналитикс не устроил?

Аналитикс задержка большая. Хочется отдельную простую систему, на случай непоняток

Причем сервер то даже не особо такой лютый нужен. У меня по 232млн записей по лайку фильтрует за 1.066 sec. И это на виртуалке 4CPU/20Gb Ram

Это один урл лайк за 1.066? А если несколько параллельно запросить? А батч?

Просто это сильно не несколько сотен миллисекунд

Это один урл лайк за 1.066? А если несколько параллельно запросить? А батч?

Да, это один like по string полю по таблице с 232млн записями. Но у меня это все на виртуалке. Да и кейс для CH наверное не самый типичный

Это один урл лайк за 1.066? А если несколько параллельно запросить? А батч?

А вы планируете делать лайки по урлам?

Это один урл лайк за 1.066? А если несколько параллельно запросить? А батч?

я сделал только что по метрике по некоторому новостному сайту запрос за топ-10 урлов, по 48М просмотров отрабатывает за 2-3с.

а под батчем вы что имеете в виду?

c sample 0.1 топ тот же, время 1с.

Добрый день! Появился вопрос по запросу. Подскажите, пожалуйста. Если я хочу сделать выборку количества событий клиентов в некотором диапазоне времени поминутно, я делаю такой запрос: SELECT toStartOfMinute(toDateTime(ts_start)) as time, uniqCombined(client_id) as clients, sum(sign) as events FROM events WHERE dt < toDate('2017-03-15 14:10:05') AND dt >= toDate('2017-03-14 14:10:05') GROUP BY time WITH TOTALS HAVING clients < 1000 ORDER BY time ASC Но проблема в том, что, если событий за какую-то из минут не было, то в данных будет пробел. А мне необходимо получить хотя бы нулевое значение за каждую из минут диапазона. Как закрыть эти пробелы в данных нулевыми stub-данными?

Такое вообще возможно в КХ или лучше делать постобработку на каком-то языке программирования?

можно сделать left join, можно сделать его потом руками.

А left join на что?

Если данных за какой-то диапазон нет совсем. А нужно получить там 0

возможно на что-то такое. SELECT arrayJoin(arrayMap(m -> (toStartOfMinute(toDateTime('2017-03-14 14:10:05')) + (m * 60)), range(1440))) AS m

точнее это должно быть слева.

а данные справа.

Аналитикс задержка большая. Хочется отдельную простую систему, на случай непоняток

А Метрика?

/stat@combot

combot.org/chat/-1001080295593

А Метрика?

Нужна простая как полено система, чтобы быть уверенным, как себя ведет основной показатель

combot.org/chat/-1001080295593

Всем привет. Подскажите, плиз, можно ли как-то штатными методами поменять формат вывода даты из 2017-03-03 18:00:00 в 03-03-2017 18:00:00+0300

Требуется из кликхауса сделать выгрузку конверсий в CVS и скормить ее adwords. Прогонять через скрипт\excel ради формата дат очень не хочется=(

select concat( toString(toDayOfMonth((toDateTime(concat(toString(eventDate),' ',toString(eventHour),':00:00'))+60*60))),'.', toString(toMonth((toDateTime(concat(toString(eventDate),' ',toString(eventHour),':00:00'))+60*60))),'.', toString(toYear((toDateTime(concat(toString(eventDate),' ',toString(eventHour),':00:00'))+60*60))),' ', toString(toHour((toDateTime(concat(toString(eventDate),' ',toString(eventHour),':00:00'))+60*60))),':', toString(toMinute((toDateTime(concat(toString(eventDate),' ',toString(eventHour),':00:00'))+60*60))),':', toString(toSecond((toDateTime(concat(toString(eventDate),' ',toString(eventHour),':00:00'))+60*60)))) from Stats Пока только так придумал

toString(eventHour) работает для 0-9?

См. фукнцию replaceRegexpOne, там есть пример.

Коллеги добрый день! Подскажите, пожалуйста, как починить DB::Exception: Database null doesn't exist, e.what() = DB::Exception

Привет, покажи запрос

случайно не через webgui ходишь?

select * from system.replication_queue

через него

/stat@combot

combot.org/chat/-1001080295593

попробуй выбрать слева базу, а потом запустить запрос. Ошибка говорит о том что не пришло имя базы/пришло имя null.

Перегрузил очередной раз клиент, сработало.

Спасибо

И еще вопрос, есть два инстанса в реплике после падения одного и восстановления получили Table is in readonly mode как починить подскажите?

И еще вопрос, есть два инстанса в реплике после падения одного и восстановления получили Table is in readonly mode как починить подскажите?

В конфигурационном файле нет ZK, либо в данный момент невозможно установить сессию с ZK. Посмотрите в логе по словам readonly или read-only.

Спасибо, clickhouse роняет ZK, причину пока не выяснили

А правильно (возможно) ли создавать MATERIALIZED VIEW на основе select с join, и вложенными select запросами, или только на основе одной таблицы ? Потому что после того как создаю, вставка в таблицы которые задействованные в запросе выдает ошибку (DB::Exception: Not found column value in block. There are only columns)

/stat@combot

combot.org/chat/-1001080295593

Доброго времени суток. Подскажите пожалуйста, где можно подробно почитать как настраивать CH с graphite. немогу понять к чему относяться вот эти параметры *regexp* и *function* <graphite_rollup_example> <pattern> <regexp>click_cost</regexp> <function>any</function> <retention> <age>0</age> <precision>3600</precision> </retention> <retention> <age>86400</age> <precision>60</precision> </retention> </pattern> Я добился того что кликхаус пишет в graphite, но как бы понять правильно ли он это делает.

что значит КХ с графит? Нужно что бы КХ отправлял свои метрики в графит?

Доброго времени суток. Подскажите пожалуйста, где можно подробно почитать как настраивать CH с graphite. немогу понять к чему относяться вот эти параметры *regexp* и *function* <graphite_rollup_example> <pattern> <regexp>click_cost</regexp> <function>any</function> <retention> <age>0</age> <precision>3600</precision> </retention> <retention> <age>86400</age> <precision>60</precision> </retention> </pattern> Я добился того что кликхаус пишет в graphite, но как бы понять правильно ли он это делает.

откройте графит эксплорер и посмотрите какие метрики в нем есть

что значит КХ с графит? Нужно что бы КХ отправлял свои метрики в графит?

Да

rollup это вообще для другого

Это для таблиц GraphiteMergeTree, которые нужны что бы использовать КХ как хранилище для графита

Что бы отправлять в графит достаточно примерно вот такого конфига <yandex> <use_graphite>true</use_graphite> <graphite> <host>127.0.0.1</host> <use_fqdn>true</use_fqdn> <port>42000</port> <root_path>one_min</root_path> <timeout>0.1</timeout> </graphite> </yandex>

метрики будут привезжать в root_path.имя_хоста.CLickHouse

ага. в графите я вижу вот такое

Да, всё верно

спасибо. буду теперь добавлять графики в графану.

к стати когда меняешь эти параметры <yandex> <use_graphite>true</use_graphite> <graphite> <host>127.0.0.1</host> <use_fqdn>true</use_fqdn> <port>42000</port> <root_path>one_min</root_path> <timeout>0.1</timeout> </graphite> </yandex> то приходится перезагружать службу КХ что зработало

Не все изменения применяются без рестарта

@milovidov_an Алексей, здравствуйте. Поясните, пожалуйста, такой момент. 1. создал две таблицы CREATE TABLE wssg.sales_access_logs_local (Date Date, TimeStamp DateTime, HostName String, Method String, UriPath String, UriParam String, HttpStatus Int16, UpstreamTime Float32, RecieveBytes UInt64, UserId String, Ip String, SessionId String, AuthType String, AuthSource String, UserIpHash UInt64, UserUriPathHash UInt64, UserUriHash UInt64, UserUriIpHash UInt64, UserSessionHash UInt64, UserSessionIpHash UInt64, UserSessionUriPathHash UInt64, UserSessionUriHash UInt64, UserSessionUriIpHash UInt64) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{logsshard}/sales_access_logs', '{replica}', Date, (TimeStamp, UserId), 8192) CREATE TABLE wssg.sales_access_logs (Date Date, TimeStamp DateTime, HostName String, Method String, UriPath String, UriParam String, HttpStatus Int16, UpstreamTime Float32, RecieveBytes UInt64, UserId String, Ip String, SessionId String, AuthType String, AuthSource String, UserIpHash UInt64, UserUriPathHash UInt64, UserUriHash UInt64, UserUriIpHash UInt64, UserSessionHash UInt64, UserSessionIpHash UInt64, UserSessionUriPathHash UInt64, UserSessionUriHash UInt64, UserSessionUriIpHash UInt64) ENGINE = Distributed(logs, wssg, sales_access_logs, rand()); 2. начал писать в Distributed таблицу и select из неё же, появились ошибки, что типа привышен лимит одновременных запросов. В списке процессов были вставки в Distributed таблицу. 3. мне подсказали, что лучше вставлять в локальные таблицы. 4. решил удалить созданные талицы. Локальные удалились нормально, а вот Distributed только после перезапуска нод clickhouse. После этого в списке процессов было пусто. 5. создал снова таблицы. сделал show processlist, и там опять вставка в Distributed таблицу. что то я не понимаю как работает система :) Расскажите, пожалуйста.

*после 4-го пункта я не запускал запись

А разве можно так создавать распределенную таблицу? CREATE TABLE ontime_all AS ontime_local ENGINE = Distributed(perftest_3shards_1replicas, default, ontime_local, rand()); пример с хабра. А чем вы инсертите данные?

По http, .net клиентом

У меня таким же образом заливается другая таблица, все норм

меня больше удивляет от куда взялись запросы на вставку после пересоздания. Может какой то oplog надо почистить