Кстати о презентации, есть запись?

Кстати о презентации. Есть новости про CH хакатон?

Записи, как я понял, будут за деньги :( Ну и может быть, через некоторое время бесплатно.

конференции с платным видео

у меня в голове не укладываются такие вещи :/

Бывают такие странные люди которые считают что конференции могут быть прибыльными и даже кормить организатора

Бывают такие странные люди которые считают что конференции могут быть прибыльными и даже кормить организатора

а простите, как оно должно быть по-другому? =)

это офтоп здесь

есть множество конференций таких как NANOG, RIPE, ENOG, DNS OARC, которые ставят во главу угла все же распространение знаний, а не бабло :)

а простите, как оно должно быть по-другому? =)

на самоокупаемости и волоентерах, иначе оно превратится в рекламу продуктов от спонсоров

Записи, как я понял, будут за деньги :( Ну и может быть, через некоторое время бесплатно.

Учитывая что Алексей говорил про идеи для хакатона и прочее - ребята, простите, но кто же будет потом в этом безобразие участвовать?)

Учитывая что Алексей говорил про идеи для хакатона и прочее - ребята, простите, но кто же будет потом в этом безобразие участвовать?)

Речь не про хакатон, а про конференцию РИТ++

На которой я рассказал про архитектуру ClickHouse и выложил сегодня презентацию :)

Про хакатон у меня нет информации

Речь не про хакатон, а про конференцию РИТ++

понятно. Тут тоже неоднозначно то всё.

Иногда (в очень редких а порой в очень очень редких случаях) презентации могут как то быть такими же полезными как и само выступление.Поэтому презентация без выступления это как туманный альбион без тумана)

конференции с платным видео

? ни разу не встречал такое за 10+ лет работы в IT

ооо, Илья, такие люди) привет со СГАУ))

Поясните, pls : доках написано, что в таблицы с движком ENGINE=SET можно добавлять данные через INSERT. А если надо удалить ненужный элемент из множества? Только через DROP TABLE ? И вопрос вдогонку: каковы практические ограничения/рекомендации на размеры SET таблиц?

? ни разу не встречал такое за 10+ лет работы в IT

//оффтоп Highload - первое, что сразу вспоминается

Вечер добрый всем. А можно ли как-то прочитать данные из таблицы "задом-наперед". Хочется отобразить live feed, чтобы последние записи появлялись вверху. Если делать так: select date, event from events where date > '2017-06-01' order by date DESC limit 15 то CH читает все данные с указанной даты, затем делает сортировку по дате в обратном порядке. Получается, вместо того, чтобы прочитать последние 15 записей, мы читаем все с заданной даты, и этих данных может быть очень много. Кто как решает подобные задачи?

за КХ не скажу, но вот так, как вы описали, поступает мускль, а постгрес читает по индексу на date назад и как правило с первого блока набирает первую страницу

//оффтоп Highload - первое, что сразу вспоминается

Так про него и была речь

Ребята, такой вопрос. Что будет, если писать в Date поле случайные равномерно распределенные числа? Не спрашивайте зачем :)

ну, можно проверить будет либо 0000-00-00, либо нормльная дата

toDate(rand()): 2014-12-26 toDate(0): 0000-00-00 toDate(1): 1970-01-02 toDate(23011): 2033-01-01 toDate(65535): 0000-00-00

Имею в виду то самое date поле в движке MergeTree. Какое будет поведение кликхауса в этом случае, в плане хранения данных, индексации и поиска.

ну можно же проверить легко

CREATE TABLE datetest (date Date, s String) ENGINE=MergeTree(date, (date, s), 8192); INSERT INTO datetest VALUES (0, '0'), (1, '1'), (10000, '10000'), (23011, '23011'), (65535, '65535'), (99999999999, '99999999999'); SELECT * FROM datetest; SELECT partition, name, active, table, min_date, max_date FROM system.parts WHERE table = 'datetest';

Всё будет плохо - данные попадут в разные месяца, а значит в разные партиции. Мержиться ничего не будет, и селекты будут тормозить.

А всё-таки, зачем? :)

Всё будет плохо - данные попадут в разные месяца, а значит в разные партиции. Мержиться ничего не будет, и селекты будут тормозить.

смотря в каком диапазоне числа еще, есть вероятность падать в одну партицию 197001 %)

Это да

Если я скажу, вы мне все равно не поверите:) Я же правильно понимаю, что все будет ок для случая, когда мы заранее знаем конкретный месяц и не выбираем данные, попадающие в 2 месяца сразу?

эээ.. а чего хочется добиться-то в итоге?

типа, собственное партицирование по фейковым месяцам?

Да

чтобы селекты не запрашивали две партиции?

а :)

ну да, это должно работать норм, если вам так будет удобно

данные, попадающие в два месяца сразу? оО

там вроде к концу года обещали сделать произвольное партицирование

Имеллсь в виду,что не запрашиваем данные из нескольких месяцев сразу :)

Спасибо огромное! Попробуем

И еще +1 к легиону ждунов произвольного партиционирования

Привет! А какой самый правильный способ скопировать таблицу из одного кластера в другой, если нет доступа до диска серверов, чисто по http api? Видимо CREATE TABLE table AS SELECT * from remote('address', db.table) ?

Синтаксис чуть-чуть другой CREATE TABLE table engine = Engine AS SELECT * from remote('host', 'db', 'table', 'login', 'password')

как лучше расследовать если query стали выполняться в разы медленнее?

такое ощущение что кардинально поменялся характер нагрузки, но отдельные query я еще не сравнивал

SELECT count(), avg(query_duration_ms), avg(read_rows), avg(memory_usage) FROM system.query_log WHERE (event_date = today()) AND (type = 2) ┌─count()─┬─avg(query_duration_ms)─┬────avg(read_rows)─┬─avg(memory_usage)─┐ │ 58430 │ 600.8495635803525 │ 1666922.955279822 │ 94408267.76395687 │ └─────────┴────────────────────────┴───────────────────┴───────────────────┘

вчера

SELECT count(), avg(query_duration_ms), avg(read_rows), avg(memory_usage) FROM system.query_log WHERE (event_date = yesterday()) AND (type = 2) ┌─count()─┬─avg(query_duration_ms)─┬────avg(read_rows)─┬─avg(memory_usage)─┐ │ 58577 │ 27.065093808149957 │ 57156.20260511805 │ 73023700.41504344 │ └─────────┴────────────────────────┴───────────────────┴───────────────────┘

Если ничего не поможет, то могу поискать у нас в вики инструкции, как узнать, что в vfs кеше

такое ощущение что кардинально поменялся характер нагрузки, но отдельные query я еще не сравнивал

Я думаю одни из первых вопросов которые тут зададут - версия кх и сколько кусков не смержено?

198, как узнать сколько кусков? Мержи в это время уже не шли

198, как узнать сколько кусков? Мержи в это время уже не шли

Может стоит обновиться до последнего стейбла и сделать оптимайз?

198, как узнать сколько кусков? Мержи в это время уже не шли

Там что то про https://clickhouse.yandex/reference_en.html#system.merges

https://clickhouse.yandex/reference_en.html#system.parts

Второе про куски, первое про мержи которые идут

@miptgirl спам ^

Возможно ли в запросе сделать разделителем десятичного числа вместо точки запятой?

Там вроде были функции для работы с регулярками

Возможно ли в запросе сделать разделителем десятичного числа вместо точки запятой?

replaceRegexpOne можно использовать и регулярку типа /(\d)(?=(\d\d\d)+([^\d]|$))/ в качестве замены например "$1 "

Сам не пробовал, это чисто предположение

Что-то я не понимаю: это баг или фича? Есть 2 таблицы - одна обычная, другая с движком Set: USE proba SHOW CREATE TABLE set_1 CREATE TABLE proba.set_1 ( d UInt32, i UInt32) ENGINE = Set SHOW CREATE TABLE test CREATE TABLE proba.test ( dev UInt32, idx UInt32) ENGINE = Memory Такая выборка работает: SELECT * FROM test WHERE (dev,idx) IN set_1 FORMAT CSV 1,11 А эта вылетает: SELECT * FROM test where (dev,idx) IN proba.set_1 FORMAT CSV Received exception from server: Code: 60. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Table proba.proba.set_1 doesn't exist.. Почему имя базы лишний раз дописывается? Вроде же синтаксис для имён таблиц такой: [db.]name Или есть ньюансы?

Возможно проще преобразовать разделитель, не приводя float к строке? SELECT replaceRegexpOne(toString(toFloat32(12.1)), '(\\d+)\\.(\\d+)', '\\1,\\2') AS number

Может стоит обновиться до последнего стейбла и сделать оптимайз?

мержей активных нет, количество кусков для каждого месяца - 4-14 штук. оптимайз части таблиц я сделал для предыдущих месяцев

мержей активных нет, количество кусков для каждого месяца - 4-14 штук. оптимайз части таблиц я сделал для предыдущих месяцев

просто первая идея которая лезет в голову - что что-то пошло не так с мержем последних кусков и их слишком много

да, я это понимаю. сегодня если повторится - буду анализировать изменились ли запросы. хотя не должны

да, я это понимаю. сегодня если повторится - буду анализировать изменились ли запросы. хотя не должны

а сейчас скорость нормализировалась?

пока что нет особой нагрузки.

Возможно проще преобразовать разделитель, не приводя float к строке? SELECT replaceRegexpOne(toString(toFloat32(12.1)), '(\\d+)\\.(\\d+)', '\\1,\\2') AS number

Думаю нет :) Все таки разделить на разряды - это строка получится в любом случае. Clickhouse строго типизирован

пока что нет особой нагрузки.

И в любом случаи стоит обновиться на последний стейбл

существует ли сейчас возможность запускать что-то, чтобы как select * from system.processes, но для всех нод в кластере?

существует ли сейчас возможность запускать что-то, чтобы как select * from system.processes, но для всех нод в кластере?

мб создать дистрибьютед таблицу поверх processes?

насколько я понимаю тогда я не смогу различить процессы на разных нодах?

есть ведь client_hostname поле

ок, попробую

Добрый день! Раньше где-то видел ссылку на changelog, но сейчас ничего похожего найти не могу =( https://github.com/yandex/ClickHouse/releases/tag/v1.1.54236-stable — как понять, что изменилось не изучая все коммиты?

Кстати да, интересный вопрос )

altinity.com

https://www.altinity.com/blog/2017/5/22/clickhouse-release-notes

@f1yegor спасибо

Мб со страницы со старой необновляемой (так ведь?) документацией https://clickhouse.yandex/reference_ru.html сделать редирект на новую обновляемую https://clickhouse.yandex/docs/ru/single/ ?

А то случайно выяснилось, что я уже давно устаревшей пользуюсь :( Правда, новая тормозит нещадно, так что мб лучше продолжить пользоваться старой.

мб создать дистрибьютед таблицу поверх processes?

мб кому пригодится CREATE TABLE system.query_log_all AS system.query_log ENGINE = Distributed(cluster, system, query_log, rand());

я правда не уверен что это хорошая идея создавать это в system db

мб кому пригодится CREATE TABLE system.query_log_all AS system.query_log ENGINE = Distributed(cluster, system, query_log, rand());

да, тоже такое сделал на прошлой неделе. Можно мониторить кол-во запросов с кластера: $rateColumns( concat(substring(query, 1, 45), '...') AS query, count() c) FROM $table SELECT $timeSeries as t, avg(query_duration_ms) select_duration FROM $table WHERE $timeFilter AND type = 2 and query like 'SELECT%' GROUP BY t ORDER BY t