экранировать наверное надо, там же ? плейсхолдеры

ну так оно вроде как само экранировать должно если конечно query не через конкатенацию делается?

я на это тоже расчитывал )) все по мануалу smt := conn.InsertInto("links").Columns(....).Values(...)

никакой самодеятельности с fmt.Sprintf

Товарищи привет, всех с праздниками. А планируются замеры, на сколько будет просадка производительности в связи с последними новостями от intel?

здесь, выше, уже сообщали, что CH особо сисколами не балуется, то есть, просадки будут минимальными

впрочем, если у вас есть рядом непропатченное ядро, то можете и сами прогнать какие-нибудь бенчмарки

официальных замеров не планируется, по крайней мере, здесь о них не сообщалось, кмк

Всем привет, коллеги! Подскажите, есть таблица pages id | url_depth | status_code Мне нужно получить в 1 запросе данные GROUP BY url_depth count_url = COUNT(*) WHERE status_code != 200; count_url = COUNT(*) WHERE status_code = 200; url_depth | count_url != 200 | count_url = 200 How to?

Всем привет, коллеги! Подскажите, есть таблица pages id | url_depth | status_code Мне нужно получить в 1 запросе данные GROUP BY url_depth count_url = COUNT(*) WHERE status_code != 200; count_url = COUNT(*) WHERE status_code = 200; url_depth | count_url != 200 | count_url = 200 How to?

что означает count_url?

что означает count_url?

Прошу прошения поправил

SELECT p.url_depth, count(*) as cnt_200, ( SELECT count(*) FROM pages WHERE status_code != 200 AND url_depth = p.url_depth ) as cnt_n_200 FROM pages as p WHERE status_code = 200 GROUP BY url_depth

Практически получилось

Прошу прошения поправил

тогда SELECT url_depth, countIf(status_code != 200) as count_url_non200, countIf(status_code = 200) as count_url_200 FROM pages GROUP BY url_depth

тогда SELECT url_depth, countIf(status_code != 200) as count_url_non200, countIf(status_code = 200) as count_url_200 FROM pages GROUP BY url_depth

Всего лишь?! Спасибо огромное

?

Наткнулись на то, что функция uniqHLL12 не может смержить значения больше примерно 4e9 элементов. Посмотрев в код, то вроде как HyperLogLogCounter::size() возвращает UInt32, что могло бы объяснить ограничение в 4e9. Функция uniq использует UniquesHashSet и size() возвращает size_t, что по идее 64 bit. Есть ли способ мигрировать колонку с типом AggregateFunction(uniqHLL12, UInt32, FixedString(16))) в uniq?

Наткнулись на то, что функция uniqHLL12 не может смержить значения больше примерно 4e9 элементов. Посмотрев в код, то вроде как HyperLogLogCounter::size() возвращает UInt32, что могло бы объяснить ограничение в 4e9. Функция uniq использует UniquesHashSet и size() возвращает size_t, что по идее 64 bit. Есть ли способ мигрировать колонку с типом AggregateFunction(uniqHLL12, UInt32, FixedString(16))) в uniq?

Мигрировать uniqHLL12 на uniq невозможно.

Если только у вас нет всех исходных данных с uniq-ами.

:) select uniqHLL12(number) from (select number from system.numbers limit 5000000000); SELECT uniqHLL12(number) FROM ( SELECT number FROM system.numbers LIMIT 5000000000 ) ┌─uniqHLL12(number)─┐ │ 2987155238 │ └───────────────────┘ 1 rows in set. Elapsed: 326.476 sec. Processed 5.00 billion rows, 40.00 GB (15.32 million rows/s., 122.52 MB/s.) :) select uniqHLL12(number) from (select number from system.numbers limit 10000000000); SELECT uniqHLL12(number) FROM ( SELECT number FROM system.numbers LIMIT 10000000000 ) ← Progress: 7.93 billion rows, 63.47 GB (14.48 million rows/s., 115.81 MB/s.) CSTP Dead Peer Detection detected dead peer! ┌─uniqHLL12(number)─┐ │ 0 │ └───────────────────┘ 1 rows in set. Elapsed: 702.884 sec. Processed 10.00 billion rows, 80.00 GB (14.23 million rows/s., 113.82 MB/s.)

возможно ли починить?

а в match можно как-то указать чтобы case insensitive был?

Если я правильно помню, есть синтаксис, как это указать в самом регекспе. Так: (?i)...

возможно ли починить?

А что такое "CSTP Dead Peer Detection detected dead peer!"?

то VPN отпадал, он в background запущен, не Clickhouse

возможно ли починить?

Выглядит так, что можно.

На всякий случай: > 14.48 million rows/s. У меня такая скорость на ноутбуке, где ClickHouse скомпилирован в debug-е clang-ом. А на сервере - 56.55 million rows/s. Правда ли, что вы тоже в данном случае проверяете не на продакшене?

да, на ноуте, Linux, i7-7700HQ, 8 cores, Clion compiled

попытался просто поменять тип UInt32 -> size_t - не помогло, тот же результат выдает. Видимо внутренности структуры HLL ограничивает кол-во элементов, или формула оценки должна быть другая.

Всем привет. А не планируете обновлить roadmap на 18 год? Хочется понимать, что костылить сейчас, а с чем можно подождать.

Всем привет. А не планируете обновлить roadmap на 18 год? Хочется понимать, что костылить сейчас, а с чем можно подождать.

Как раз недавно было в общих чертах рассказано на митапе. https://clickhouse.yandex/presentations/meetup11/news_and_plans/#15

Оконные функции в этом году не планируете? Коррелирующие подзапросы?

Пока нет.

попытался просто поменять тип UInt32 -> size_t - не помогло, тот же результат выдает. Видимо внутренности структуры HLL ограничивает кол-во элементов, или формула оценки должна быть другая.

Ноль может возвращаться из-за преобразования inf или nan к unsigned integer типу (это undefined behaviour). Поставьте отладочный вывод, посмотрите, не получается ли в качестве промежуточного значения inf или nan. Если да, то где.

:) select uniqHLL12(number) from (select number from system.numbers limit 2000000000); SELECT uniqHLL12(number) FROM ( SELECT number FROM system.numbers LIMIT 2000000000 ) ┌─uniqHLL12(number)─┐ │ 2569943037 │ └───────────────────┘ 1 rows in set. Elapsed: 127.540 sec. Processed 2.00 billion rows, 16.00 GB (15.68 million rows/s., 125.45 MB/s.) uniqHLL12 довольно неточная на больших (>100M примерно) размерах, uniq же довольно точная даже на 10B

:) select uniqHLL12(number) from (select number from system.numbers limit 2000000000); SELECT uniqHLL12(number) FROM ( SELECT number FROM system.numbers LIMIT 2000000000 ) ┌─uniqHLL12(number)─┐ │ 2569943037 │ └───────────────────┘ 1 rows in set. Elapsed: 127.540 sec. Processed 2.00 billion rows, 16.00 GB (15.68 million rows/s., 125.45 MB/s.) uniqHLL12 довольно неточная на больших (>100M примерно) размерах, uniq же довольно точная даже на 10B

Так и есть, и для uniqHLL12 это нормально.

Кстати, есть табличная функция: select uniq(number) from numbers(2000000000);

Всем привет. Поставил для экспериментов CH=1.1.54327 Создаю таблицу, вставляю одно значение: create table t(v UUID) engine = Memory; insert into t (v) values ('A9869847-5653-40CD-81DA-7535133C30CA'); Далее делаю запрос: select distinct v from t Получаю ошибку: DB::Exception: Logical error: numeric column has sizeOfField not in 1, 2, 4, 8. Что я сделал не так? Возможно, ошибка в коде? Смотрел файл /dbms/src/Interpreters/SetVariants.cpp на 119 строчке — это единственное место, где нет проверки с размером в 16 байт.

Всем привет!

В последнее время стал падать ЗооКипер

а точнее, стал выжирать все место на сервере

ЗуКипер настроен согласно вашим рекомендациям в мануале

то-есть - он должен держать 10 последних снэпшотов, а остальное удалять

но по каким-то причинам - он перестал удалять за собой и место заканчивается с астрономической скоростью

подскажите, куда копать?

https://community.hortonworks.com/questions/12942/how-to-clean-up-files-in-zookeeper-directory.html может все таки настройки не применились?

точно права на чтение конфигов есть и т.п.?

можно как-то проверить runtime конфигурацию?

я правил основной конфиг

ну после правки reload делал? или restart для zookeper? может просто эти параметры не подгрузились

конечно

что я заметил, сами снэпшот файлы - стали больше

предыдущий конфиг писался из расчета веса файлов

предыдущий клинап был раз в неделю

а теперь недели стало не хватать...

В последнее время стал падать ЗооКипер

А версия кх какая?

ClickHouse client version 1.1.54164.

Константин, тут есть редактирование сообщений, лучше все писать в одном!

Слышал, что null частично начали поддерживаться, их надо как-то включить?

ClickHouse client version 1.1.54164.

Возможно стоит обновиться

официальных замеров не планируется, по крайней мере, здесь о них не сообщалось, кмк

Спасибо.

Слышал, что null частично начали поддерживаться, их надо как-то включить?

У колонки Должен быть тип Nullable

У колонки Должен быть тип Nullable

благодарю

/stat@combot

combot.org/chat/-1001080295593

/stat@combot

Надеюсь бэкенд на КХ сделан? ?

У колонки Должен быть тип Nullable

кликхаус падает при попытке создать таблицу с таким типом столбцов, причем конкретно, восстаовить помогает только reboot сервера

жёстко

это заслуживает issue в гитхабе, только посмотрите, может, вы не первый, кто наткнулся на это

Надеюсь бэкенд на КХ сделан? ?

да я хз)) случайно слэш нажал, смотрю там команда есть))

combot.org/chat/-1001080295593

кликхаус падает при попытке создать таблицу с таким типом столбцов, причем конкретно, восстаовить помогает только reboot сервера

Там как то так Nullable(UInt32) например

Там как то так Nullable(UInt32) например

ааа, ну ок, сейчас попробую))

Ребят, у меня в show processlist висят запросы на optimize партиции в которой оптимизировать то и нечего :) Причем таких запросов висит тысяча и висят они по 117442.806599069 секунд :) Как это можно прекратить?

Понятно. Проблема скорее всего была из-за того, что запрос распределенный и некоторые ноды вылетели...

Обычный service clickhouse-server restart помог (повисел секунд 30), я сделал отмену перезапуска, сервер не умер, но процессы почистились.

Версия 1.1.54318

Там как то так Nullable(UInt32) например

так заработало, но там где не было значений проставляются 0, прописал так col_name Nullable(UInt64) DEFAULT NULL

так заработало, но там где не было значений проставляются 0, прописал так col_name Nullable(UInt64) DEFAULT NULL

Супер! В любом случае NULLы не рекомендуют использовать :) Это не production-ready фича.