array=(

ch1 ? SELECT min(date) from Stats where date=today() and length(processlist)<>0 limit 1; SELECT min(date) FROM Stats WHERE (date = today()) AND (length(processlist) != 0) LIMIT 1 ↓ Progress: 196.61 thousand rows, 200.04 MB (643.49 thousand rows/s., 654.71 MB/s.) 2%Received exception from server (version 18.12.17): Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 12.13 GiB (attempt to allocate chunk of 4294967296 bytes), maximum: 9.31 GiB: (while reading column processlist): (while reading from part /var/lib/clickhouse/data/projectName/Stats/20181013_20181014_31568_32714_5/ from mark 3 with max_rows_to_read = 65536). 0 rows in set. Elapsed: 0.473 sec. Processed 196.61 thousand rows, 200.04 MB (415.44 thousand rows/s., 422.68 MB/s.)

ch1 ? SELECT min(date) from Stats where date=today() and arrayElement(processlist,1)<>'' limit 1; SELECT min(date) FROM Stats WHERE (date = today()) AND (processlist[1] != '') LIMIT 1 ↙ Progress: 131.07 thousand rows, 117.53 MB (1.13 million rows/s., 1.01 GB/s.) 1%Received exception from server (version 18.12.17): Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 12.20 GiB (attempt to allocate chunk of 4294967296 bytes), maximum: 9.31 GiB: (while reading column processlist): (while reading from part /var/lib/clickhouse/data/projectName/Stats/20181014_20181014_32715_33209_4/ from mark 182 with max_rows_to_read = 65536). 0 rows in set. Elapsed: 0.279 sec. Processed 131.07 thousand rows, 117.53 MB (470.07 thousand rows/s., 421.49 MB/s.)

а если ну max_memory_usage = поставить в 20ГБ или settings optimize_move_to_prewhere=0,max_block_size=100000

Сейчас вот на таком куске упал: 51M /var/lib/clickhouse/data/projectName/Stats/20181014_20181014_33334_33449_3/processlist.bin

ch1 ? SELECT min(date) from Stats where date=today() and arrayElement(processlist,1)<>'' limit 1 settings optimize_move_to_prewhere=0,max_block_size=100000; SELECT min(date) FROM Stats WHERE (date = today()) AND (processlist[1] != '') LIMIT 1 SETTINGS optimize_move_to_prewhere = 0, max_block_size = 100000 ↓ Progress: 507.90 thousand rows, 545.72 MB (240.86 thousand rows/s., 258.79 MB/s.) █████████████▋ 7%Received exception from server (version 18.12.17): Code: 241. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 9.61 GiB (attempt to allocate chunk of 536870912 bytes), maximum: 9.31 GiB: (while reading column processlist): (while reading from part /var/lib/clickhouse/data/projectName/Stats/20181014_20181014_32715_33209_4/ from mark 162 with max_rows_to_read = 8192). 0 rows in set. Elapsed: 2.183 sec. Processed 507.90 thousand rows, 545.72 MB (232.69 thousand rows/s., 250.01 MB/s.)

ch1 ? SELECT min(date) from Stats where date=today() and arrayElement(processlist,1)<>'' limit 1 settings optimize_move_to_prewhere=0,max_memory_usage=21474836480; SELECT min(date) FROM Stats WHERE (date = today()) AND (processlist[1] != '') LIMIT 1 SETTINGS optimize_move_to_prewhere = 0, max_memory_usage = 21474836480 DB::Exception: Received from localhost:9000, ::1. DB::Exception: Memory limit (for query) exceeded: would use 9.37 GiB (attempt to allocate chunk of 536870912 bytes), maximum: 9.31 GiB: (while reading column processlist): (while reading from part /var/lib/clickhouse/data/proj/Stats/20181014_20181014_32715_33209_4/ from mark 54 with max_rows_to_read = 8192). 0 rows in set. Elapsed: 1.302 sec. Processed 270.34 thousand rows, 281.73 MB (207.62 thousand rows/s., 216.37 MB/s.)

помоему не работает тут max_memory_usage

О!

да, тут не работает, до запроса через set , либо в профиле пользователя

ch1 ? SELECT min(date) from Stats where date=today() and arrayElement(processlist,1)<>'' limit 1 settings optimize_move_to_prewhere=0,max_block_size=1000, max_memory_usage=21474836480; SELECT min(date) FROM Stats WHERE (date = today()) AND (processlist[1] != '') LIMIT 1 SETTINGS optimize_move_to_prewhere = 0, max_block_size = 1000, max_memory_usage = 21474836480 ┌──min(date)─┐ │ 2018-10-14 │ └────────────┘ 1 rows in set. Elapsed: 7.318 sec. Processed 7.00 million rows, 7.80 GB (956.29 thousand rows/s., 1.07 GB/s.)

max_block_size=1000 помогло

notEmpty тоже с max_block_size=1000 прошел

на самом деле возможно уменьшилось дефолтное значение max_memory_usage с 15 до 10,в одной из версий, я не помню

откатиться скорее всего вам можно только на 1.1.54378, я бы попробовал откатится на 1.1.54394 Настройка use_minimalistic_checksums_in_zookeeper таблиц семейства ReplicatedMergeTree включена по-умолчанию. Эта настройка была добавлена в версии 1.1.54378, 2018-04-16. Установка версий, более старых, чем 1.1.54378, становится невозможной.

Ну нам этот запрос нужен только для того, что бы определить с когда clear column делать)

так, теперь осталось вторая проблема)

ну судя по всему действительно надо для старый партиций optimize

в чем отличие второй проблемы от первой?

в одной памяти не хватает, во второй колонку не видит(Not found column processlist in block)

так и что SETTINGS optimize_move_to_prewhere = 0 не помогает?

сделайте select any(date) from (select * .....)

да, помогло. Сорри)

Спасибо большое! Много нового узнал) Какой-то баг репорт по итогу нужен на гитхаб?

15гб РАМ на кусок размером в 51мб(на диске)- немного странно. Хотя скорее не баг, а вопрос к оптимизатору

это баг, ну сделайте issue, без примера на воспроизведения в этом мало смысла конечно.

что у вас в массивах лежит?

сколько строк и насколько длинные?

список процессов у пользователя

где-то 100 штук

до 30 символов

процессы? типа ps -ef ?

Код не выполняется должным образом. Попытайтесь выяснить, почему.function multiply(a, b){ a * b }

как решить ?

javaScript

Код не выполняется должным образом. Попытайтесь выяснить, почему.function multiply(a, b){ a * b }

gjvjubnt

помогите

При установки десктоп софта запоминаем что было у юзера в момент инсталла,а потом шьем ко всем событиям. Уникальных наборов от силы 2-3гб на всех юзеров

Код не выполняется должным образом. Попытайтесь выяснить, почему.function multiply(a, b){ a * b }

return a * b;

При установки десктоп софта запоминаем что было у юзера в момент инсталла,а потом шьем ко всем событиям. Уникальных наборов от силы 2-3гб на всех юзеров

ясно, создайте тикет и может и починят.

Могу попросить данные перелить из кластера на отдельный сервер, и дать к нему доступ.

Что бы на живую смогли ломать\чинить

я не разработчик и не работаю в яндексе, я такой же сисадмин, мне доступ не нужен если че.

А, понял.

При загрузке данных в python с помощью clickhouse-sqlalchemy не загружает первую строку с данными, остальные данные приходят. Кто-нибудь сталкивался с этим? @tkostyan можешь подсказать куда копать?

При загрузке данных в python с помощью clickhouse-sqlalchemy не загружает первую строку с данными, остальные данные приходят. Кто-нибудь сталкивался с этим? @tkostyan можешь подсказать куда копать?

Это смотрели? https://github.com/xzkostyan/clickhouse-sqlalchemy/issues/14

Это смотрели? https://github.com/xzkostyan/clickhouse-sqlalchemy/issues/14

Спасибо!

Делаю запрос вида: SELECT A, toString(B) as bb, toString(SUM(C)) as cc FROM table GROUP BY A, bb

B и C это Decimal128(18)

или нужно как-то иначе приводить decimal к стрингу?

Decimal экспериментальный тип данных, поэтому ничего удивительного

ну так по логике я верно делаю же да?

да, все верно. может так прокатит select A, bb, toString(cc) from ( (SELECT A, toString(B) as bb, SUM(C) as cc FROM table GROUP BY A, bb)

вот да, тоже так пробую уже

https://github.com/yandex/ClickHouse/blob/150be189ac557ca2793b65a4b83642b2f4fe3842/dbms/src/Columns/ColumnDecimal.h#L92 а data точно никогда не может быть null? или pos?

да, все верно. может так прокатит select A, bb, toString(cc) from ( (SELECT A, toString(B) as bb, SUM(C) as cc FROM table GROUP BY A, bb)

неа, так же падает

а чему cc вообще равен? null ? написать coalesce(sum(C), 0) as cc

тот же самый запрос с UInt64 работает

а чему cc вообще равен? null ? написать coalesce(sum(C), 0) as cc

так падает

null нету, сам вставлял

я воспроизвел это из-за group by b

Ошибка точно в Group by без group by по decimal работает

да

как всегда хак конкатенации помогает обмануть самых умных SELECT A, toString(B)||'' as bb, toString(SUM(C)) as cc FROM table GROUP BY A, bb

добавил https://github.com/yandex/ClickHouse/issues/3378

о боги, хак работает!

спасибо за помощь

Это неожиданно, но видимо КХ понимает, что group by можно сделать до toString.

Гайз, можете помочь составить запрос в КХ? получить первый и последний элемент отсортированой выборки агрегированый по полю? условно, есть длинная табличка: ID, DateInterval, Volume хочу сделать типа такого запроса: SELECT timeInterval, first(Volume), last(Volume) FROM table GROUP BY timeInterval ORDER BY ID

я так понимаю нужно использовать функции высшего порядка вроде arrayFirst или еще чего

или что-то вроде SELECT timeInterval, (SELECT Volume where min ID in timeInterval), (SELECT Volume where max ID in timeInterval)

select timeInterval, max((ID, Volume)), min((ID, Volume)) from table group by timeInterval

а может argmax/argmin?

select timeInterval, max((ID, Volume)), min((ID, Volume)) from table group by timeInterval

идеально подошло!

time_

Как-то можно из под тюпла в селекте один элемент выбрать? SELECT MAX((ID, Volume))[1] FROM ... ??

Как-то можно из под тюпла в селекте один элемент выбрать? SELECT MAX((ID, Volume))[1] FROM ... ??

max((ID, Volume)).1

спасибо!

max((ID, Volume)).1

а это где то задокументировано?

а это где то задокументировано?

https://clickhouse.yandex/docs/ru/query_language/operators/ См. раздел "Операторы доступа"

Exception on client: Code: 115. DB::Exception: Unknown setting allow_experimental_low_cardinality_type ClickHouse server version 18.12.54407. Вроде версия достаточная для того, чтобы использовать, ан не даёт

Кто-нибудь сталкивался?

Да у многих языков нумерация элементов в массиве начинается с 1: https://en.wikipedia.org/wiki/Comparison_of_programming_languages_%28array%29#Array_system_cross-reference_list

Да у многих языков нумерация элементов в массиве начинается с 1: https://en.wikipedia.org/wiki/Comparison_of_programming_languages_%28array%29#Array_system_cross-reference_list

https://ru.m.wikipedia.org/wiki/Шутка

А что значит max((ID, Volume)) - максимум кортежа? А как он определяется?

По порядку, сначала сортируется по ID, потом по Volume и тд

спасибо, это полезно

@kshvakov Кирилл добрый день ! Мы столнкулись со странной проблемой при использования вашего Go драйвера. Когда вставляем "2018-10-15 11:36:53" в поле DateTime то почему-то получается +3 часа. Хотя и на сервере где установлен ClickHouse и где работает приложение, время используется серверное 11:36:53. Но когда выполняем вставку, и смотрим результат то плолучаем время 14:36:53 На компьютере где выполняем запрос в API стоит 11 часов, на сервере где запущено API тоже 11 часов, на сервере где стоит ClickHouse тоже 11. Но вставляется 14.

По дефолта вроде utc

При том что если выполняем insert через clickhouse-client или DBeaver то время вставляется корректно

выглядит так, как будто драйвер + 3 добавляет нарочно

+3 это UTC ?