а в статистике при этом что написано, 300М?

а у вас для древних дат статистика продолжает обновляться?

я туплю там тоже 300 млн. совпало

но все равно не пойму как тогда на основе большого количества данных построить отчет

в тех же метриках явно можно фильтровать как угодно и группировать

а зачем toString()?

чтобы вместо пустых строк (где нету данных) не прилетала длинная невидимая строка с байтами

а откуда >100 байт на запись? дата регион*3 пол возраст штуки это примерно 2+2+2+2+1+1+4=14

данные в прошлое обновляются? если нет, то месяц надо один раз посчитать, а не при отчете.

userid есть, семплировать можно?

сколько строк в ответе, сколько машин хранят данные.

сколько строк в ответе, сколько машин хранят данные.

одна машина у нас. не понял на счет > 100 байт

А может ли долго запрос возвращаться из-за высокого IOPS ?

6 тыс IOPS

Может конечно. В случаях если вы берете много данных для расчёта (чтение с диска) или если вы уходите в своп в процессе расчёта. Или если стоят опции external_group_by, external_sort (в точном названии могу ошибиться)

Может конечно. В случаях если вы берете много данных для расчёта (чтение с диска) или если вы уходите в своп в процессе расчёта. Или если стоят опции external_group_by, external_sort (в точном названии могу ошибиться)

600+ млн записей по 40 полей. расчет суммы и группировка по 5 полям и сортировка по 5. смотрю по мониторингу что местам то 5 то 6 тыс IOPS. что значит external_group_by и external_sort? как можно оптимизить скорость выполнения?

По умолчанию КХ выполняет все операции в оперативной памяти, и, если ее не хватит, запрос со сложной групировкой может не выполниться. Для этого есть параметры max_bytes_before_external_group_by и max_bytes_before_external_sort, которые указывают после какого порога сбрасыавть данные во временные файлы на диск

запустили запрос. еще выполняется

это memory

процессор

по IOPS пик был на 304

из этого следует что он упирается именно в проц?

Create table в студию

percent-steal в обычном режиме не должен быть таким высоким. Скорей всего на машине очень много чего работает одновременно, либо настройка КХ не совсем корректна, например, выставлен больший параметр по использованию потоков чем есть виртуальных процессоров на машине

percent-steal в обычном режиме не должен быть таким высоким. Скорей всего на машине очень много чего работает одновременно, либо настройка КХ не совсем корректна, например, выставлен больший параметр по использованию потоков чем есть виртуальных процессоров на машине

это отдельная машина для кх. там только он и стоит. до запрос steal был 22%, после запроса 35-45. где можно уменьшить этот параметр ?

Create table в студию

таблица содержит только 1 индекс на eventDate. запрос который запускаю - выше (вчера скидывал)

это отдельная машина для кх. там только он и стоит. до запрос steal был 22%, после запроса 35-45. где можно уменьшить этот параметр ?

сколько процессов КХ работает на машине?

а как посчитать?

есть еще процесы которые просто висят не грузят проц. но жрут память таких много

ps ax | grep clickhouse-server | wc -l

ps ax | grep clickhouse-server | wc -l 2

и 2 виртуальных ядра

не ту команду дал

ps -axH | grep clickhouse-server | wc -l

два ядра немного маловато для описанного вами профиля нагрузки

ps -axH | grep clickhouse-server | wc -l 43

Я тестировал кх на 1 ядре и 4 гигах оперативы :) показал достаточно хороший результат с таблицей в 90 гигов и 18 колонками

idle 0 ) снова запустил запрос

вы уверены, что на машине только КХ? В скриншоте у вас там еще Java запущена

на Jenkins похоже

и jenkins есть да. но он не грузит ведь ничего

и apache стоит для tabix

и collectd для сбора метрик

виртуалка?

да

высокий steal-time это время сворованное у виртуалки гипервизором

amazon

Оу)

st — (Steal Time) время, «украденное» гипервизором у этой виртуальной машины для других задач (например работа другой виртуальной машины) это из википедии

т.е. в это время ваша вирта не работала

я знаю что такое steal

может помочь стоп-старт виртуалки

или снапшот - убиение - старт

прод машину нельзя останавливать)

есть вероятность запуститься на новом гипервизоре, раз этот перегружен

если нельзя - нужна отказоустойчивость :)

тогда можно

тем более амазон - снапшот, запуск копии, доливка данных, переключение прода

можешь более подробно объяснить эту кухню

если остановить машину и снова включить - есть вероятность попасть на другой гипервизор и будет steal ниже, всегда?

нет

есть вероятность что на новом гипервизоре стил будет ниже :)

это отдельная машина для кх. там только он и стоит. до запрос steal был 22%, после запроса 35-45. где можно уменьшить этот параметр ?

steal значит что на физ хосте оверселинг довольно высокий и тебя активно переключает гипервизор, если очень условно

а, уже ответили

но тебе никто не запрещает эту процедуру повторять регулярно

@maksim_melnichuk условно представь себе секунду. Steal 50% значит что твоя машина хочет работать всю секунду, а ей дают только 0.5

условно и упрощенно

а когда у тебя кластер кх, который не умирает от выключения одной ноды, то это и вообще отлично - никто не заметит

в общем я так понял это проблема виртуализации

или выделения ресурсов

это не означает, что гипервизор сломался/плохой

это скорее означает, что потребление ресурсов больше, чем вы заплатили / выделено админами

и гипервизор режет это потребление в соотвествии с тем, что вам выделено.

если мы говорим о нормальных облаках - а-ля амазон, гугл, азур - то на другой машине все будет точно-также

это значит что сервер упирается в нагрузку по тарифному плану и гипервизор режет ?

скорее всего именно это и значит, эта штука крайне специфична к типу гипервизора и ведет себя по-разному

другие инстансы имеют такие же конфиги железа и там тоже есть нунлевой steal?

окей кто работал с amazon какой тип инстанса предпочтительнее для кх ?

точно ли нагрузка на все инстансы идентичная?

ui сервер тоже бывает steal 40+ %

если нагрузки нету то steal вообще 0

https://aws.amazon.com/ru/ec2/instance-types/

какой инстанс нужен для нормальной работы кх ?

мы используем почти везде t2

может в этом проблема

сколько кредитов там осталось?

на т2

в информации по инстансу есть

Как раз статья на тему - сравнение ClickHouse на AWS с физическим сервером и с Redshift: https://www.altinity.com/blog/2017/6/20/clickhouse-vs-redshift