Схема - как я описывал в статье на хабре

15krps мало.

хотя может у вас строки большие. вот у меня не заводится. работает пару часов и дохнет

Господа разработчики КХ пожалуйста сжальтесь надо мной и давате все пофиксим завтра :) Спокойной ночи всем.

че-т load_balancing не помогает при выборе лидирующей реплики при восстановлении упавшего сервера

За ночь ничего не восстановилось/синхронизировалось.

Буду сносить, ставить перед 4 серверами балансер и писать в локальные таблицы

может это спасет.

>Я чаще чем раз в секунду вставляю и все норм. 6-7 миллионов строк в минуту получается Я тоже чаще в вставлял и вопросов не было. Все началось при репликации + шардирование

У меня 4 шарда по 2 реплики и все ок

пересоздал таблицы с такими же именами и сейчас в логах такое 2017.08.04 07:15:26.221481 [ 3 ] <Trace> Measures_Distributed.Distributed.DirectoryMonitor: Started processing /mnt/local/clickhouse/data/data/default/Measures_Distributed/default@10%2E1%2E1%2E86:9000,default@10%2E1%2E1%2E94:9000/4000.bin 2017.08.04 07:15:26.576287 [ 3 ] <Trace> Measures_Distributed.Distributed.DirectoryMonitor: Finished processing /mnt/local/clickhouse/data/data/default/Measures_Distributed/default@10%2E1%2E1%2E86:9000,default@10%2E1%2E1%2E94:9000/4000.bin 2017.08.04 07:15:26.576309 [ 3 ] <Trace> Measures_Distributed.Distributed.DirectoryMonitor: Started processing /mnt/local/clickhouse/data/data/default/Measures_Distributed/default@10%2E1%2E1%2E86:9000,default@10%2E1%2E1%2E94:9000/4002.bin 2017.08.04 07:15:26.947365 [ 3 ] <Trace> Measures_Distributed.Distributed.DirectoryMonitor: Finished processing /mnt/local/clickhouse/data/data/default/Measures_Distributed/default@10%2E1%2E1%2E86:9000,default@10%2E1%2E1%2E94:9000/4002.bin 2017.08.04 07:15:26.947388 [ 3 ] <Trace> Measures_Distributed.Distributed.DirectoryMonitor: Started processing /mnt/local/clickhouse/data/data/default/Measures_Distributed/default@10%2E1%2E1%2E86:9000,default@10%2E1%2E1%2E94:9000/4004.bin

походу очнулось и начало что-то старое процессить

>У меня 4 шарда по 2 реплики и все ок У меня первые 2 часа тоже было все ок под большой нагрузкой А потом пошло все р разнос. Расскажите подробнее что и сколько пишите

>У меня 4 шарда по 2 реплики и все ок У меня первые 2 часа тоже было все ок под большой нагрузкой А потом пошло все р разнос. Расскажите подробнее что и сколько пишите

На каждом сервере реплицируемая локальная таблица + поверх нее распределенная таблица. Когда потребуется перезаливка данных (такое иногда бывает, да), пишу в 100 потоков, примерно 6-7 млн в минуту (быстрее не получается, т.к. батчи совершенно разных размеров получаются от 10 строк до 1 000 000 строк), пишутся в основном интовые данные + несколько текстовых колонок. Такая нагрузка продолжается примерно в течение 3-4х часов. В это же время (наливки данных в КХ) происходят регулярные запросы на селекты, примерно по 10-15 запросов в секунду.

При этом все работает, CPU адекватный, IO тоже, сеть практически не кушается за счет gzip.

Было пару кейсов когда КХ жрал просто немеренное кол-во CPU и целая нода виртуализации падала, но это было из-за неверных настроек самой виртуалки.

Даже после таких падений в последствии запуска ноды, данные синхронизировались и никакого рассинхрона нет. Версия сервера 1.1.54246 собранная руками.

Три инстанса ZK поднято для репликации

У меня все очень похоже. 3 зукипера. 4 ноды, пишу 40-50млн в минуту пачками. 2 шарда по 2 реплики 2 часа все писало и было ок потом что-то слетело, писать перестало и пошло рассинхронизироваться запись остановил. за ночь ничего не синхронизировалось.

Вы пишите в распределенную таблицу?

А какими пачками пишите?

Да

пачки по 2млн

где-то 20-25 вставок в мин

Должно быть норм. А PK большой?

3 колонки

дата и 2 интовые

А гранулярность большая?

8192

Или вы не про это?

Не, я имел ввиду разброс значений индекса большой?

опять не понял

Например есть ClientID и их может быть миллион, а может быть 3 )

в индексе есть таймстамп

Я не так выразился ) Не проснулся

Как интовое поле?

или я

да

CREATE TABLE IF NOT EXISTS measures ( account UInt32, id UInt32, date Date, timestamp UInt32, value Float32, tags Nested ( name UInt32, value UInt32 ) ) Engine = ReplicatedMergeTree('/clickhouse/tables/01/measures', '1',date, (account, id, timestamp), 8192);

Мне кажется лучше сделать DateTime, хотя могу ошибаться

но тогда мои запросы медленно пойдут

Почему?

я ж не зря время добавил

Я имею ввиду перевести колонку timestamp в тип DateTime

аа

А не UInt32 )

вы имеете в виду тип поменять?

Да

думаю ничего не изменится

Это чисто предположение

а на чем основанное?

интуиция?

Для КХ мне кажется роднее будет то, что связано как раз таки со временем )

Типа того )

понял

Вам данные нужно сортировать по таймштампу или фильтровать?

тут такая штука, мне сегодня или в пон давать ответ пойдет КХ в прод или нет а тут с кластером повылазило куча всего и ответов нет поэтому на интуицию не могу полагаться мне с этим жить потом пару лет минимум

сортировать и фильтровать

CREATE TABLE IF NOT EXISTS measures ( account UInt32, id UInt32, date Date, timestamp UInt32, value Float32, tags Nested ( name UInt32, value UInt32 ) ) Engine = ReplicatedMergeTree('/clickhouse/tables/01/measures', '1',date, (account, id, timestamp), 8192);

Мне кажется лучше так ReplicatedMergeTree('/clickhouse/tables/01/measures', '1',date, (account, date ), 8192);

убрать лишнее из ключа

так это не лишнее

Печально. Я бы на вашем месте все таки поигрался со структурой таблиц и по пробовал бы по разному строить запросы

Ребята я ж в ключ id тоже не просто так добавил

а мотому как быстрый скан по ключу и времени нужен

если я уберу то что эт ополучится

ERROR: S client not available

составной int ключь + дата ( без времени ) - так пробуйте

да и не должна ХЛ БД парать от нагрузки и так непонятно себя везти

ок допустим без времени сделал записалось 2 месяца данных надо выбрать 3 часа сканить все 2 месяца?

https://medium.com/@f1yegor/clickhouse-primary-keys-2cf2a45d7324

Я что то не понимаю или?

Так три часа выбрать можно через тот же prewhere

А потом уже все остальное выкидывать

например по account и timestamp сделать prewhere

ну если только там есть другие условия

тоесть вы хотите сказать что выкинув время и оставив только дату в PK я получу такую же скорость запросов?

Думаю да

Я сталкивался с кейсами когда по разному построенный запрос работал тоже по разному

но результат был одинаковый

причем разница была в десятки, а то и сотни раз )

Если вы не использете date - скорость падает в десятки / сотни раз

Кстати статья, которую скинули выше даст понимание того как КХ работает с индексом и появится более-менее нормальное представление как запросы строить

В статье @f1yegor все расписал

Попробовать можно конечно, но согласитесь должно работать и без всего этого и как то стремно брать в прод с таким поведением. Надо или победить изначальную схему или отказываться. Бог знает на что я еще натолкнусь.

Ну блин ) Любую БД можно сложить, даже ХЛ, если с ней неправильно обращаться )

Тут нужно понять почему это произошло )

Значит используйте Vertica )))

Igor Str правильно говорит, что отфильтровав данные по дате, которая в PK есть, останется не так много строк для обработки, там уже делайте что хотите )

Что значиит сложить? Я понимаю если бы сторость просела Но не так же умирать

Вы заставили базу делать очень много лишних действий с таким ключем

Я как то 5 колонок натолкал в пк ) в том числе и таймштамп, потом разобрался с пк и все ок стало

Ок давайте попробую по порядку 1. убираем время из ключа 2. добавляем дату 3. переписываем запрос можно переписать на этом примере? SELECT (avg(value)), toInt64(timestamp/60)*60 as granularity FROM Measures_Distributed where account=169 and id=109 and timestamp>1501596000 and timestamp<1501740000 and arrayElement(tags.value,indexOf(tags.name,4))=11724 group by granularity order by granularity

Добавьте в where date=today() - просто дату

и взлетит

Решение у меня - нужно последние 48 часов event_date>=today()-2 AND timepoint_hour>=now()-(60*60*48)

так CREATE TABLE IF NOT EXISTS measures ( account UInt32, id UInt32, date Date, timestamp UInt32, value Float32, tags Nested ( name UInt32, value UInt32 ) ) Engine = ReplicatedMergeTree('/clickhouse/tables/01/measures', '1',date, (account, id, date), 8192);

?