max_bytes_to_merge_at_max_space_in_pool поднять стоит?

А в логи часто пишет что откинул мерж из-за этого?

Всем привет! такой вопрос, есть ли возможность изменить индекс (добавить одно или несколько полей в него) для уже существующей таблицы?

не поднимал, в логах аномального ничего нет

сейчас идет долгий мердж, занял 28,5Г диска под него

LoadAverage 2.4 , если нормализовать, то 7%

один мердж не распараллелить?

один мердж не распараллелить?

нет, один мерж не распараллелить

по-идее, как он закончится, инзерты должны быстрее идти?

да по идее в вашем конфиге он не должен особо влиять

у вас же ссд ?

по-идее, как он закончится, инзерты должны быстрее идти?

Только если он вам диск "нагибает" + если кусков в партиции больше 150 то КХ "притормаживает" инсерты, соответственно если мерж эти куски склеит то и инсерты быстрее будут

В system.merges можно посмотреть какие куски мержастся и что получится

Только если он вам диск "нагибает" + если кусков в партиции больше 150 то КХ "притормаживает" инсерты, соответственно если мерж эти куски склеит то и инсерты быстрее будут

по количеству партиций у него нет ошибок в иррор логе, ну а диск мне кажется все таки ссд, так как данных всего 2тб, а сервер на 40 ядер и 128 гигов оперативы

как вари ант идет реплика на второй сервер и возможно не хватает сети, не загружен ли случаем гигабит сети на 100%

нет, сейчас реплика никуда не идет, вот стата: PRC | sys 4.31s | user 41.58s | | | #proc 426 | #trun 4 | #tslpi 976 | | #tslpu 0 | #zombie 0 | clones 1166 | | | no procacct | CPU | sys 34% | user 427% | | irq 2% | | idle 3527% | wait 11% | | | steal 0% | guest 0% | curf 2.73GHz | | curscal 88% | CPL | avg1 3.57 | | avg5 3.01 | avg15 2.95 | | | | csw 178924 | | intr 481099 | | | numcpu 40 | | MEM | tot 125.6G | free 8.8G | cache 100.7G | dirty 1.7G | buff 0.0M | slab 2.7G | slrec 2.5G | shmem 3.0G | shrss 0.0M | shswp 0.0M | vmbal 0.0M | | hptot 0.0M | hpuse 0.0M | SWP | tot 0.0M | free 0.0M | | | | | | | | | | vmcom 20.6G | | vmlim 62.8G | LVM | centos-home | busy 16% | | read 660 | write 1122 | | KiB/r 123 | KiB/w 409 | MBr/s 8.0 | | MBw/s 44.9 | avq 98.07 | | avio 0.92 ms | LVM | centos-root | busy 0% | | read 0 | write 35 | | KiB/r 0 | KiB/w 22 | MBr/s 0.0 | | MBw/s 0.1 | avq 1.50 | | avio 0.46 ms | DSK | sdg | busy 13% | | read 39 | write 691 | | KiB/r 131 | KiB/w 502 | MBr/s 0.5 | | MBw/s 33.9 | avq 118.22 | | avio 1.72 ms | DSK | sdd | busy 1% | | read 24 | write 163 | | KiB/r 128 | KiB/w 404 | MBr/s 0.3 | | MBw/s 6.4 | avq 57.93 | | avio 0.77 ms | DSK | sdj | busy 1% | | read 209 | write 34 | | KiB/r 126 | KiB/w 354 | MBr/s 2.6 | | MBw/s 1.2 | avq 5.24 | | avio 0.53 ms | NET | transport | tcpi 50651 | tcpo 34781 | udpi 0 | | udpo 0 | tcpao 14 | tcppo 19 | tcprs 0 | tcpie 0 | tcpor 6 | | udpnp 0 | udpie 0 | NET | network | ipi 50655 | | ipo 34570 | ipfrw 0 | | deliv 50651 | | | | | icmpi 0 | | icmpo 0 | NET | bond0 29% | pcki 254968 | pcko 16862 | | sp 1000 Mbps | si 298 Mbps | so 1283 Kbps | | coll 0 | mlti 0 | erri 0 | erro 0 | drpi 0 | drpo 0 | NET | eno1 29% | pcki 254740 | pcko 16862 | | sp 1000 Mbps | si 298 Mbps | so 1283 Kbps | | coll 0 | mlti 0 | erri 0 | erro 0 | drpi 0 | drpo 0

ну в таом виде стата просто набор символов

... NET | bond0 29% | pcki 254968 | .... NET | eno1 29% | pcki 254740 ...

это 300Мбит входящих в carbon-clickhouse метрик

у вас еще и бондинг ?

а почему 300 мбит а не 1000 ?

если бондинг

столько метрик влетает, больше нет

Коллеги, подскажите где поподробней почитать рекомендации по выбору полей в индекс. Вот к примеру у меня .... Engine = MergeTree(event_date, (selection_id, received_at), 8192) и я не особо понимаю, каким образом мне подобрать поля в этот индекс. selection_id, received_at? или может три поля. Или может быть выбрать другие поля?

Коллеги, подскажите где поподробней почитать рекомендации по выбору полей в индекс. Вот к примеру у меня .... Engine = MergeTree(event_date, (selection_id, received_at), 8192) и я не особо понимаю, каким образом мне подобрать поля в этот индекс. selection_id, received_at? или может три поля. Или может быть выбрать другие поля?

https://groups.google.com/forum/#!searchin/clickhouse/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%7Csort:relevance/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJ

Коллеги, подскажите где поподробней почитать рекомендации по выбору полей в индекс. Вот к примеру у меня .... Engine = MergeTree(event_date, (selection_id, received_at), 8192) и я не особо понимаю, каким образом мне подобрать поля в этот индекс. selection_id, received_at? или может три поля. Или может быть выбрать другие поля?

Нужно знать основные типы запросов и поля, по которым эти запросы фильтруют. У нас это дата события и тип события, а ещё иногда id-пользователя. Поэтому первичный ключ такой: mark, date, userId

именно фильтруют/группируют. К сортировке это можно скзаать не относится?

@kshvakov спасибо!

именно фильтруют/группируют. К сортировке это можно скзаать не относится?

Не могу сказать. Но скорее всего нет, не относится

по-идее, как он закончится, инзерты должны быстрее идти?

Мердж закончился , вставка не выросла, куда ещё смотреть?

Мердж закончился , вставка не выросла, куда ещё смотреть?

А нагрузку на диск как смотрели? Можете скин скинуть iotop-а?

iotop -d6 : Total DISK READ : 0.00 B/s | Total DISK WRITE : 42.42 M/s Actual DISK READ: 0.00 B/s | Actual DISK WRITE: 11.43 M/s TID PRIO USER DISK READ DISK WRITE SWAPIN IO> COMMAND 25012 be/4 elastics 0.00 B/s 1343.69 B/s 0.00 % 0.01 % java -Xms1g -Xmx1g -XX:+Us~th.conf=/etc/elasticsearch 25041 be/4 elastics 0.00 B/s 1343.69 B/s 0.00 % 0.01 % java -Xms1g -Xmx1g -XX:+Us~th.conf=/etc/elasticsearch 25014 be/4 elastics 0.00 B/s 1343.69 B/s 0.00 % 0.01 % java -Xms1g -Xmx1g -XX:+Us~th.conf=/etc/elasticsearch 39011 be/4 root 0.00 B/s 671.85 B/s 0.00 % 0.01 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 2246 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 5472 be/4 root 0.00 B/s 671.85 B/s 0.00 % 0.00 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 5759 be/4 root 0.00 B/s 671.85 B/s 0.00 % 0.00 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 4980 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 38715 be/4 root 0.00 B/s 1343.69 B/s 0.00 % 0.00 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 39182 be/4 root 0.00 B/s 2.62 K/s 0.00 % 0.00 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 3658 be/4 root 0.00 B/s 671.85 B/s 0.00 % 0.00 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 40807 be/4 root 0.00 B/s 0.00 B/s 0.00 % 0.00 % graphite-clickhouse -confi~e/graphite-clickhouse.conf 3699 be/4 root 0.00 B/s 1343.69 B/s 0.00 % 0.00

читабельно ?

iostat -xmt 6 : 09.08.2018 11:14:39 avg-cpu: %user %nice %system %iowait %steal %idle 16,99 0,00 2,75 0,00 0,00 80,26 Device: rrqm/s wrqm/s r/s w/s rMB/s wMB/s avgrq-sz avgqu-sz await r_await w_await svctm %util sde 0,00 0,67 0,00 12,17 0,00 0,05 7,78 0,00 0,32 0,00 0,32 0,07 0,08 sdd 0,00 0,67 0,00 11,00 0,00 0,06 10,30 0,00 0,29 0,00 0,29 0,05 0,05 sdb 0,00 1,50 0,00 9,50 0,00 0,05 10,11 0,00 0,14 0,00 0,14 0,09 0,08 sda 0,00 0,17 0,00 13,67 0,00 0,51 75,80 0,01 0,89 0,00 0,89 0,10 0,13 sdc 0,00 1,17 0,00 20,83 0,00 2,04 200,45 0,09 4,18 0,00 4,18 0,22 0,45 sdf 0,00 0,67 0,00 18,00 0,00 0,26 30,10 0,04 2,44 0,00 2,44 0,42 0,75 sdg 0,00 0,33 0,00 9,17 0,00 0,02 5,24 0,00 0,16 0,00 0,16 0,05 0,05 sdh 0,00 0,17 0,00 12,17 0,00 0,05 8,11 0,00 0,23 0,00 0,23 0,04 0,05 sdi 0,00 0,50 0,00 14,83 0,00 2,03 280,90 0,18 12,19 0,00 12,19 0,61 0,90 sdj 0,00 0,33 0,00 11,50 0,00 0,04 7,54 0,00 0,06 0,00 0,06 0,03 0,03 dm-0 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 dm-1 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 dm-2 0,00 0,00 0,00 64,00 0,00 5,11 163,40 0,35 5,41 0,00 5,41 0,25 1,58

столько метрик влетает, больше нет

а диск точно ссд все таки ?

да, 10 штук LVMом

ну по нагрузке почти ее нет для ссд и по иотопу видно что никакущая нагрузка

вот, нагрузки нет, а инзерты идут еле-еле(28M), при тестах было 80М+

загружено 1-1,5 ядра

Мердж закончился , вставка не выросла, куда ещё смотреть?

А что вообще в таблице? select partition, count() as num_parts from system.parts where table = 'ВАША ТАБЛИЦА' and active group by partition order by partition

select partition, count() as num_parts from system.parts where table = 'graphite' and active group by partition order by partition ┌─partition─┬─num_parts─┐ │ 201706 │ 1 │ │ 201801 │ 2 │ │ 201804 │ 1 │ │ 201805 │ 6 │ │ 201806 │ 16 │ │ 201807 │ 21 │ │ 201808 │ 18 │ └───────────┴───────────┘ 7 rows in set. Elapsed: 0.011 sec.

данные полноценные с 201805

select partition, count() as num_parts from system.parts where table = 'graphite' and active group by partition order by partition ┌─partition─┬─num_parts─┐ │ 201706 │ 1 │ │ 201801 │ 2 │ │ 201804 │ 1 │ │ 201805 │ 6 │ │ 201806 │ 16 │ │ 201807 │ 21 │ │ 201808 │ 18 │ └───────────┴───────────┘ 7 rows in set. Elapsed: 0.011 sec.

тут все хорошо

тоже ищу, где плохо

инзерты отстают на 4 минуты, как догонит, включу 2й сервер и буду наблюдать за нагрузкой при наливке реплики

ещё вопрос, вроде вчера задавал: пишу в конфиге КХ <graphite_rollup> <regexp>^DevOps\,clickhouse\.</regexp> <function>avg</function> <retention> <age>0</age> <precision>5</precision> </retention> </pattern> ... <graphite_rollup> но он через время мерджит до минуты, как умолчание кто-то сталкивался

а ни у кого случаем нет раскиданного по европе зукипера на 7 нод ?

Всем привет, кто подскажет советом: Приложение на питоне, используем clickhouse_driver Есть три таблицы с одинаковыми данными, отличие что у них PK свой. Предположим таблица №1, №2 и №3 Препдоположим нам пришло 10 тыс событий и бага в том что статистика запишется так: №1 примерно 10005-10015 событий (т.е запишется больше чем пришло!!) №2,№3 запишется ровно 10 тыс событий Искали ошкибку в коде, по принтам увидели что все окей, идет ровно 3 записи Репликация асинхронная, мульти-мастер Кто подскажет может кто сталкивался с таким?

ну посмотрите просто какие именно записи лишние то

что это за 5-15 записей что в них

Всем привет, кто подскажет советом: Приложение на питоне, используем clickhouse_driver Есть три таблицы с одинаковыми данными, отличие что у них PK свой. Предположим таблица №1, №2 и №3 Препдоположим нам пришло 10 тыс событий и бага в том что статистика запишется так: №1 примерно 10005-10015 событий (т.е запишется больше чем пришло!!) №2,№3 запишется ровно 10 тыс событий Искали ошкибку в коде, по принтам увидели что все окей, идет ровно 3 записи Репликация асинхронная, мульти-мастер Кто подскажет может кто сталкивался с таким?

Всё зависит от того, какая структура таблиц, и как пишите данные

что это за 5-15 записей что в них

это дубли записей, с тем же datetime

Всё зависит от того, какая структура таблиц, и как пишите данные

таблица типа MergeTree, пишем через INSERT

код примерно такой: for table_name in [table1, table2,table3]: записать документ А в table_name

код примерно такой: for table_name in [table1, table2,table3]: записать документ А в table_name

Если вы пишите по одной записе - это не правильно

нет, пишем около 20 запией разом

пишем 20 записей, 19 запишутся норм, но 1на может задублироваться

Это мало. На каждый инсерт создается новый файл в КХ и куча других действий. И вставлять чаще чем раз в секунду - тоже плохо сказывается. Предполагаю что на 10001-ю вставку КХ что-то пишет в ответ типа ошибки. Ваш драйвер точно возвращает ошибку если не вставил?

здравствуйте. есть какая нито зависимость между гранулярностью индекса MergeTree и оптимальным количеством вставляемых записей?

Это мало. На каждый инсерт создается новый файл в КХ и куча других действий. И вставлять чаще чем раз в секунду - тоже плохо сказывается. Предполагаю что на 10001-ю вставку КХ что-то пишет в ответ типа ошибки. Ваш драйвер точно возвращает ошибку если не вставил?

то есть вы допускаете что ошибка дублирования может быть из за частой записи?

Я допускаю что по причине частых вставок КХ становится плохо и он в какой-то момент начинает творить дичь (как например у вас)

Я допускаю что по причине частых вставок КХ становится плохо и он в какой-то момент начинает творить дичь (как например у вас)

скорее всего дичь творит на мой взгляд софт

скорее всего дичь творит на мой взгляд софт

Ну и его тоже проверить

думаю самое простое почи тать лог ошибок в кх

инзерты отстают на 4 минуты, как догонит, включу 2й сервер и буду наблюдать за нагрузкой при наливке реплики

Сейчас даные на 2й сервер идут с максимальной скоростью, которую поддерживает 2й.400МБит/с данных уходит в реплике 1й сервер ошибок не показывает, занят на 11% по процессорам

думаю самое простое почи тать лог ошибок в кх

да нет, поднял логи за время дублей - ошибок нету...

а таблица в которой записей больше одна и таже? Питон получает таймаут на инсерт и пишет все еще раз.

да, одна и тажа. НО пишем батчем, т.е там например 20 записей разом, и дублируются не все записи, а одна или две. Даже предположим дублирующая запись была 5ой, то 2,3,4 не дублировались...

то есть не похоже что питон повторяет запись, тогда бы были все дубли, как минимум до какой то "ошибки"

А таблицы дистрибьютид?

MergeTree

или я не так понял вопрос, а так да: 3 шарда и у каждого по реплики

Вставляете в дистрибьютед таблицу или напрямую в репликейтедмерджтри

?

send_tracking_campaigns │ Distributed │ 2018-04-03 16:19:06 │ send_tracking_campaigns_replicated │ ReplicatedMergeTree │ 2018-04-03 15:08:56 да, похоже что Distributed

вот что еще интересно 1 шард - 6 дублей, где всего 4016072 записей 2 шард 2 дубля, где всего 4016988 записей 3 шард, ~6500дублей, где всего 4026013 записей

Всем привет! Подскажите, КХ может пользователей из zookeeper брать?

Всем привет! Подскажите, КХ может пользователей из zookeeper брать?

В ZK можно целиком секцию users хранить и он ее должен заменить, но это не очень удобно

Почему неудобно? В такой конфигурации я смогу пользователей налету добавлять без перезагрузки КХ?

Почему неудобно? В такой конфигурации я смогу пользователей налету добавлять без перезагрузки КХ?

Для обновления пользователей нужно просто конфиг помепнять без перезагрузки сервера

круто!

А почему неудобно в zookeeper хранить?

По дефолту неудобно, у меня для этих целей своя структура для хранения конфигов в ZK + агенты для серверов которые понимают что обновить и нужно ли каскадно ребутать сервера если нужно

не могу найти инфу про обновление сервера

КХ нормально обновляется через несколько версий

если нет каких то фатальных изменения для вас в ченджлоге то да

КХ нормально обновляется через несколько версий

Он и при обновлении на следующую версию может вам что-нибудь отчекрыжить, а может и через несколько версий легко взлететь.

Он и при обновлении на следующую версию может вам что-нибудь отчекрыжить, а может и через несколько версий легко взлететь.

ну бывает софт который надо обновлять только на следующую версию

ну бывает софт который надо обновлять только на следующую версию

а с КХ как?

с кх можно прыгать

С бубном )