5-6 в секунду не выглядит критическим

Тут люди писали что вливают по 7 милионов строк в секунду - работает

вот и я о том же

где-то затык и надо понять где

Всё равно нужно через некий батчер группировать данные и делать одни запрос

Скажите, а какие параметры должны быть по времени и по размеру батча? Я просто сейчас тестирую своё приложение и в кх пропадают записи, этого не может быть из-за частой многопоточной вставки ?

и нифига не понятно почему absolute_delay: 2284 растет когда всавки нет

где-то затык и надо понять где

Затык в том, что при каждой вставке делается достаточно много действий с данными. Чтобы CH не помирал от большого кол-ва данных - делайте свой батчер или берите готовый и делайте однопоточную вставку

и почему КХ не мержит ничего хотя есть что и вставка приосановлена

SELECT count(*) FROM system.parts AS active ┌─count()─┐ │ 7816 │ └─────────┘ 1 rows in set. Elapsed: 0.028 sec. Processed 7.82 thousand rows, 1.54 MB (276.94 thousand rows/s., 54.46 MB/s.) :) select count(*) from system.merges; SELECT count(*) FROM system.merges ┌─count()─┐ │ 0 │ └─────────┘ 1 rows in set. Elapsed: 0.001 sec.

Скажите, а какие параметры должны быть по времени и по размеру батча? Я просто сейчас тестирую своё приложение и в кх пропадают записи, этого не может быть из-за частой многопоточной вставки ?

Нужно больше данных, что значит пропадают? Измените вставку так, чтобы вставлять не чаще раза в секунду в один поток. Размер батча - не меньше 1 000 строк

не 10 мин, больше

ну вот должно быть 100 минут

"делайте свой батчер" Я не очень понимаю Я ж показываю что батчами встявляется по 500к

Vladimir вроде бы (я могу ошибаться) что в таком случаи советуют брать buffer таблицы и через них качать данные

если нет возможности свой батчер сделать

"делайте свой батчер" Я не очень понимаю Я ж показываю что батчами встявляется по 500к

ну так у вас по рассчетам выходит 10+ вставок в секунду

а вы говорите что одна

значит ваш батчер не батчер

как это?

код показать?

и нифига не понятно почему absolute_delay: 2284 растет когда всавки нет

Этот делай - это какая разница между неким последним инсером и текущем временем (сюдя по коду)

Нужно больше данных, что значит пропадают? Измените вставку так, чтобы вставлять не чаще раза в секунду в один поток. Размер батча - не меньше 1 000 строк

Пропадает, значит, что вставляю n, а оказывается в базе n - m. Вставляю Батчами по 2000 штук, в 8 потоков, вставка происходит раз 10 минут, но из-за 8 потоков, вставки могут прилететь одновременно

тогда ок c delay понятно

как это?

ну вот так это

ты сказал что за ~10 минут набежало 7000 кусков

"делайте свой батчер" Я не очень понимаю Я ж показываю что батчами встявляется по 500к

Кючевое - не делать паралельные вставки

7000/600

даст количество вставок в секунду

батчер должен быть перед КХ по сути

а не у клиента

альтернативно - попробуйте буферные таблицы взять и поставить их перед Replicated

то есть Distributed -> Buffer -> Replicated

может быть поможет

или как минимум учлушит ситуацию

Пропадает, значит, что вставляю n, а оказывается в базе n - m. Вставляю Батчами по 2000 штук, в 8 потоков, вставка происходит раз 10 минут, но из-за 8 потоков, вставки могут прилететь одновременно

Тот же совет, сделать вставку однопоточной - например в несколько потоко ставлять в buffer таблицы, а потом за раз INSERT .. SELECT

Размеры кусков (часть небольшая) │ 238744 │ │ 150295 │ │ 45537 │ │ 1877 │ │ 3497620 │ │ 45097735 │ │ 100445291 │ │ 25183453 │ │ 24205009 │ │ 8025090 │ │ 2813436 │ │ 2776275 │ │ 640824 │ │ 2951712 │ │ 45963162 │ │ 103841374 │ │ 29787212 │ │ 35136577 │ │ 670064 │ │ 661817 │ │ 694306 │ │ 675514 │ │ 675479 │ │ 1969 │ │ 1659 │ │ 1482 │ │ 1385 │ │ 1635 │ │ 1326 │ │ 1641 │

Подозрительно мелкий размер частей. Как будто мелкими инсертами сыпят в кх.

но там есть особенности

каждая строка это где-то 5-6 int32 и один float 32

Тот же совет, сделать вставку однопоточной - например в несколько потоко ставлять в buffer таблицы, а потом за раз INSERT .. SELECT

Понятно, спасибо. Грустно

Ну я не знаю. Отсюда вроде понятно что батчи не меньше чем bulkSize val insertCount = insert(dataRow.row) count += insertCount i += insertCount if (count >= bulkSize) { flushTo(st) LOG.info("$name: Inserted $count docs into store") count = 0 i = 0 st = repo.prepareNewBatchStatement() }

Совсем не понимаю почему в много потоков писать нехорошо? Ну как рекомендация спасибо, но это ненормально как-то

каждая строка это где-то 5-6 int32 и один float 32

То есть примерно 14Мб на пачку. Не очень верится что они ужимаются кликхаусом до полутора килобайт.

ну я не знаю как вам доказать

я готов предоставить все что вас убедит

может это поможет решить вопрос

Vladimir ты графитные метрики с него собираешь? Если да, покажи что в ClickHouse.ProfileEvents.InsertQuery

ну я не знаю как вам доказать

Я вывел такие правила работы со вставкой в CH: - однопоточная вставка через некий батчер. Несколько источников логов (приложения, клиенты, логи), один вставщик в CH - размер вставки от 10к, меньше часто не имеет смысла

и они же где-то в табличках в system есть

метрики не собираю

system.events

сейчас в табличке посмотрю

eсть такое

│ InsertedRows │ 435003976 │ │ InsertedBytes │ 28657505480 │

│ DelayedInserts │ 288 │ │ RejectedInserts │ 43 │

│ SelectQuery │ 560 │ │ InsertQuery │ 1300 │

Vladimir curl "localhost:8123?query=select+value+from+system.events+where+event='InsertQuery'"; sleep 60; curl "localhost:8123?query=select+value+from+system.events+where+event='InsertQuery'";

сделай так

разница между ними будет количество инсертов за минуту

сейчас вставку включу

пока оно стартует

не мержит почему пока есть возможность? :)

не мержит почему пока есть возможность? :)

Мерджит не сразу, стартует примено раз в 8-10 минут. На то они и фоновые мерджи

INSERTS=$(curl "localhost:8123?query=select+value+from+system.events+where+event='InsertQuery'" 2>/dev/null); while :; do NEW_INSERTS=$(curl "localhost:8123?query=select+value+from+system.events+where+event='InsertQuery'" 2>/dev/null); DELTA=$((NEW_INSERTS-INSERTS)); echo "${DELTA} inserts/min"; sleep 60; INSERTS=${NEW_INSERTS}; done

Vladimir вот такое вот запусти

будет показывать тебе инсерты в минуту )

с некоторой точностью, но все ж

ubuntu@pprod-spm-ch-3:~$ curl "localhost:8123?query=select+value+from+system.events+where+event='InsertQuery'"; sleep 60; curl "localhost:8123?query=select+value+from+system.events+where+event='InsertQuery'"; 1365 1430

Vladimir ну вот у тебя что-то не так с батчером

он не батчит их нифига

ERROR: S client not available

откуда такой вывод

65 в минуту

много?

откуда такой вывод

а, ты не дельту показал

65 в минуту

не, 65 в минуту в целом нормально должно быть

так оно и работало на одной машине

как 3 поставил так и поломалось

Vladimir а без репликации работает?

если просто 3 машины и distributed

не пробовал. я ж не могу все варианты перебрать

ubuntu@pprod-spm-ch-3:~$ INSERTS=$(curl "localhost:8123?query=select+value+from+system.events+where+event='InsertQuery'" 2>/dev/null); while :; do NEW_INSERTS=$(curl "localhost:8123?query=select+value+from+system.events+where+event='InsertQuery'" 2>/dev/null); DELTA=$((INSERTS-NEW_INSERTS)); echo "${DELTA} inserts/min"; sleep 60; INSERTS=${NEW_INSERTS}; done 0 inserts/min -60 inserts/min -67 inserts/min

не пробовал. я ж не могу все варианты перебрать

просто может проблемы с сетью какие-то жестокие?

не может быть

все в одной стойке на AWS

пинги минимальные

почему не может - виртуалки могут оверселится довольно жестко

PING 10.1.1.86 (10.1.1.86) 56(84) bytes of data. 64 bytes from 10.1.1.86: icmp_seq=1 ttl=64 time=0.220 ms 64 bytes from 10.1.1.86: icmp_seq=2 ttl=64 time=0.221 ms 64 bytes from 10.1.1.86: icmp_seq=3 ttl=64 time=0.218 ms

что говорит iperf между хостами?

PING 10.1.1.86 (10.1.1.86) 56(84) bytes of data. 64 bytes from 10.1.1.86: icmp_seq=1 ttl=64 time=0.220 ms 64 bytes from 10.1.1.86: icmp_seq=2 ttl=64 time=0.221 ms 64 bytes from 10.1.1.86: icmp_seq=3 ttl=64 time=0.218 ms

ну это отлично что 84 байта передаются 0.2мс

а что говорит iperf?

берешь iperf на двух хостах

на одном iperf -s (или iperf3 -s)

на втором клиента в bidirectional mode

и смотришь какая полоса

так

sudo apt install iperf поставил

дальше помедленнее плиз

я не совсем с этим всем на ты

iperf -s

на одном хосте

на другом iperf -c IP_хоста_где_уже_запущен_iperf

^Cubuntu@pprod-spm-ch-3:~$ iperf -c 10.1.1.86 —---------------------------------------------------------- Client connecting to 10.1.1.86, TCP port 5001 TCP window size: 325 KByte (default) —---------------------------------------------------------- [ 3] local 10.1.1.251 port 44254 connected with 10.1.1.86 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 5.81 GBytes 4.99 Gbits/sec