Всем привет. А тут есть гошники? В частности, может кто-то работал с пакетом github.com/kshvakov/clickhouse? Не могу найти, как можно с помощью него работать с Nested типом. Ну или может быть кто-то знает пути получше, как можно в кликхаус пихнуть что-то вроде такой структуры Server https://play.golang.org/p/SlBLm3LloRd, чтоб и вложенный слайс клиентов также мог быть помещен в кликхаус?

Nested - это просто несколько массивов с одинаковым префиксом, массивами и пишите.

у нас неравномерная нагрузка, поэтому бывает, что 65к зайдет за секунду, а бывает, что за 5 секунд и 100 не наберется

так дело-то не в 65к, а в гранулярности партов. почему-то они вам в разные парты падают, может вы настройки слишком мелко накрутили?

не крутил вообще ничего вроде, куда смотреть?

в диск не упирается, iostat в порядке

ну третий параметр при создании мержтри таблицы

зукипер отдельно

8192

дефолтный

хотя это лучше более шарящие товарищи пусть подскажут. просто сама идея - большие парты делать при инсёрте

до этого с такой же нагрузкой больше месяца работало

не крутил вообще ничего вроде, куда смотреть?

system.merges, system.replication_queue

system.merges на всех трех нодах пустые

хм… мы тут подняли на днях в тестовом режиме машину, на которой созданы те же таблицы, но она в отдельном кластере

и есть такие записи: (простыня удалена) суть в том, что там есть записи с source_replica = IP это машины, которая в read-only режиме предполагается для пассивного стягивания данных с основного кластера

выключил инстанс с предполагаемо пассивной репликой, размер replication_queue пополз вниз

Nested - это просто несколько массивов с одинаковым префиксом, массивами и пишите.

Я просто мало работала с бд раньше. Я нашла как это сделать с помощью sql-запроса, а вот как сделать именно с помощью этого пакета найти не могу

у кого-то есть опыт настройки такой репликации? чтобы была машина, которая пассивно пуллит на себя все изменения, не проявляя активного участия в жизни кластера?

Парни, подскажите, куда покопать пожалуйста. При перезапуске кликхауса в логах зукипера на одной их трех нод пишется много строк вида Got user-level KeeperException ... Error Path:/clickhouse/tables/1-1/table_name/replicas/172.16.100.159/mutation_pointer Error:KeeperErrorCode = NodeExists for /clickhouse/tables/1-1/table_name/replicas/172.16.100.159/mutation_pointer и тому подобное

на машинах была проблема - закончилась память. возможно это "свело с ума" кликхаус или зукипер

пересоздайте

у кого-то есть опыт настройки такой репликации? чтобы была машина, которая пассивно пуллит на себя все изменения, не проявляя активного участия в жизни кластера?

это по дефолту так работает , просто не обращайтесь на эту машину

что пересоздать?

что пересоздать?

ноду

это по дефолту так работает , просто не обращайтесь на эту машину

не писать?

не писать?

не пишите

так я же говорю, там пользователь read-only

у кого-то есть опыт настройки такой репликации? чтобы была машина, которая пассивно пуллит на себя все изменения, не проявляя активного участия в жизни кластера?

Реплики не работают пассивно, они все выполняют работу с мержами

ноду

боюсь, не очень понял, что конкретно имеется ввиду) снести данные кликхауса и пересоздать, чтобы он подтянул все с другой машины?

на машинах была проблема - закончилась память. возможно это "свело с ума" кликхаус или зукипер

@milovidov_an думаю будет логично добавить в документацию что крайне не рекомендуется размещать зукипер на тех же серверах что и кликхаус, проблемы такие постоянно идут из за этого.

боюсь, не очень понял, что конкретно имеется ввиду) снести данные кликхауса и пересоздать, чтобы он подтянул все с другой машины?

можно снести и кх и зк они подтянут все с других если реплика есть другая конечно

да, есть одна реплика КХ и 2 зукипера

так я же говорю, там пользователь read-only

ну тогда все примерно как вы описываете и работает у вас

я понял, спасибо. Про разделение машин зукипера и КХ - тоже уже в планах. но пока еще не сделано

просто кх очень легко заставить зажрать память запросом

Я просто мало работала с бд раньше. Я нашла как это сделать с помощью sql-запроса, а вот как сделать именно с помощью этого пакета найти не могу

Сначала сделайте структуру таблицы, потом просто пишите INSERT INTO T (Name, Clients.ID, Clients.Country) VALUES (?, ?, ?) где Clients.ID, Clients.Country - это массивы

@milovidov_an думаю будет логично добавить в документацию что крайне не рекомендуется размещать зукипер на тех же серверах что и кликхаус, проблемы такие постоянно идут из за этого.

Дык там и есть вроде такое.

ну значит надо написать запрещено распологать зукипер с кх на одном сервере

ну значит надо написать запрещено распологать зукипер с кх на одном сервере

Не запрещено

просто если мало памяти, КХ может всю скушать

ну по чату видно что это очень часто приводит к проблемам

Но не запрещено

Ха. А вот и нет такого в документации. Странно. Где-то точно читал на видном месте, и девопс наш тоже.

Сначала сделайте структуру таблицы, потом просто пишите INSERT INTO T (Name, Clients.ID, Clients.Country) VALUES (?, ?, ?) где Clients.ID, Clients.Country - это массивы

спасибочки!)

ну по чату видно что это очень часто приводит к проблемам

У меня память не КХ съел) а приложение

ну это еще хуже , надо тоже в документацию

при выполнении простого запроса на дистриб таблице КХ падает с ошибкой: Exception on client: Code: 32. DB::Exception: Attempt to read after eof: while receiving packet from localhost:9000, 127.0.0.1 в error log пусто

а теперь стал выполняться нормально

из-за чего такие ошибки могу возникать?

Добрый день! Вопрос по движку Kafka. Что делать, если в топик попали данные, которые некорректно парсятся движком? Каких-то способов скипнуть строку в доке и гугле не нашел

Добрый день! Вопрос по движку Kafka. Что делать, если в топик попали данные, которые некорректно парсятся движком? Каких-то способов скипнуть строку в доке и гугле не нашел

Мы для этой ситуации завели отдельную очередь (в раббите). И в процессе обработки потока данных, если нашли битое сообщение, кодом переносим от очередь битых сообшений

игрался с materialized view. По результатам имею в show table этот самый view c именем .inner.ipstat_daily - т.е. начинается с точки. и его не получается удалить.

попытка создать заново - приводит к ошибке Table stat..inner.ipstat_daily already exists

Хотя создается оно как CREATE MATERIALIZED VIEW stat.ipstat_daily ...

документация на предмет inner - молчит

.inner - это таблица для резульатов работы matview

разобрался. надо было заново сделать ей attach - тогда удалилась

@Imaskar @stufently @kshvakov кажется, понял, в чем проблема при настройке пассивной реплики не ожидали, что она полноценно принимает участие в процессе репликации и секьюрити-правила были так настроены, что эта реплика могла обращаться к основному кластеру, а он к ней нет. видимо, что-то пошло не так. сейчас в основном кластере 3 машины с репликацией по 2, но, вероятно, репликация пошла через пассивную машину, попытка стянуть данные зафейлилась и дальше пошло снежным комом

@Imaskar @stufently @kshvakov кажется, понял, в чем проблема при настройке пассивной реплики не ожидали, что она полноценно принимает участие в процессе репликации и секьюрити-правила были так настроены, что эта реплика могла обращаться к основному кластеру, а он к ней нет. видимо, что-то пошло не так. сейчас в основном кластере 3 машины с репликацией по 2, но, вероятно, репликация пошла через пассивную машину, попытка стянуть данные зафейлилась и дальше пошло снежным комом

Пассивных реплик не бывает в кх. У каждой репликейтид таблицы есть лидер. Лидер может оказаться на "пассивной" ноде и если у нее проблемы, то у пишущих будет too many parts.

я там выше писал, “пассивная” в контексте предыдущих сообщений

а вообще - интересное замечение, есть какой-то способ исключить определенные машины?

нет. Кто первый встал тот и лидер.

ну третий параметр при создании мержтри таблицы

Это гранулярность индекса, вообще никакого отношения. Слишком подробный индекс приведет к увеличению его в размере и невлезанию в marks cache.

я имел в виду увеличить его, а не уменьшить. но скорее всего не его надо увеличивать, а другой параметр, который я точно не помню

но тут уже выяснилось, что всё-таки не из-за быстрой вставки проблема была, а из-за проблем с репликацией

Не подскажите когда ждать видео с последнего митапа в спб?

Коллеги, подскажите по Engine=Dictionary - при попытке обратиться говорит "2018.08.28 14:06:15.698583 [ 36 ] <Error> executeQuery: Code: 9, e.displayText() = DB::Exception: Sizes of columns doesn't match: id: 0, name: 226, e.what() = DB::Exception (from 127.0.0.1:39970) (in query: select * from dnl.hosts where id=488), Stack trace:" - словарь загружен, количество элементов в нем нужное

Если структура словаря меняется, таблицу надо пересоздавать.

а вообще - интересное замечение, есть какой-то способ исключить определенные машины?

на самом деле есть, надо выставить настройку MergeTree-таблиц replicated_can_become_leader в 0

Товарищи, а баг с паролем юзера default как-то вылечивался? Ситуация: для юзера default поставлен пароль, чтобы кто-нибудь нечаянно не залогинившись под ним, не дропнул потом случайно что-то. При попытке alter table ... drop partition ... в реплицируемой таблице, получаю: `Received exception from server (version 18.10.3): Code: 194. DB::Exception: Received from 127.0.0.1:9003. DB::Exception: Received from ...:9000, 10.100.20.22. DB::Exception: Password required for user default. ` Юзер и пароль для реплик в конфиге серверов (<remote_servers>) прописаны.

Наверно надо он кластер его делать, это связано же вроде что не на лидере дропаешь

на самом деле есть, надо выставить настройку MergeTree-таблиц replicated_can_become_leader в 0

вау, супер. это на верхнему уровне в config.xml? <toplevel> <merge_tree> <replicated_can_become_leader>0</replicated_can_become_leader> </merge_tree> </toplevel>

Но тогда бы наверное из без пароля не работало. Но работает. Как-то ради альтера поднимать кластер, при том что шард один единственный...

вау, супер. это на верхнему уровне в config.xml? <toplevel> <merge_tree> <replicated_can_become_leader>0</replicated_can_become_leader> </merge_tree> </toplevel>

Ага, в merge_tree-секции config.xml. Либо потаблично в CREATE TABLE: CREATE TABLE ... SETTINGS replicated_can_become_leader=0

Спасибо!

Могут быть в разных таблицах.

тогда как такое может быть? ┌─partition─┬─table────┐ │ 201807 │ events │ │ 201807 │ events │ │ 201807 │ events │ │ 201807 │ events │ │ 201808 │ events │ │ 201808 │ events │ │ 201808 │ events │ │ 201808 │ events │

база данных одна

и я так понимаю что дроп вынесет сразу несколько партиций

Партиция одна партов в ней несколько

тогда как такое может быть? ┌─partition─┬─table────┐ │ 201807 │ events │ │ 201807 │ events │ │ 201807 │ events │ │ 201807 │ events │ │ 201808 │ events │ │ 201808 │ events │ │ 201808 │ events │ │ 201808 │ events │

В партиции несколько кусков

Можно дропать как партицию так и парты

В доке это вроде уже есть, хотя изначально не было

В синтаксисе по моему drop partition, drop part

Или типо того

@ztlpn а кх умеет конвертировать типы в конфиге? в коде просто M(SettingBool, replicated_can_become_leader, true) 0/1 сработают или нужно явно true/false?

Партиция одна партов в ней несколько

а как тогда посмотреть парты партиций?

@milovidov_an думаю будет логично добавить в документацию что крайне не рекомендуется размещать зукипер на тех же серверах что и кликхаус, проблемы такие постоянно идут из за этого.

Да. Странно, что там до сих пор так не написано...

SELECT partition, name, table FROM system.parts WHERE active

Да. Странно, что там до сих пор так не написано...

еще добавить что приложение тоже надо отдельно ставить, вроде уже век виртуализации, но вижу просто постоянно все ставят на голое железо

а как тогда посмотреть парты партиций?

команда выше, ну и сами парты можно просто зайти и глянуть в папке дата в каталоге кликхауса

@ztlpn а кх умеет конвертировать типы в конфиге? в коде просто M(SettingBool, replicated_can_become_leader, true) 0/1 сработают или нужно явно true/false?

Нужно явно 0/1 :) true/false не сработают

еще добавить что приложение тоже надо отдельно ставить, вроде уже век виртуализации, но вижу просто постоянно все ставят на голое железо

А это не такая большая проблема. Много случаев, когда ClickHouse селят на серверы рядом с MySQL и кучей посторонних демонов. Тут зависит от конкретной ситуации - иногда всё Ок :)

А это не такая большая проблема. Много случаев, когда ClickHouse селят на серверы рядом с MySQL и кучей посторонних демонов. Тут зависит от конкретной ситуации - иногда всё Ок :)

ну рассматривать надо случаи не ок ))) ну реально надо как то гарантированно резать ресурсы все таки .

SELECT partition, name, table FROM system.parts WHERE active

спасибо, наконец я понял