Насчет внешнего источника для пользователей я не в курсе, может быть @milovidov_an что-то знает, но, я не думаю что Яндексу это очень нужно. Понятно что LDAP, например, нужен корпоративным пользователям, а если нужен то это только вопрос времени насколько быстро и в каком виде он появится (и кто его сделает). Сейчас, насколько мне известно, только Altinity выступает как сторонняя компания занимающаяся КХ, может еще кто-то есть и, скорее всего, инициатива должна исходить оттуда.

спасибо за ответ

а не подскажете, как можно сделать distinct с or

типо

select count(distinct A or B) from table

uniq()

Столкнулся с ошибкой: Cannot read all array values: read just 235 of 236. Кто-то знает в чем дело? )

select count(distinct A or B) from table

а что это должно выдавать в ответ?

число уникальных строчек

Столкнулся с ошибкой: Cannot read all array values: read just 235 of 236. Кто-то знает в чем дело? )

Судя по коду https://github.com/yandex/ClickHouse/blob/master/dbms/src/DataTypes/DataTypeArray.cpp#L234 Это происходит, если данные в колонках отличаются

Но странно как КХ такое пропустил оО

число уникальных строчек

число строчек у которых уникально что, A or B?

Но странно как КХ такое пропустил оО

КХ много чего пропускает, потом встать не может :(

число строчек у которых уникально что, A or B?

ну есть 2 поля, уникальность нужно проверять через OR

уникальность через or. интересно. при этом A B это не boolean, да?

уникальность через or. интересно. при этом A B это не boolean, да?

да, А и В это строки)

Добрый день кто нибудь пользовался jdbc драйвером для клика? Постоянно вылетает ошибка соединения

Добрый день кто нибудь пользовался jdbc драйвером для клика? Постоянно вылетает ошибка соединения

Пользуемся, бед не знаем

Добрый день кто нибудь пользовался jdbc драйвером для клика? Постоянно вылетает ошибка соединения

аналогично

Пользуемся, бед не знаем

Можно пример строки соединения. Ужо не знаю что ему не так

Подскажите, а с чем связан такой дескрипшн у свежайшего доступного пакета: Package: clickhouse-server-base Version: 1.1.54378 [...] Description: DEPRECATED PACKAGE: Server binary for clickhouse

Можно пример строки соединения. Ужо не знаю что ему не так

https://github.com/yandex/clickhouse-jdbc/blob/master/src/test/java/ru/yandex/clickhouse/ClickHouseConnectionTest.java

Но странно как КХ такое пропустил оО

Это, видимо, у вас в Nested разные по длине колонки, сейчас КХ действительно никак это не чекает, просто пишутся как колонки где идет: название Nested структуры; точка; название колонки в структуре

Это, видимо, у вас в Nested разные по длине колонки, сейчас КХ действительно никак это не чекает, просто пишутся как колонки где идет: название Nested структуры; точка; название колонки в структуре

Ну я тоже так подумал. Придется у себя это проверять. Раньше кх ругался на такое.

КХ много чего пропускает, потом встать не может :(

Вставляются они нормально, но при чтении он этот блок выкинет

https://github.com/yandex/clickhouse-jdbc/blob/master/src/test/java/ru/yandex/clickhouse/ClickHouseConnectionTest.java

Спасибо

Ну я тоже так подумал. Придется у себя это проверять. Раньше кх ругался на такое.

Значит регрессия, надо править

Подскажите, а с чем связан такой дескрипшн у свежайшего доступного пакета: Package: clickhouse-server-base Version: 1.1.54378 [...] Description: DEPRECATED PACKAGE: Server binary for clickhouse

Теперь лучше использовать clickhouse-client и clickhouse-server

@milovidov_an @ztlpn @kochetovnicolai завести issue?

Значит регрессия, надо править

Это, видимо, у вас в Nested разные по длине колонки, сейчас КХ действительно никак это не чекает, просто пишутся как колонки где идет: название Nested структуры; точка; название колонки в структуре

Да, лучше завести. При вставке, если правильно помню, действительно нет такой проверки.

Вы случаем не в Роскомнадзоре работаете?)

я не прошёл собеседование, не благонадёжен и недостаточно неадекватен

вы себя недооцениваете

я не прошёл собеседование, не благонадёжен и недостаточно неадекватен

?

а как будет вести себя таблица join, если я начну в нее лить дубли?

а как будет вести себя таблица join, если я начну в нее лить дубли?

Скорее всего покорно примет данные

Подскажите, пожалуйста, как и куда надо прописать use_uncompressed_cache? Да и все параметры https://clickhouse.yandex/docs/en/operations/settings/settings

Подскажите, пожалуйста, как и куда надо прописать use_uncompressed_cache? Да и все параметры https://clickhouse.yandex/docs/en/operations/settings/settings

В профиль прописать https://clickhouse.yandex/docs/ru/operations/settings/settings_profiles/

Да, лучше завести. При вставке, если правильно помню, действительно нет такой проверки.

https://github.com/yandex/ClickHouse/issues/2231

Спасибо!

Сейчас еще закину файлец с данными

В профиль прописать https://clickhouse.yandex/docs/ru/operations/settings/settings_profiles/

Спасибо!

Сейчас еще закину файлец с данными

Возможно, достаточно вставить 1 строку с массивами разного размера, чтобы запрос упал?

Я точно не знаю. Я пытался сейчас на разных версиях с таблицей другой структуры это провернуть, что только не делал - не получилось. А вот конкретно со структурой как в issue и данными как в файле (там всего одна строка) - запрос на select * падает. На самом деле падает в любом случае, когда пытается nested прочитать

Возможно, достаточно вставить 1 строку с массивами разного размера, чтобы запрос упал?

Скорее всего я смогу воспроизвести на минимальном примере, 5 мин

Добавил небольшой пример для воспроизведения

Спасибо!

Добавил небольшой пример для воспроизведения

Спасибо! Я пробовал пример с одной строкой в Nested колонку и двумя значениями в массиве :) А вот наоборот не попробовал.

Всем привет. Может ли кто помочь с тонкой настройкой chproxy и CH? Напишите плиз в личку. А то один разобраться не могу. Само собой не даром.

При отправке 3 партий из 1800 запросов на добавления возникают ошибки у некотрых запросов: Unknown error field: Error: read ECONNRESET Error: [ Id: 151B87319A4EE08F; User "default"(3) proxying as "default"(3) to "127.0.0.1:8123"(8); RemoteAddr: "135.159.86.36:43190"; LocalAddr: "135.159.86.36:9090"; Duration: 2.001769892s ]: cannot reach 127.0.0.1:8123; query: ""

А ClickHouse на машине с chproxy есть? Он у вас на localhost запросы шлет

А ClickHouse на машине с chproxy есть? Он у вас на localhost запросы шлет

да именно так

Когда сократил max_concurrent_queries с 10 до 2 ошибок стало значительно меньше

Т.е. вы шлете 1800 INSERT за раз ?

шлите один инсерт с 1800 записями это решит ваши проблемы

try { await ctx.getDB().querying(query); } catch (e) { console.error("Error /push-call-data", query, e) } // и таких query - 1800 - 3 раза

шлите один инсерт с 1800 записями это решит ваши проблемы

А что делать если это невозможно?

А что делать если это невозможно?

Писать в MySQL/PostgreSQL etc )

1800 INSERT - это поток или разовое?

Если разовое (скажем, раз-два в минуту) - можно и Buffer прикрутить.

Писать в MySQL/PostgreSQL etc )

Можите объяснить почему такие проблемы. и При уменьшении в chproxy max_concurrent_queries с 10 до 2 уменьшает количество ошибок?

1800 INSERT - это поток или разовое?

1. Это поток. 2. Buffer уже прикручен. Изменение параметров буфер таблицы не влияет.

Можите объяснить почему такие проблемы. и При уменьшении в chproxy max_concurrent_queries с 10 до 2 уменьшает количество ошибок?

Он начинает в очереди держать запросы и одновременно пишет меньше.

Он начинает в очереди держать запросы и одновременно пишет меньше.

Кеш что-то исправит. Но хорошо, а почему 10 одновременно для него проблема?

Кеш что-то исправит?

Кеш что-то исправит. Но хорошо, а почему 10 одновременно для него проблема?

КХ заточен под вставку данных блоками, а не по одной строке

КХ заточен под вставку данных блоками, а не по одной строке

Понятно. Но эти данные сначала пишутся в Buffer таблицу, которая как я понимаю и призвана решить данный вопрос?

Понятно. Но эти данные сначала пишутся в Buffer таблицу, которая как я понимаю и призвана решить данный вопрос?

В нее тоже не рекомендуется лупить по одной записи в цикле

я такой рекомендации не видел

т.е. почему с обычными таблицами так не рекомендуется — всё предельно очевидно: каждый инсерт превращается в отдельный файл на fs. со всемы вытекающими, в том числе и с последующим мерджем

В нее тоже не рекомендуется лупить по одной записи в цикле

Так что тогда делать, допустим идет поток данных 1000 в секунду и их надо писать в одну таблицу

Причем интересная закономерность. Если 500 записей в одном потоке и поток 1 - то все отлично. Если в течении 1 сек послать послать еще один поток в 500 записей начинаются ошибки.

Так что тогда делать, допустим идет поток данных 1000 в секунду и их надо писать в одну таблицу

Пишем в очередь, а из нее читаем и переодически сбрасываем одним инсертом в БД

я такой рекомендации не видел

Так вот и не понятно зачем тогда Buffer

Пишем в очередь, а из нее читаем и переодически сбрасываем одним инсертом в БД

chproxy так может?

Пишем в очередь, а из нее читаем и переодически сбрасываем одним инсертом в БД

Да и по сути это Buffer получается — разве нет?

chproxy так может?

Нет конечно, он просто прокси

В Buffer не рекомендуется писать по одной записи потому, что это "не оптимально". Работать будет, но throughput будет всё равно значительно меньше, чем при вставке пачками. Впрочем, это почти для любой базы верно.

это даже для памяти верно

Ну да, вопрос в степени замедления. У Алексея в презентации с highload были замеры.

Да и по сути это Buffer получается — разве нет?

думаю, разница содержится в логике слияния множества запросов в блоки в Buffer-e

@milovidov_an а почему не взяли нормальные trie из rbldnsd?

Мне вообще не нравится библиотека btrie, я бы сделал по-другому.

так она же third party

а как будет вести себя таблица join, если я начну в нее лить дубли?

Это зависит от того, какой Join - ANY или ALL. В первом случае дубли отфильтруются, а во втором - сохранятся и будут потом участвовать в JOIN-е.

так она же third party

Да, надо выкинуть и сделать всё по-другому.

@milovidov_an https://github.com/vstakhov/rspamd/tree/master/contrib/lc-btrie - вот что я использую

оно очень быстрое и отлично работает одновременно с v4/v6 адресами

у меня раньше были бенчмарки, но я их со временем выкинул

у меня раньше были бенчмарки, но я их со временем выкинул

Там нет мотивации использовать что-то вместо массива: https://github.com/yandex/ClickHouse/pull/785#issuecomment-301393072

мы для вставки используем kafka, КХ сам забирает из нее данные когда ему будет нужно

@milovidov_an преимущество префиксного дерева в том, что если есть 192.168.1.0/24 -> X и есть более специфичный префикс 192.168.1.1/32, то при поиске 192.168.1.1 будет возвращен именно он

ну вот немного померял скорость лукапов

в таблице 512 тысяч случайных ipv6 записей

91740237634 тика на 52 миллиона лукапов

или в районе 1700 тиков на лукап