arraySort?

:) select arraySort([1, 5, 2, 9, 3, 8, 18, 4]) ┌─arraySort([1, 2, 3, 4, 5, 8, 9, 18])─┐ │ [1,2,3,4,5,8,9,18] │ └──────────────────────────────────────┘ класс )) а в доке нема

еще такая есть :) select arrayReverseSort([1, 5, 2, 9, 3, 8, 18, 4]) ┌─arrayReverseSort([1, 5, 2, 9, 3, 8, 18, 4])─┐ │ [18,9,8,5,4,3,2,1] │ └─────────────────────────────────────────────┘

а там нету сразу nDCG@K ?

не ужели все так плохо? Вешаться на вставку ? Или и чтении в том числе ? Я пока столькнлся только с тем что место на диске выжирается, но это при нескольких тысячах инсертов в секунду

Я баловался до поры инсертами в сотню потоков. Выжимал хороший инсерт рейт, но как только стал писать чуточку больше (объем данных), то КХ стало плохо. Он действительно подвисал на фоновых мерджах. У меня на сервере крутится 100 процессов, которые обрабатывают данные и готовят к записи в КХ. Я просто пишу все это дело в кучу по разным файлам. Раз в минуту формирую список файлов, которые нужно вставить в КХ, перемещаю их в другую директорию, мерджу в один файл и вставляю. Максимальная задержка - 1 минута, что вполне себе ок., учитывая то, что это не вешает сервак даже на чтение, а api падало по таймаутам достаточно часто, несмотря на то, что у меня 4 шарда по 2 реплики.

еще такая есть :) select arrayReverseSort([1, 5, 2, 9, 3, 8, 18, 4]) ┌─arrayReverseSort([1, 5, 2, 9, 3, 8, 18, 4])─┐ │ [18,9,8,5,4,3,2,1] │ └─────────────────────────────────────────────┘

Можно сделать PR в гитхабе с исправленной документацией! :)

Я баловался до поры инсертами в сотню потоков. Выжимал хороший инсерт рейт, но как только стал писать чуточку больше (объем данных), то КХ стало плохо. Он действительно подвисал на фоновых мерджах. У меня на сервере крутится 100 процессов, которые обрабатывают данные и готовят к записи в КХ. Я просто пишу все это дело в кучу по разным файлам. Раз в минуту формирую список файлов, которые нужно вставить в КХ, перемещаю их в другую директорию, мерджу в один файл и вставляю. Максимальная задержка - 1 минута, что вполне себе ок., учитывая то, что это не вешает сервак даже на чтение, а api падало по таймаутам достаточно часто, несмотря на то, что у меня 4 шарда по 2 реплики.

Спасибо, а реплики с replicatedMergeTree или distributed ?

Спасибо, а реплики с replicatedMergeTree или distributed ?

replicated, а поверх них distributed (на всех шардах и репликах), пишу данные в случайную реплику

Т.е. случайно одну из восьми машин выбираю и туда пишу

replicated, а поверх них distributed (на всех шардах и репликах), пишу данные в случайную реплику

Тогда надо в сторону буфер смотреть

Спасибо, а реплики с replicatedMergeTree или distributed ?

Тут все используют репликейтед нет смысла его не использовать если нужна гарантия одинаковых данных на репликах

Т.е. случайно одну из восьми машин выбираю и туда пишу

Блин, не могу найти документы как этот зоокипер настроить

Тогда надо в сторону буфер смотреть

Я буфер использую тоже, но для таблиц в которые данные ну просто в ничтожных количествах пишутся

Тут все используют репликейтед нет смысла его не использовать если нужна гарантия одинаковых данных на репликах

Так distributed тоже режим реплики поддерживает , но смущает что почему то данные могут немного разъехаться

Я буфер использую тоже, но для таблиц в которые данные ну просто в ничтожных количествах пишутся

В ничтожных - это сколько ?, в доке пишут что несколько тыщ в секунду держит

Ну, это если по одной строке писать ) я пишу в такие таблице не чаще чем 500 строк в минуту. Просто данных больше нет.

Блин, не могу найти документы как этот зоокипер настроить

Оно по дефолту умеет , вы разберитесь что такие зукипер сперва

Так distributed тоже режим реплики поддерживает , но смущает что почему то данные могут немного разъехаться

Ну тут очевидно если что то пошло не так оно не умеет разруливать это

ну там репликацией, в понимании этого слова, и не пахнет, просто данные дублируются и все. а тут тебе реплика и попорченные данные сама скачает, и не позволит дубли записать, и восстановится после сбоя, одни плюсы

В ничтожных - это сколько ?, в доке пишут что несколько тыщ в секунду держит

Ну там надо понимать что можно записать что тысяч сорок в секунду одним батчем но нельзя записать сто тысяч строк по одной

Ну там надо понимать что можно записать что тысяч сорок в секунду одним батчем но нельзя записать сто тысяч строк по одной

Это я понял , в принципе устраивает

Блин, не могу найти документы как этот зоокипер настроить

Зукипер это как etcd примерно только по сути распределённая файловая система на джава

Оно по дефолту умеет , вы разберитесь что такие зукипер сперва

Завтра попробую разобраться, сегодня с наскоку не получилось . Доку для разработчиков надо читать ? Или для админов ?

Ок, буду настраивать replicated tree

Для админов

sum(чего то) выдало NULL

чего это может быть

понятно - это так таббикс NaN читает

а правильно ли я понимаю что Common/ProfileEvents.h эта статистика не хранится в system таблицах и может быть доступна только через <use_graphite>true</use_graphite> ?

а правильно ли я понимаю что Common/ProfileEvents.h эта статистика не хранится в system таблицах и может быть доступна только через <use_graphite>true</use_graphite> ?

В system.events доступна

В system.events доступна

SELECT * FROM system.events не могу найти DuplicatedInsertBlocks со значнеием 0 в graphite выгружается оно там появляется только есил репликация есть?

а у нас sqrt есть, а sqr нету?

а у нас sqrt есть, а sqr нету?

значит не нужна!

ну так это не только у нас

но i * i должно вам помочь

ну да, я и говорю – не нужна. там просто не i, а просто myVeryVeryLongNamedColumn поэтому и спросил )

а что-то типа POW нет разве?

да, оно, спасибо

AsynchronousMetrics.MaxPartCountForPartition а кто нибудь может точно объяснить что именно означает эта метрика?

парни привет, вы наверно сталкивались с проблемой DB::Exception: Timeout exceeded: elapsed 5.000088625 seconds, когда запрос после 5 секунд валится, есть атрибут max_execution_time, который отвечает за это дело, но при прописывании в конфиге и ребуте после этого, значение в таблице settings остается тем же

может быть я что-то неправильно делаю

у вас были подобные проблемы?

ребут не нужен, подхватывается налету, прописывается в профиль в файле users.xml

ребут не нужен, подхватывается налету, прописывается в профиль в файле users.xml

спасибо, думал, что в config.xml

https://clickhouse.yandex/docs/ru/operations/settings/settings_profiles/

https://clickhouse.yandex/docs/ru/operations/settings/settings_profiles/

отлично, спасибо

Народ, подскажите, а есть ли в РФ компании, предоставляющие поддержку CH?

Народ, подскажите, а есть ли в РФ компании, предоставляющие поддержку CH?

altinity.com

Они вроде в UK

Они вроде в UK

Они вполне себе и в России, вы можете связаться @alexanderzaitsev

Они вполне себе и в России, вы можете связаться @alexanderzaitsev

Спасибо!

Привет! Кто нибудь использует коннект к КХ из node js?

Привет! Кто нибудь использует коннект к КХ из node js?

Привет, я использую

Привет, я использую

node-clickhouse этот? он стабилен?

у нас в продакшене вот это https://github.com/apla/node-clickhouse стабилен, проблем нет

добрый день подскажите пожалуйста какие допустимые значения для настройки distributed_product_mode в документации этого нет

Ачввпммрьодлтииттто

робит-робит

добрый день подскажите пожалуйста какие допустимые значения для настройки distributed_product_mode в документации этого нет

"deny", "local", "global", "allow"

"deny", "local", "global", "allow"

спасибо. а не подскажите заодно для каких случаев какое значение? )

Я не знаю, но есть вот такой кусок кода: /// The setting for executing distributed subqueries inside IN or JOIN sections. enum class DistributedProductMode { DENY = 0, /// Disable LOCAL, /// Convert to local query GLOBAL, /// Convert to global query ALLOW /// Enable };

спасибо

Мм, господа, подтвердите плиз, допустим есть шард, в нем к примеру 2 реплики, на которых при запуске были вывполнены правильные create table, затем на одной из реплик были выполнены какие либо alter, которые успешно отреплицировались, теперь я добавляю 3 реплику в шард, для того чтобы поднялась репликация я на новой реплике так же должен сказать create table, теперь вопрос схема таблицы должна быть такая же точно как на тех двух уже сущесвтующих репликах?

Да, с учетом примененого ALTER'а

мы не можем залить на новую реплику некую промежуточную схему и затем при помощи alter довести ее до состояния остальных реплик в шарде, поскольлку это корректируюшие alter бутут в свою очередь реплицированы, что может привести к странным результатам (если таблица вообще создастся)

ясно, спасибо

Подскажите пожалуйста, почему может не проходить репликация в одном направление. Есть две таблица с репликациеями между ними, если писать в node1 , то данные в node2 появляються, Наборот - нет. Причем в system.replicas видно что queue_size увеличивается. Тут http://collabedit.com/vpg4u по system_replicas результат селектов.

Проверьте доступность порта 9009 на node1 с node2

Проверьте доступность порта 9009 на node1 с node2

проверил, все ок

а вот с node1 на node2 не пашет

Подскажите пожалуйста, почему может не проходить репликация в одном направление. Есть две таблица с репликациеями между ними, если писать в node1 , то данные в node2 появляються, Наборот - нет. Причем в system.replicas видно что queue_size увеличивается. Тут http://collabedit.com/vpg4u по system_replicas результат селектов.

В system.replication_queue почему оно не работает

С node1 резолвится node2?

В system.replication_queue почему оно не работает

да, там last_exception: Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused, e.what() = Connection refused

С node1 резолвится node2?

резолвится

да, там last_exception: Poco::Exception. Code: 1000, e.code() = 111, e.displayText() = Connection refused, e.what() = Connection refused

Вот, в /var/log/clickhouse-server/clickhouse-server.err.log будет более подробно куда он стучится и вот то куда он стучится недоступно

проверил, все ок

Я следовал вашему сообщению. Если верить логу что вы дали то проблемы с доступом как раз к node2, и данные не появляются в ней, так как очередь копится на первой. Посмотрите в настройки node2, возможно на ней просто закрыт порт, она слушает неправильный адрес, или прописано что-то плохое в https://clickhouse.yandex/docs/en/operations/server_settings/settings/#interserver_http_port

Я следовал вашему сообщению. Если верить логу что вы дали то проблемы с доступом как раз к node2, и данные не появляются в ней, так как очередь копится на первой. Посмотрите в настройки node2, возможно на ней просто закрыт порт, она слушает неправильный адрес, или прописано что-то плохое в https://clickhouse.yandex/docs/en/operations/server_settings/settings/#interserver_http_port

спасибо, разобрался, просто node2 слушал локалхост . Как раз с node1 на node2 проходила репликация, в другую сторону нет, проверил дважды.

проверил, все ок

?

а кто нить у себя в проде дедупликацию отключает для репликейтед таблиц ?

Там дедупликация на уровне блоков, чтоб она рабатола нужно постораться.

по дефолту 100 блоков, я возможно упрусь, так как планирую активно юзать ReplicatedAggregatingMergeTree

Вам для дедупликации нужно гарантировать что вы вставляете полностью идентичные блоки (тогда КХ поймет что это дубли)

Пример: У нас есть демон который читает из кафки и сбрасывает блоки по таймеру или при определенном количестве строк в блоке. Если что-то пошло не так эти строки из буфера не удаляются и встявятся потом, в каком это будет порядке не понятно, как и количество строк которое мы сбросим. Поэтому у нас дедупликация работать не может

Но! У нас CollapsedMergeTree который по PK удалит дубликаты

ок, наверное действительно надо постараться что бы в проде попасть на дедупликацию

Добрый вечер. Если в clickhouse-client вставить из буффера какой-нибудь длиннющий многострочный запрос - то фрагменты этого запроса (обычно на конце линий) волшебным и весьма неприятным образом теряются. Сначала грешил на screen/ssh но локально тоже самое. Кто-то сталкивался, или это у меня какой-то неправильный билд?

а если в какой-нибудь vim-mcedit вставлять то все норм ?

Всем добрый вечер. Есть желание ходить в кликхаус спарком, кто-какие способы оптимизации этого дела знает (помимо не ходить)? Поделитесь, пожалуйста

Всем добрый вечер. Есть желание ходить в кликхаус спарком, кто-какие способы оптимизации этого дела знает (помимо не ходить)? Поделитесь, пожалуйста

Можно ходить, ничего страшного нет

Это да, но что можно сделать, чтобы это быстрее было? Помимо вдумчивого использования партиций. Вдруг что-то есть.

Обычно я использую для неопределенной даты окончания периода -- 9999-12-31 23:59:59 Получается удобно писать вместо date_begin <= today() and (date_end >= today() or date_end is null) я пишу today() between date_begin and date_end Но CH превращает 9999-12-31 23:59:59 --> 1970-01-01 19:59:59 И что делать? Как жить дальше? Что использовать в виде суперудаленного будущего?

2038

Ок. Спс. Надеюсь я сдохну до 38 года и меня коллеги не достанут за такие красивые грабли.

Там же давно до 2106 подняли