то есть макросы мне надо в основной конфиг запихать?

угу, тогда съелось

https://clickhouse.yandex/docs/en/operations/server_settings/settings/#server_settings-include_from можно заменить /etc/metrica.xml на свое

Я бы смотрел в сторону /etc/clickhouse-server/conf.d/macros.xml

Я стараюсь вообще не трогать конфиг из пакета, а свои правки складывать в conf.d

В рабочем конфиге в самом начале будет написано в каком порядке он патчил конфиг

Ребят, а в новой версии пофикшена регрессия с подзапросами?

Еще нет, будет тут - https://github.com/yandex/ClickHouse/pull/2313 осталось немного проверить

Еще нет, будет тут - https://github.com/yandex/ClickHouse/pull/2313 осталось немного проверить

Супер! Могу потестировать :) у нас много подзапросов в from.

там надо проверить нет ли race когда несколько тредов работает, а так обычные тесты оно проходит, и тот мега запрос который бесконечный - тоже быстро работает

Это отличные новости! Смотрю сочные чейнджлоги и слюной уже изошелся!

коллеги, третий день пытаюсь победить ODBC в качестве линка на MSSQL сервере - не хочет выводить именно String тип пробовали уже и ANSI и UNICODE драйвера, все остальное выводит корректно, на локальном ПК тоже работает, что можно сделать?

а нет способа описать таблицу в кх как словарь, без использования xml файлов? таблицы в одной базе, не хочется через настройки мудрить там. а dictGet* хочется использовать.

Коллеги, какой тип то вместо string использовать что бы mssql все понял?

Тут же есть разработчик odbc драйвера?

@proller пинг :)

товарищи, в system.merges залипли несколько мержей ┌──────────────────m─┬─────────────progress─┬────────────────size─┬─columns_written─┐ │ 4060.4021692276 │ 0.6059468587239583 │ 3.7491559982299805 │ 0 │ │ 3068.132290840149 │ 0.09206136067708333 │ 1.8919343948364258 │ 0 │ │ 3044.28293132782 │ 0.04974365234375 │ 0.38985538482666016 │ 0 │ │ 2176.2534503936768 │ 0.08200307992788462 │ 1.4531497955322266 │ 0 │ │ 1713.4255847930908 │ 0.005086263020833333 │ 0.36809539794921875 │ 0 │ Это норм ?

Народ, а есть в кх какие-нибудь ограничения на количество таблиц или количество баз? Типа если насоздается миллион таблиц или миллион баз с миллионом таблиц внутри

Народ, а есть в кх какие-нибудь ограничения на количество таблиц или количество баз? Типа если насоздается миллион таблиц или миллион баз с миллионом таблиц внутри

Можете попробовать, но на каждую таблицу КХ понасоздает потоков и в конечном итоге ваша система грохнется так ничего и не делая

Можете попробовать, но на каждую таблицу КХ понасоздает потоков и в конечном итоге ваша система грохнется так ничего и не делая

Хм

А в рамках кх, какая схема тогда верная, если есть много много данных от разных пользователей? Все в одну таблицу свалить?

А в рамках кх, какая схема тогда верная, если есть много много данных от разных пользователей? Все в одну таблицу свалить?

Конечно, она везде такая

Конечно, она везде такая

Спасибо

в чем может быть ошибка? описан словарь из таблицы кх с такой структурой <structure> <key> <attribute> <name>Root</name> <type>String</type> </attribute> </key> <attribute> <name>DateStamp</name> <type>Date</type> <null_valuYe></null_value> </attribute> </structure> при запросе SELECT dictHas('dictTable',tuple('nosuchstring')) ; выдает Code: 1000. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Syntax error: Not a valid unsigned integer:

<null_value></null_value> для даты не может быть пустым

коллеги, третий день пытаюсь победить ODBC в качестве линка на MSSQL сервере - не хочет выводить именно String тип пробовали уже и ANSI и UNICODE драйвера, все остальное выводит корректно, на локальном ПК тоже работает, что можно сделать?

а нет готового куска sql который настроит этот linked server и сделает к нему запрос? попробую сегодня посмотреть что ему не нравится.

а нет готового куска sql который настроит этот linked server и сделает к нему запрос? попробую сегодня посмотреть что ему не нравится.

Попробую получит его, схема чуть не тривиальна, но тот же oracle/Postgres прекрасно с линком работают

каждый софт использует odbc немного по разному, а в драйвере реализованы не все функции

@milovidov_an , @kochetovnicolai , ребят, а есть способ посмотреть что происходит? Клик уходит в полку по памяти и умирает, либо от ручного kill -9 либо от OOM-киллера. Памяти 128. В нормальном состоянии ест не больше 40. Ничего необычного в запросах нет. В perf top SpinLock::SlowLock в лидирующих позициях. Третий день уже только и остается, что рестартить.

Я связывал это с мержами, но, похоже, с этим процессом падения связаны мало

вот ещё спутник СлоуЛока tcmalloc::PageHeap::AllocLarge

каждый софт использует odbc немного по разному, а в драйвере реализованы не все функции

Так вот странно что обычный mssql не умеет в string, это какой то дикий косяк

Так вот странно что обычный mssql не умеет в string, это какой то дикий косяк

mssql может позволить себе все

Так вот странно что обычный mssql не умеет в string, это какой то дикий косяк

Это скорее всего драйвер не умеет что-то нужное для mssql Я в течении часа сделаю свежий билд вендового драйвера - там пара улучшений которые могут помочь, если нет - пойду покупать. Sql сервер для тестирования ;-)

Это скорее всего драйвер не умеет что-то нужное для mssql Я в течении часа сделаю свежий билд вендового драйвера - там пара улучшений которые могут помочь, если нет - пойду покупать. Sql сервер для тестирования ;-)

А зачем покупать?) есть же вроде бы бесплатный и даже в докере

Это почти шутка была

черт =( не распознал сарказм

У меня есть версия которая в 12:00 превращается в тыкву

т.е в моем случае можно попробовать новую версию драйвера и если не поможет - забить и делать интеграцию по другому?

Нет я буду препарировать и чинить потому что это всем нужно

Нет я буду препарировать и чинить потому что это всем нужно

+1, тоже жду рабочий ODBC

Нет я буду препарировать и чинить потому что это всем нужно

вот этот issue похоже тоже самое https://github.com/yandex/clickhouse-odbc/issues/25

что интересно - в тексте ошибки он текстовое поле (string) выводит =) а вот по нормальному - нет

а нет готового куска sql который настроит этот linked server и сделает к нему запрос? попробую сегодня посмотреть что ему не нравится.

запрос: /* ANSI */ EXEC master.dbo.sp_addlinkedserver @server = N'NewLink' ,@srvproduct=N'Clickhouse' ,@provider=N'MSDASQL' ,@provstr=N'Driver={ClickHouse ANSI};SERVER=server_name;PORT=0000;DATABASE=db_name;' /* Unicode */ EXEC master.dbo.sp_addlinkedserver @server = N'NewLink' ,@srvproduct=N'Clickhouse' ,@provider=N'MSDASQL' ,@provstr=N'Driver={ClickHouse Unicode};SERVER=server_name;PORT=0000;DATABASE=db_name;'

а как-то можно форсировать действие "перечитать словарь"?

а как-то можно форсировать действие "перечитать словарь"?

system reload dictionary

спасибо

@milovidov_an , @kochetovnicolai , ребят, а есть способ посмотреть что происходит? Клик уходит в полку по памяти и умирает, либо от ручного kill -9 либо от OOM-киллера. Памяти 128. В нормальном состоянии ест не больше 40. Ничего необычного в запросах нет. В perf top SpinLock::SlowLock в лидирующих позициях. Третий день уже только и остается, что рестартить.

Можно посмотреть характер роста потребления памяти - постепенно растёт или вдруг. Как часто это происходит. Во втором случае посмотреть запросы до падения - в обычном логе и в system.query_log. По system.query_log узнать, какие запросы не выполнились до момента падения. Еще можно ограничить определённый вид нагрузки и посмотреть на эффект.

В целом, ничего такого не происходит, что выбивалось бы из общей картины

всем здрасти. пробую репликацию запустить. 2018.05.15 15:12:04.523631 [ 26 ] <Error> void DB::StorageReplicatedMergeTree::queueUpdatingThread(): Code: 287, e.displayText() = DB::Exception: Unknown ReplicatedMergeTreeLogEntry format version: 4, e.what() = DB::Exception, Stack trace: что это значит?

разные версии кх что ли ?

о, и правда чуть-чуть разные билды

не подумал об этом, спасибо

вообще разные версии с разными версиями в кх не работают вроде как было в доке

есть актуальная репа для centos-7 ?

Можно посмотреть характер роста потребления памяти - постепенно растёт или вдруг. Как часто это происходит. Во втором случае посмотреть запросы до падения - в обычном логе и в system.query_log. По system.query_log узнать, какие запросы не выполнились до момента падения. Еще можно ограничить определённый вид нагрузки и посмотреть на эффект.

растет довольно быстро где-то полчаса-сач работает нормально, а потом залипает и нагрузку начинает съедать slowlock

А по query_log видно, какие запросы начали выполняться до падения, но не завершились?

т.е в моем случае можно попробовать новую версию драйвера и если не поможет - забить и делать интеграцию по другому?

https://github.com/yandex/clickhouse-odbc/releases/tag/2018-05-15 вот новая

КХ умеет в зукипер с авторизацией ходить?

Не встречал там такого

У меня по айпи просто все закрыто

в приватной сети это непринципиально. а я кластерна хецнеровских серваках строю. в каждом прописывать IP-адрес каждого в iptables накладно(

ансибл наше все

ну или там шеф, папет. солт

прописываешь один раз и накатываешь

у нас тоже хетзнер + овх

добрый день.

допустим есть функция, которая возвращает список

например quantiles

как мне распаковать результат, чтобы в csv оно выглядело как набор знаений, а не как строка с массивом вовнутре?

сейчас строка в csv выглядит так 997900,"[766.5039,766.5039,766.5039]"

select t, quantilesExact(0.98, 0.99, 1.00)(value) from blablabla

как мне распаковать результат, чтобы в csv оно выглядело как набор знаений, а не как строка с массивом вовнутре?

Набор значений - набор строк в csv? Если да, тогда так select t, arrayJoin(quantilesExact(0.98, 0.99, 1.00)(value)) from blallala

сейчас строка в csv выглядит так 997900,"[766.5039,766.5039,766.5039]"

С arrayJoin будет так 997900, 766.5039 997900, 766.5039 997900, 766.5039

да, это не то.

надо чтобы сохранился набор квантилей

997900,766.5039,766.5039,766.5039

типа так

а

я понял

но это не то все равно )

ладно поковыряю щас может какие-то вложенные запрос придется накрутить

Т.е. вам нужно для каждой записи с колонкой типа массив получить одну запись с кол-вом колонок - сколько элементов в массиве? 997900, 766.5039, 766.5039, 766.5039 так?

https://github.com/yandex/clickhouse-odbc/releases/tag/2018-05-15 вот новая

Поставили эту версию - ошибка не поменялась, String все еще не возвращает =(