Roman костыль на амазоне?

Да, на амазоне. Так как на голом EBS скорость чтения с диска весьма печальна. Но если взять i3.large с nvme-ssd instance store, да dm-cache навернуть, то тогда оно по горячему кешу нормально читает.

какие объемы данных гоняете?

маленькие, терабайт на 4 инстанса. оно весь датасет в кеш помещается.

у меня сейчас база всего 120 гигов. растет по 10 гигов в неделю.

а кеш это в память?

или какой то другой кеш

Добрый день. Скажите, в какую партицию попадают данные с датой меньше 1970 года?

в январь 1970. По дефолту, при ошибке парсинга даты она заменяется на нулевую, что есть 1 января 1970

а кеш это в память?

nvme-ssd instance store, быстрый ssd, который локально подсобачен к ec2 виртуалке. Плюсы: быстрый как понос. Минусы: если инстанс остановить, то все данные потеряются.

нехрена себе минус))

Первый раз слышу что бы NVME диски теряли данные , это все не оперативка, тот же самый й ssd только работающий через pci express

вот я тоже чета читаю это ж типа обычный ssd подключенный через шину, а не сата. правильно @peerclick

?

Обычные диски упираются в скорость sata , тут же все намного быстрее , скорости записи от 1.5 гб/с , а чтения от 2.5 Гб/с . Но разницы с кликхаусом не заметили ощутимой

А вы на каких объема гоняли что разницы не почувствовали?

Первый раз слышу что бы NVME диски теряли данные , это все не оперативка, тот же самый й ssd только работающий через pci express

это особенность instance store на амазоне. не хочешь терять данные - пиши на EBS

если в виде кеша использовать, то норм. потерялся кеш - не страшно, прогреется со временем.

Привет всем. кто нибудь сталкивался вот с таким сообщением: <Error> Application: zkutil::KeeperException: Fail to initialize zookeeper. Hosts are ?

а по поводу тех же i3, насколько плохо будет если их парочка в реплике. ну и один стопнули и вернули. он же отреплицирует ?

а по поводу тех же i3, насколько плохо будет если их парочка в реплике. ну и один стопнули и вернули. он же отреплицирует ?

вообще так можно, да. но у меня бы глаз начал дергаться при таком сетапе. А вдруг весь регион упадет?

Господа, а возможно ли как-нибудь писать nested типы через JSON? Делаю так: CREATE TABLE nest (k String, v Nested(n String)) ENGINE = Memory INSERT INTO nest FORMAT JSONEachRow и так: {"k":"a","v":{"n":"aa"}} или так: {"k":"a","v":[{"n":"aa"}]} или еще: {"k":"a","v":[["aa"]]} получаю для любого из вариантов Code: 117. DB::Exception: Unknown field found while parsing JSONEachRow format: v

вообще так можно, да. но у меня бы глаз начал дергаться при таком сетапе. А вдруг весь регион упадет?

ну сложно представить такой кейс. я б на такое шоу посмотрел бы. но вообще в моем случае у меня все данные есть на с3, смогу перелить. вот и раздумываю нужны ли мне игры с ебс, кешом или жить прям на ссд

Коллеги, вопрос про ReplacingMergeTree в продакшене - если туда писать по миллион строк и просить схлопнуть (т.е из 2 миллион должен остатся один) он как к этому относится?

Господа, а возможно ли как-нибудь писать nested типы через JSON? Делаю так: CREATE TABLE nest (k String, v Nested(n String)) ENGINE = Memory INSERT INTO nest FORMAT JSONEachRow и так: {"k":"a","v":{"n":"aa"}} или так: {"k":"a","v":[{"n":"aa"}]} или еще: {"k":"a","v":[["aa"]]} получаю для любого из вариантов Code: 117. DB::Exception: Unknown field found while parsing JSONEachRow format: v

{"k":"a","v.n":["aa"]}

{"k":"a","v.n":["aa"]}

спасибо, действительно, работает. Но как-то не очень очевидно.

Привет. Возможно, не совсем по теме вопрос, но есть ли где-то уже собранный jar clickhouse-jdbc? Не слишком хотелось бы ставить джаву и прочие мавены ради самостоятельно сборки.

https://mvnrepository.com/artifact/ru.yandex.clickhouse/clickhouse-jdbc

Я оттуда пробовал, но выдает эксепшен NoClassDefFound для slf4j

Я оттуда пробовал, но выдает эксепшен NoClassDefFound для slf4j

ну так дай ему slf4j в зависимости, не экономь

Привет всем. кто нибудь сталкивался вот с таким сообщением: <Error> Application: zkutil::KeeperException: Fail to initialize zookeeper. Hosts are ?

Там после "Hosts are" написаны какие-нибудь хосты или пусто?

Там после "Hosts are" написаны какие-нибудь хосты или пусто?

нет, сообщение выглядит именно так

после него - клик падает

похоже, что хосты не прочитались из конфигурации можете показать конфиги кластера?

после него - клик падает

исключение или segmentation fault?

похоже, что хосты не прочитались из конфигурации можете показать конфиги кластера?

<zookeeper> <node index="1"> <host><stripped></host> <port>2181</port> </node> <node index="2"> <host><stripped></host> <port>2181</port> </node> <node index="3"> <host><stripped></host> <port>2181</port> </node> </zookeeper> <Error> Application: zkutil::KeeperException: Fail to initialize zookeeper. Hosts are <Information> Application: shutting down <Debug> Application: Uninitializing subsystem: Logging Subsystem <Information> BaseDaemon: Stop SignalListener thread

и всё )

Ребят, подскажите, может кто знает. Пытюась приконнектиться к кликхаусу из питона через pandahouse, часть запросов проходит нормально, на часть (простых типа docevents = pandahouse.read_clickhouse('SELECT * FROM default.docevents', connection=clickhouse)) выдает такую ошибку:

видимо из-за того что в значениях есть нули, но что делать-то с этим

<zookeeper> <node index="1"> <host><stripped></host> <port>2181</port> </node> <node index="2"> <host><stripped></host> <port>2181</port> </node> <node index="3"> <host><stripped></host> <port>2181</port> </node> </zookeeper> <Error> Application: zkutil::KeeperException: Fail to initialize zookeeper. Hosts are <Information> Application: shutting down <Debug> Application: Uninitializing subsystem: Logging Subsystem <Information> BaseDaemon: Stop SignalListener thread

выглядит нормально. может, на какой-то ноде забыли прописать?

выглядит нормально. может, на какой-то ноде забыли прописать?

пробовали только на одной ноде.

Вставляю данные через HTTP клиента (perl, HTTP::ClickHouse). При относительно больших пакетах (>100000) клиент сообщает что сервер разорвал соединение без объяснения причин. Искал в документации - нет ли какого-то ограничения на размер данных вставляемых POST реквестами - ничего не нашел. Что может быть причиной?

Всем привет. А функционал с CLEAR COLUMN IN PARTITION уже в релизе? Или пока нет? Что-то в доке ничего не можем найти про это

Вставляю данные через HTTP клиента (perl, HTTP::ClickHouse). При относительно больших пакетах (>100000) клиент сообщает что сервер разорвал соединение без объяснения причин. Искал в документации - нет ли какого-то ограничения на размер данных вставляемых POST реквестами - ничего не нашел. Что может быть причиной?

можно попробовать то же самое послать просто post запросом, и проверить, мы ограничений не испытывали

Всем привет. А функционал с CLEAR COLUMN IN PARTITION уже в релизе? Или пока нет? Что-то в доке ничего не можем найти про это

в билде 292 есть

пробовали только на одной ноде.

есть ли доступ к зукиперу вне ClickHouse? (на всякий случай: во что вложен <zookeeper>, и в каком конфиге находится? не указан ли <zookeeper> в конфиге еще где-ниюудь?)

есть ли доступ к зукиперу вне ClickHouse? (на всякий случай: во что вложен <zookeeper>, и в каком конфиге находится? не указан ли <zookeeper> в конфиге еще где-ниюудь?)

Доступ есть, стэйт зукипера - ок. Конфиг - отдельный файл. Упоминаний больше нет

тогда идеи заканчиваются. разве что этот отдельный файл не подхватывается по какой-либо причине

попробуйте поместить его прямо в config.xml. может, что-то изменится :)

попробуйте поместить его прямо в config.xml. может, что-то изменится :)

Спасибо за совет)

Ребята, подскажите как инсертить ipv6? Использую FORMAT TabSeparated.

а что в этой строке, от соседних чем-то отличается?

Ребята, подскажите как инсертить ipv6? Использую FORMAT TabSeparated.

а какие у вас трудности?

а какие у вас трудности?

Не понимаю как передать бинарную строку, в каком формате она принимается, можно просто пример

2001:0db8:11a3:09d7:1f34:8a2e:07a0:765d - String

У меня fixedstring(16)

ну 16 байт же маловато, не?

IPv6StringToNum() есть же

В INSERT не принимает функцию

IPv6StringToNum() есть же

попробовал ее, она у вас нормально отрабатыват?

В select да, в insert нет

да, похоже, мой совет бессмысленен

я имел в виду, что у меня запрос выдает чтото странное)

В select да, в insert нет

а поменять тип столбца не хотите?

Не хочу, fixed лучший тип данных

ну а сделать его длинней?

можно попробовать то же самое послать просто post запросом, и проверить, мы ограничений не испытывали

Причина обранужилась. Связана с Keep-Alive: timeout=3 При больших пакетах между предыдушим реквестом и инсертом было ровно 3 секунды, сервер инициировал разрыв соединения, а клиент, ещё не успев получить пакета Finish, начинал следующий запрос, на что сервер отвечал пакетом Reset. При меньших пачках данных на приготовление следующей пачки требовалось чуть меньше 3 секунд и проблема не появлялась :) Можно как-то увеличить Keep-ALive Timeout для HTTP интефейса?

<keep_alive_timeout>2592000</keep_alive_timeout>

меняется здесь: https://github.com/yandex/ClickHouse/blob/add13f233eb6d30da4c75c4309542047a1dde033/dbms/src/Server/config.xml#L72

Никто пока больше с августа не пробовал настроить репликацию поверх zetcd? В плане эксперимента или для прода

посоветуйте как лучше подружить разарботчика erlang с КХ?

посоветуйте как лучше подружить разарботчика erlang с КХ?

Api показать?))

Api показать?))

он хочет нативный драйвер)

он хочет нативный драйвер)

А зачем?

я хз =(

я хз =(

Странно

я думаю что есть "нативные" драйвера, которые все-равно ломятся по http

потому что в пыхе он так работает )

Подскажите пожалуйста, а можно как-то посчитать кол-во одинаковых знчений подряд? 1110001110001 3-1 3-0 3-1 3-0 1-1

а как вы это в sql делаете?

а как вы это в sql делаете?

ну вот в постгрес например есть windowed functions которые позволяют это сделать

а как вы это в sql делаете?

я не к тому, что это обязательное есть в кх но вообще - это вопрос который может возникать при анализе биг дата

это понятно, просто интересно что людям нужно и как они это уже делают.

это понятно, просто интересно что людям нужно и как они это уже делают.

нужен прямо пример запроса, как это делается? просто нужно посчитать как часто встречаются цепочки подряд определенных событий

clickhouse way - сделать такую функцию, агрегатную вряд ли, т.к. нужно мержить распределенные состояния, и всякое такое, а вот массив -> массив можно.

можно и руками написать, но получится неудобно писать, читать и работать будет не самым оптимальным способом.

SELECT arrayPopFront(arrayMap((a, b) -> (a.1, a.2 - t[(b - 1)].2), arrayPushFront(arrayFilter(t -> (t.2 != 0), arrayMap((a, b) -> if(a != x[(b + 1)], (a, b), (0, 0)), x, arrayEnumerate(x))), (0, toUInt32(0))) AS t, arrayEnumerate(t))) AS z FROM ( SELECT [1, 1, 1, 0, 0, 0, 1, 1, 1, 0, 0, 0, 1] AS x ) ┌─z───────────────────────────────┐ │ [(1,3),(0,3),(1,3),(0,3),(1,1)] │ └─────────────────────────────────┘

Доброго времени суток...подскажите как сбилдить clickhouse на маке?...решение из документации не работает

CMake Error:

ошибку и вывод cmake на какую-нибудь пасту пожалуйста