а есть разница в коннекте к КХ, если он в докере запущен? "http://127.0.0.1:8123/default" почему то не работает

он слушает скорее всего на 0.0.0.0

по идее должно пахать и 127.0.0.1

в контейнере netstat -tapn попробуй сделать для начала

а есть разница в коннекте к КХ, если он в докере запущен? "http://127.0.0.1:8123/default" почему то не работает

1) КХ может не работать 2) порты не проброшены 3) мало ли что еще Как запускали ?

в контейнере netstat -tapn попробуй сделать для начала

а там же голый контейнер, нету такой команды

docker ps -a тогда покажи на кликхаус

может порты не пробросил

откуда делается curl ?

1) КХ может не работать 2) порты не проброшены 3) мало ли что еще Как запускали ?

по доке https://hub.docker.com/r/yandex/clickhouse-server/ он работает, и клиент через образ коннектится. а, сейчас курлом попробую, а то я из своей го-программы конекчусь, минутку

curl 'http://localhost:8123/' curl: (7) Failed to connect to localhost port 8123: Connection refused OSX у меня

а контейнер в какой нить виртуальной машине небось?

тебе надо на адрес этой машины конектиться

я так понимаю локально там какой то прокси должен подниматься

да стандартный докер под OSX вроде бы

докер в осх работает через virtualbox

то есть технически тебя должно конектить к виртуалке

Уже нет (прикрутили свою виртуализацию)

хочешь сказать у макоси свой hyperv/kvm?

Чтобы под macOS работало, нужно проброс портов настроить (ключом `-p 8123:8123`)

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 50d9260608ad yandex/clickhouse-server "/bin/sh -c 'exec ..." 35 minutes ago Up 35 minutes 8123/tcp, 9000/tcp, 9009/tcp some-clickhouse-server

хочешь сказать у макоси свой hyperv/kvm?

Типа того: https://github.com/moby/hyperkit

он базируется на hypervisor в самой макоси, прикольно, не знал

CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 50d9260608ad yandex/clickhouse-server "/bin/sh -c 'exec ..." 35 minutes ago Up 35 minutes 8123/tcp, 9000/tcp, 9009/tcp some-clickhouse-server

Перезапустите контейнер, добавив -p 8123:8123. Докер сделает проброс порта 8123 контейнера на локальный порт 8123.

Перезапустите контейнер, добавив -p 8123:8123. Докер сделает проброс порта 8123 контейнера на локальный порт 8123.

заработало!

спасибо всем огромное

Добрый день! Непонятное поведение словаря

делаю: dictGetString('psite','um_user_id', cityHash64(key))

получаю: DB::Exception: psite: type mismatch: attribute um_user_id has type UInt8.

Друзья подскажите как будет правильно перенести базу с сервера на сервер? Как делаются дампы?)

как раз этим занимаюсь, вот такое https://groups.google.com/forum/#!topic/clickhouse/Dx0CsFGbk7c

Друзья подскажите как будет правильно перенести базу с сервера на сервер? Как делаются дампы?)

Если просто перенести: остановите сервер, скопируйте папку с данными

Друзья подскажите как будет правильно перенести базу с сервера на сервер? Как делаются дампы?)

я прописывал кластер в настроках сингл сервера, потом на локальном сервере создавал distributed таблицу, которая смотрела на кластер, а потом insert from select

Если просто перенести: остановите сервер, скопируйте папку с данными

просто думал ничего страшного не будет если версии немного будут различаться?

Версии чего ? )

Версии чего ? )

кликхауса

Нет, обычно все ОК

Нет, обычно все ОК

благодарю

сорри, промахнулся чатом(

вопрос по нативному протоколу — допустим, я делаю инсерт с 10N записей, оптимальным размером блока у меня будет N, и я хочу на выходе иметь 10 блоков по N записей что будет работать в качестве "разделителя блоков" ? скажем, пустой блок означает конец записи

да

что "да" ? :)

В конце шлем пустой блок

мм, не совсем данные все равно будут записаны одним блоком в 10N записей

пустой блок — как пример "служебного" значения со специальным значением

Нет там ничего, вы можете вставить 10 блоков с данными подряд и это будет 10 блоков, просто в конце "так принято" что посылаем пустой блок, можно и пинг, оно все равно работает

вставить 10 блоков с данными подряд и это будет 10 блоков — вот это, насколько я вижу, дает один блок

то есть — отправляется 10 блоков, но в КХ они записаны, как 1

возможно, так и надо, но сомневаюсь

нет - это дает 10 вставленных в КХ блоков, а он их потом сольет с другими в больший

гм, точно, туплю

спасибо

получаю: DB::Exception: psite: type mismatch: attribute um_user_id has type UInt8.

какой тип у um_user_id в конфиге словаря? Возможно, надо делать dictGetUInt8('psite','um_user_id', cityHash64(key))

Коллегии, а почему словари NULL не возвращают как результат? Это баг или фича?

подскажите пожалуйста по словарям: массивы в ключе совсем не поддерживаются? пишу <type>Array</type> получаю ошибку Array data type family must have exactly one argument - type of elements пишу <type>Array(String)</type> получаю ошибку Unknown type Array(String)

Коллегии, а почему словари NULL не возвращают как результат? Это баг или фича?

NULL в случае когда ключа нет, или когда во внешнем источнике NULL? Первое можно проверить через dictHas, второе не реализовано.

NULL в случае когда ключа нет, или когда во внешнем источнике NULL? Первое можно проверить через dictHas, второе не реализовано.

Вот второе бы очень хотелось :( А есть какой то метод как лучше с этим жить?

подскажите пожалуйста по словарям: массивы в ключе совсем не поддерживаются? пишу <type>Array</type> получаю ошибку Array data type family must have exactly one argument - type of elements пишу <type>Array(String)</type> получаю ошибку Unknown type Array(String)

Совсем нет. Использовать complex key словари или конвертировать в строку

Хм, complex key как раз и пытаюсь: <structure> <key> <attribute><name>CountryCode</name><type>String</type></attribute> <attribute><name>LanguageCodes</name><type>Array(String)</type></attribute> <attribute><name>DateAdded</name><type>Date</type></attribute> </key> <attribute> <name>Value</name><type>Float32</type><null_value>0</null_value> </attribute> </structure>

Вот второе бы очень хотелось :( А есть какой то метод как лучше с этим жить?

хорошего способа не знаю. возможно, заменять NULL на специальные значения снаружи

хорошего способа не знаю. возможно, заменять NULL на специальные значения снаружи

Ох, грустно, я сейчас только придумал - передавать NULL как STRING (и все значения тоже) а силами CH уже конвертировать...

Nikolai или вы подразумеваете что-то другое? Насчет строк - да, подумал сделать toString ALIAS'ы в крайнем случае

Хм, complex key как раз и пытаюсь: <structure> <key> <attribute><name>CountryCode</name><type>String</type></attribute> <attribute><name>LanguageCodes</name><type>Array(String)</type></attribute> <attribute><name>DateAdded</name><type>Date</type></attribute> </key> <attribute> <name>Value</name><type>Float32</type><null_value>0</null_value> </attribute> </structure>

я хотел сказать, что можно, наверное, разложить значения массива в отдельные поля (если размер ограничен)

а, понял, спасибо. Тогда только toString, только хардкор ?

Совсем нет. Использовать complex key словари или конвертировать в строку

а в атрибутах тоже совсем нет?

тоже

а с чьей файловой системой оперерирует КХ-сервер, если ему от клиента приходит такое INSERT INTO table FORMAT Native FROM FILE '/backup/table.native' у меня получается два докер образа, в одном клиент, в другом сервер, к серверу волум подключил где /backup/table.native, изнутри контейнера его видно, права стоят clickhouse:clickhouse, но импортировать данные не получается этой командой, не видит данных

Драстути. Есть ли какой-нибудь гайд по расчету количества шардов и серверов в зависимости от количества данных и нагрузки на запись/чтение?

правильно писать: “дратути”

Началоось :)

meme police

а с чьей файловой системой оперерирует КХ-сервер, если ему от клиента приходит такое INSERT INTO table FORMAT Native FROM FILE '/backup/table.native' у меня получается два докер образа, в одном клиент, в другом сервер, к серверу волум подключил где /backup/table.native, изнутри контейнера его видно, права стоят clickhouse:clickhouse, но импортировать данные не получается этой командой, не видит данных

с файловой системой сервера. но файл должен находиться в папке с данными ClickHouse (/var/lib/clickhouse/data). иначе должна возникать ошибка с праваим доступа.

с файловой системой сервера. но файл должен находиться в папке с данными ClickHouse (/var/lib/clickhouse/data). иначе должна возникать ошибка с праваим доступа.

кажется, я перепутал с движком FILE таблицы

скопировал туда, все равно Exception on client: Code: 33. DB::Exception: Cannot read all data где-то можно подробные логи глянуть или как еще поковырять?

я не помню, чтобы можно было писать from file в insert :) а не работает из терминала? clickhouse client -q 'INSERT INTO table FORMAT Native' < /backup/table.native

да, сейчас попробую там в баше как-то. сложно все это с докером! :)

docker exec -it <контейнер> bash ?

дело в том, что я клиента пускаю такой командой (из доков кх на докерхабе) docker run -it —rm —link some-clickhouse-server:clickhouse-server yandex/clickhouse-client —host clickhouse-server

Драстути. Есть ли какой-нибудь гайд по расчету количества шардов и серверов в зависимости от количества данных и нагрузки на запись/чтение?

Зависит от того как читать будете. Данных много ?

Ну.. Терабайт 50 будет

Это графитовый бекенд со всеми вытекающими

..и втекающими тоже :)

дело в том, что я клиента пускаю такой командой (из доков кх на докерхабе) docker run -it —rm —link some-clickhouse-server:clickhouse-server yandex/clickhouse-client —host clickhouse-server

кажется, можно добавить —name <name>, а потом испольовать его в exec. или в docker ps посмотреть на имя

Это графитовый бекенд со всеми вытекающими

Понятно, откуда тогда 50 Тб и когда они будут ? ) В день много писать/читать будете ?

В смысле откуда? Писать и читать десятки миллионов метрик в минуту

В смысле откуда? Писать и читать десятки миллионов метрик в минуту

Я к тому что может будут, а может и нет и десятки миллионов в минуту это тоже достаточно расплывчато. Возьмите 1-н сервер и поиграйтесь сколько вам памяти под это надо, хватает ли CPU, а так если ваша софтина может размасштабировать запись то берите 1-н сервер, остальные по мере роста втыкайте

Ну один это не ha, два тогда уж. Как понять сколько делать шардов?

если в сервер данными не влезаете - делаете шард

Если серверов несколько - надо самому балансировать запись и чтение, или оно как в Кассандре работает ?

мы втыкаем шард если место закончилось или не можем данные в шарде за сутки пересчитать (памяти не хватает)

Если серверов несколько - надо самому балансировать запись и чтение, или оно как в Кассандре работает ?

Можно через distributed-таблицу писать, но будут проблемы, лучше самим писать в разные шарды, а читать через distributed

Какого рода проблемы ?

Если серверов несколько - надо самому балансировать запись и чтение, или оно как в Кассандре работает ?

желательно самому балансировать, чтобы "размазать" нагрузку по серверам. Можете воспользоваться https://github.com/Vertamedia/chproxy

Коллеги, подскажите, а где можно взять скомпилированный jdbc драйвер со всеми зависимостями?

Какого рода проблемы ?

Медленно, и данные потом искать долго )