а если суточный бекап снимать как select * from table where date = ? into outfile ... что об этом подумает кликхаус?)

А как его потом обратно вставлять?

если случилась жопа и нужны бекапы, то видимо скриптом батчить инзерты?

хороший вопрос. или например на ноде посыпался винт

у нас RAID-10, надо успеть заменить его :)

если железо позволяет проще лить на два сервера одини и те же данные

мы так и делаем

но хочется иметь бекапы на случай ядерной войны

хочется еще долгие бэкапы?

ага

на случай ядерной войны консервы и патроны лучше)

а так, да, оправдано

сливать их куда-нибудь в coldline гуглу и быть уверенным, что даже если оба ДЦ умрут, данные не похерятся

осталось понять как их сливать

Ну в принципе можно конечно по итогу месяца сливать партишн, а в рамках месяца сливать в csv

тогда восстановление будет аттачем старых партишнов и инзертом недавних данных

то есть на пачке в 100к вставка DateTime в виде timestamp увеличивает минимум в 10 раз время выполнения

А можно уточнить, что под timestamp тут подразумеваеться? Unix epoch?

да, тоже самое наблюдал, предварительный конверт в строку ускряет вставку в 6 раз

Я на самом деле еще не смог упереться в какой то потолок при вставке данных

думаю этот вопрос задавали, но спрошу - имеет ли смысл использование star schema? типа хранить численные айди в кликхаус, а значение, например, в мускуле?

да, тоже самое наблюдал, предварительный конверт в строку ускряет вставку в 6 раз

может с этим связано? https://blog.packagecloud.io/eng/2017/02/21/set-environment-variable-save-thousands-of-system-calls/

200 потоков, 3 сервера, пишу в distributed таблицу. Пробивал потолок в 10кк в минуту

Хотя пиковая нагрузка 4кк в минуту

может с этим связано? https://blog.packagecloud.io/eng/2017/02/21/set-environment-variable-save-thousands-of-system-calls/

спс за инфо, возможно

со временем надо быть предельно аккуратными, даже в С/С++ легко отрелить себе что-нибудь полезное

"даже"? :)

ну я про производительность, обычно они дьяволски быстры на фоне всего прочего)

а вот время... была у меня статейка

http://bert-hubert.blogspot.co.uk/2017/03/on-linux-vdso-and-clockgettime.html

во

оно еще и в Xen не через vdso

виртуализация вообще дьявольщина, я каждый раз разубеждаю юзать любую) чистое железо предсказуемее всего, как ни странно

а куда без нее, с железками мороки много

https://github.com/yandex/ClickHouse/issues/371 мб тикет уже закрыть надо, поидее исправлено?

а куда без нее, с железками мороки много

Так все равно с ним кто то будет разбираться

Не ты, так провайдер, но за твои деньги

конечно будет. кто-то, но не все :)

конечно будет. кто-то, но не все :)

А это от процессов зависит

При наличии людей, можно вполне выделить команду которая занимается железом

а ссд еще сильнее снижают сложность обслуживания

да, тоже самое наблюдал, предварительный конверт в строку ускряет вставку в 6 раз

Вставка через VALUES?

да

Тогда резолв таймзоны ни при чём (в ClickHouse он всё равно один раз делается). При парсинге VALUES используются два парсера - быстрый и медленный, который включается при ошибках в быстром, зато умеет выражения. Для DateTime строка 'YYYY-MM-DD HH:MM:SS' считается нативным форматом, а unix timestamp - "выражением". Поэтому во втором случае используется медленный парсер.

Стоит смотреть, он развивается. На подходе приятные киллерфичи)

Тогда резолв таймзоны ни при чём (в ClickHouse он всё равно один раз делается). При парсинге VALUES используются два парсера - быстрый и медленный, который включается при ошибках в быстром, зато умеет выражения. Для DateTime строка 'YYYY-MM-DD HH:MM:SS' считается нативным форматом, а unix timestamp - "выражением". Поэтому во втором случае используется медленный парсер.

это бы в документацию, я случайно обнаружил )

согласен :)

Спасибо за рязъяснения с DateTime

На вокзале

когда поезд?

Дык уже) Извините, промахнулся на радостях, что странность такая же с dateTime выходила.

Всем доброго времени суток! Кто-то занимался переносом данных с одного сервера на другой? Нужно кусок данных перекинуть на другой сервер. Лучше через select ... into outfile ?

Привет! А какой самый правильный способ скопировать таблицу из одного кластера в другой, если нет доступа до диска серверов, чисто по http api? Видимо CREATE TABLE table AS SELECT * from remote('address', db.table) ?

Синтаксис чуть-чуть другой CREATE TABLE table engine = Engine AS SELECT * from remote('host', 'db', 'table', 'login', 'password')

либо, как в документации, сразу партиции перетаскивать

Спасибо! Тут проблемка ) Сервера в разных подсетях ( Возможности доступа из одной в другую нет

Просто мне надо не все данные

detach / attach

Ок, попробую с партициями поиграться, спасибо!

если надо меньше данных, чем в партиции, тогда да, наверное сдампить все что нужно в файл (в формате Native вроде лучше всего) и инсертнуть в нем же на другом серваке

Просто у меня там данные по разных объектам, а мне по сути только по одному нужно. Так что лучше наверное дамп будет

так я переливал данные большого объема(70 ГБ кусок) nohup curl -v -T test351560.csv -X POST 'http://username:passwordg@domain.ru:8123/?query=insert%20into%20customer360.agg_pm_kpi_weekly_prp_dist%20format%20CSV' -H "Transfer-Encoding: chunked" -H 'Expect:' &

здесь объем может быть любым, в ограничение по оперативной памяти не упрётесь

Супер! Спасибо большое!

Выгрузил пока данные в Native формате, зажал и перекинул куда надо. Данных примерно 100 гигов всего в общей сложности, мне надо было только часть перекинуть

спамеры набегают я смотрю :/

Можно для поля Enum типа прописывать default значения, чтобы строки не из enum-списка не кидали exception?

Можно для поля Enum типа прописывать default значения, чтобы строки не из enum-списка не кидали exception?

деволтное занчение, оно же на случай отсутствия значения в insert

деволтное занчение, оно же на случай отсутствия значения в insert

Может я не так сформулировал вопрос. Мне надо, чтобы при парсинге входного json для неизвестных значений поставлялось что-то из списка допустимых, а не кидалось исключение.

Привет! Подскажите плиз. Есть географически удаленный кластер КХ. Для заливки данных в него развернутся машина и создана Distributed таблица. Наблюдаю следующую проблему, в таблицу вставили большую пачку строк и данные не утекают на целевые сервера кластера, в логах: 2017.06.09 15:24:46.867466 [ 395 ] <Trace> dd.Distributed.DirectoryMonitor: Started processing `/var/lib/clickhouse/data/sample/dd/default:NotARealPassord@192%2E168%2E98%2E106:9000/66972.bin` 2017.06.09 15:24:46.888801 [ 395 ] <Error> dd.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe: while reading from socket (192.168.98.106:9000), e.what() = DB::NetException, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x28c6df6] 1. clickhouse-server(DB::WriteBufferFromPocoSocket::nextImpl()+0x49d) [0x28dbd6d] 2. clickhouse-server(DB::Connection::sendData(DB::Block const&, std::string const&)+0xd3) [0x2abc8b3] 3. clickhouse-server(DB::Connection::sendQuery(std::string const&, std::string const&, unsigned long, DB::Settings const*, DB::ClientInfo const*, bool)+0xc21) [0x2abded1] 4. clickhouse-server(DB::RemoteBlockOutputStream::writePrefix()+0x56) [0x2b6aee6] 5. clickhouse-server(DB::StorageDistributedDirectoryMonitor::processFile(std::string const&)+0x611) [0x29e2ef1] 6. clickhouse-server(DB::StorageDistributedDirectoryMonitor::findFiles()+0x10c) [0x29e491c] 7. clickhouse-server(DB::StorageDistributedDirectoryMonitor::run()+0x85) [0x29e4e05] 8. clickhouse-server() [0x34b1aaf] 9. /lib/x86_64-linux-gnu/libpthread.so.0(+0x8064) [0x7f3f4b5f9064] 10. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f3f4ac2162d] И так уже 4 часа для всех серверов из distributed таблицы. При этом запросы на select к этой distributed таблице работают и вроде как все хорошо. Данные которые сегодня вставили не видны, т.е. ни до одного сервера не доехали. В чем может быть проблема?

А с сеткой все ок? Если к примеру тем же telnet попробовать

селекты к этой таблице(и тем серера) успешно отрабатывают...

смотрел tcpdumpом, трафика не смотря на ошибки к 192.168.98.106 нету.. Если делаю селект - то появляется..

Такое ощущение что pipe сдохли, а кх это не задетектил...

тут уже точно не подскажу, но я бы смотрел на вывод lsof. И кстати, ребут не помогает или он недопустим?

пока не допустим. Нетстат вот такое водит: netstat --timers|grep '.106:9000' tcp 0 0 msk-ch:57691 192.168.98.106:9000 ESTABLISHED off (0.00/0/0)

А lsof показывает еще соединения?

с тем же сервером

Столькоже сколько и netstat clickhous 22148 clickhouse 40u IPv4 113678595 0t0 TCP msk-ch:57691->192.168.98.106:9000 (ESTABLISHED)

Всем приветы! Подскажите, пожалуйста по конфигу кликхауса.

Выставляю параметр <max_memory_usage>40000000000</max_memory_usage> прямо в сеции yandex, перезапускаю кликхаус - значение не верное.

Что я делаю не так?)

это в <profiles> для профиля должно быть

я понял, спасибо.

<?xml version="1.0"?> <yandex> <profiles><name><max_memory_usage>32212254720</max_memory_usage>

?*:яяяяяяя...не люблю спамеров. Что они тут забыли?

упорный

закладки еще не предлагали?

тут же целевая аудитория, клондайк

Ага, творческие люди и все такое

Предлагаю таких "по айпи вычислять" )))))

привет, у меня тоже проблема с кластером, которая 100500 ошибок 2017.06.09 12:00:32.379509 [ 36 ] <Error> events_all.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe: while reading from socket (10.7.16.229:9000), e.what() = DB::NetException, Stack trace:

данные через jdbc вставляются медленно шопипец - за час несколько миллионов строк