у нас есть поля по которым надо постоянно производить подсчет sum в рамках where in с группировкой по дню. индексы уместны?

По тем полям которые внутри where

Подскажите пожалуйста пытаюсь отправить tsv файл но пишет ошибку Cannot parse input: expected \t

между данными ставит таб и clickhouse ругается на него

Казалось бы, «expected \t» означает что, наоборот, clickhouse хочет увидеть таб, но не тут-то было. Я бы проверил типы полей — верно ли, что указанные в INSERT'е (или в таблице) в точности совпадают с теми, которые передаютися в tsv.

добрый)

можно, тип указывается после названия столбца

? не проснулся.

Туплю

Ребят, такой вопрос. ClickHouse конечно бешено быстрый, но все же бывают отчеты которые сами по себе редкие, но тяжелые. А показываются на вебе который должен быть быстрым. Логично приходит в голову какой то кеш. Кто что использует и использует ли?

мы написали опрос через веб интерфейс, запроксировали его nginx, и кладем в кэш на нужное время

О! Кстати о нем даже не думал. А в каком виде кладете в кеш? Что является ключем?

всмысле в каком виде? веб респонс (джейсон) складывается в стандартный кэш нжинкса

Кеш стоит прямо в разрыве между clickhouse и клиентом?

просто запросы приводятся к унифицированному виду, чтобы мисс был реже

А разделяете как-то на то что нужно кешировать, а что нет?

нет, но без проблем делается установкой какого-то дополнительного флага

Привет! В документации про парсинг CSV написано "Поддерживаются как двойные, так и одинарные кавычки". А нет ли, случайно, опции, отключающей поддержку одинарных кавычек? Т.е. чтобы одинарные кавычки не воспринимались как служебные символы. Или единственный способ поместить в CSV строку, начинающуюся с одинарной кавычки, так, чтоб ClickHouse её понял, - обернуть всю строку в двойные кавычки?

Экранирование же

"\""

Слеш я пробовал, но он проходил в ClickHouse as is. А вот экранировать одинарную кавычку точно так же, как по стандарту надо экранировать двойную кавычку - повторением, додумался только сейчас, и это сработало. P.S. Возможно, стоит в явном виде написать в документации, что по отношению к одинарным кавычкам поведение CH отличается от RFC, т.к. фраза "Поддерживаются как двойные, так и одинарные кавычки" выглядит безобидно и позитивно) а на самом деле такая поддержка может для кого-то оказаться неожиданной. Т.е. по RFC строчка 1,2,3,'stringStartingWithSingleQuote,5,6 - валидна, а ClickHouse-у она не нравится, т.к. он, видя одинарную кавычку в начале строки, считает её enclosing-символом

По хорошему, надо добавить настройки кастомизации CSV. Там правда довольно много их получается.

мы заопенсорсили https://github.com/crobox/clickhouse-scala-client

зачот :)

плюсанул!

Казалось бы, «expected \t» означает что, наоборот, clickhouse хочет увидеть таб, но не тут-то было. Я бы проверил типы полей — верно ли, что указанные в INSERT'е (или в таблице) в точности совпадают с теми, которые передаютися в tsv.

Точно верные

Доброе утро, скажите пожалуйста как посмотреть через запрос размер таблиц ?

SELECT * FROM system.parts WHERE active AND table = '...' там столбец есть с кол-вом байт его можно еще через formatReadableSize(x) прогнать

SELECT * FROM system.parts WHERE active AND table = '...' там столбец есть с кол-вом байт его можно еще через formatReadableSize(x) прогнать

что-то пустоту выдает

там есть поле bytes

его прогнать ?

а все я ошибся с названием в запросе

капец 1 млн 7 мб )

Кликхаус достаточно сильно жмет данные, у нас 200 гигов почти полностью текстовых данных превращаются в 3, и чем больше данных, тем сильнее жмет)

привет всем! в лог кликхауса сыпется : <Information> zen_stats.history_events_v3_2017_02_01 (StorageReplicatedMergeTree): DB::Exception: No active replica has attached part 20170201_20170201_125_125_0 or covering part yet но такой части нет в обоих репликах в каталогах: /history_events_v3_2017_02_01$ ls -1 20170131_20170131_197_199_2 20170201_20170201_126_16677_8 20170201_20170201_-21_124_6 detached и в зукипере тоже нет. Что это?

Кликхаус достаточно сильно жмет данные, у нас 200 гигов почти полностью текстовых данных превращаются в 3, и чем больше данных, тем сильнее жмет)

это очень круто)

[ClickHouseDB\DatabaseException] Cannot parse input: expected \t before: 12','2016-10-12 16:00:00',5,3,7,5

['2016-10-12','2016-10-12 16:00:00',5,3,7,50,0,0,0,500000,0,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,118,'0',1,4,1,0,0,'','',0,0,'']\n['2016-10-12','2016-10-12 16:00:00',5,3,7,50,0,0,0,500000,0,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,118,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',7,3,8,204,16,4,0,2040000,1691,351,'','','',95116479,0,87869,0,205,10,1,1,0,0,0,0,3,0,0,181,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',11,3,6,106,11,1,0,1060000,1176,205,'','','',99999999,0,204999,0,205,205,1,1,0,0,0,0,3,0,0,181,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',5,3,7,22,2,0,0,220000,3113,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,181,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',9,3,5,11,3,0,0,110000,5606,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,181,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',14,3,9,5,4,1,0,50000,867,199,'','','',13827234,0,199991,0,199,199,1,1,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',7,3,8,18,18,0,0,180000,1493,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',11,3,6,18,18,0,0,180000,1745,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',13,3,10,2,2,0,0,20000,399,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,''] ['2016-10-12','2016-10-12 16:00:00',9,3,5,2,2,0,0,20000,1954,0,'','','',0,0,0,0,0,0,0,0,0,0,0,0,3,0,0,2,'0',1,4,1,0,0,'','',0,0,'']\n

формат файла такой. может кто сталкивался ?

формат файла похож на массив из строк и чисел

формат файла похож на массив из строк и чисел

а какой формат верный? я просто использую драйвер php от сми2 . получается их конвертор массива в tsv не верный?

если expected \t, то, наверное, указываете FORMAT TabSeparated?

по коду так и есть

return $this->insertBatchFiles($table_name,$file_names,$columns_array,'TabSeparated');

$sql = 'INSERT INTO ' . $table_name . ' ( ' . implode(',', $columns_array) . ' ) FORMAT '.$format;

Возможна ли поддержка словарей без аттрибутов? Т.е. чтоб содержался только ключ

на втором сервере эта ошибка в лог не попадает. Перезапуск кликхауса не помог :)

привет всем! в лог кликхауса сыпется : <Information> zen_stats.history_events_v3_2017_02_01 (StorageReplicatedMergeTree): DB::Exception: No active replica has attached part 20170201_20170201_125_125_0 or covering part yet но такой части нет в обоих репликах в каталогах: /history_events_v3_2017_02_01$ ls -1 20170131_20170131_197_199_2 20170201_20170201_126_16677_8 20170201_20170201_-21_124_6 detached и в зукипере тоже нет. Что это?

версия 1.1.54190

формат файла похож на массив из строк и чисел

500 тыс записей кинул в tsv (написал свой преобразователь из array в csv) и импорт пошел. но 500 тыс за 2.2 сек.. это норм?

Imported 3384 records (0.273 seconds)

через tsv по http по сети

500 тыс записей кинул в tsv (написал свой преобразователь из array в csv) и импорт пошел. но 500 тыс за 2.2 сек.. это норм?

норм это или нет - не могу сказать а про форматы файлов и прочее вроде подробно в статьях на хабре/документации описано https://github.com/smi2/phpClickHouse/blob/master/doc/

### Import is started ### Imported 3384 records (0.275 seconds) Imported 152096 records (11.539 seconds) Killed

без компрессии все еще хуже. но что такое killed вообще не пойму

/stat@combot

combot.org/chat/-1001080295593

/stat@combot

combot.org/chat/-1001080295593

Подскажите пожалуйста, есть ли какая-то возможность перегонять данные из одной таблицы в другую, кроме INSERT INTO tbl1 SELECT * FROM tbl2 WHERE ...

_очень_ медленно и иногда падает по памяти

а зачем перегонять?

Колонку сэмплирования поменяли

И первичный ключ

насчет падания по памяти - можно меньшими кусками выгружать. хоть посуточно там, типа WHERE date = '2017-01-01'

Посуточно тоже падал, мы блок_сайз потюнили - оно работает, но долго :) Думал есть способ перегнать побыстрее.

Быстрее нету

/stat@combot

combot.org/chat/-1001080295593

кто нибудь может встречал такую проблему - Killed при вставке бачей click house пишет

кто нибудь может встречал такую проблему - Killed при вставке бачей click house пишет

память кончилась, OOM Killer пришел и устроил резню

память кончилась, OOM Killer пришел и устроил резню

память? 4 гига памяти не хватило чтобы вставить 1 млн записей в виде 2 бачей по 500 000 в tsv?

@maksim_melnichuk ну проверить просто - смотришь что в dmesg - если там Out of memory - то это оно

а о причинах я уже не знаю, я просто пользователь )

или error_reporting(E_ALL) включить, или как там в пхп логгинг на максимум выкрутить

@maksim_melnichuk ну проверить просто - смотришь что в dmesg - если там Out of memory - то это оно

dmesg а где это искать?

в консольке физического сервреа или VPS

команда - пишешь, оно даст кусок логов ядра