@clickhouse_ru
Alexey28.09.2018
10:37:42
10:37:42
Добрый день. Подскажите пожалуйста, появилась такая проблема. При вставке данных (около 60к-70к) в таблицу в формате JSONEachRow, через HTTP интерфейс, бывает выкидывает ошибку:
Code: 117, e.displayText() = DB::Exception: Unknown field found while parsing JSONEachRow format:.....
Хотя ранее такой ошибки небыло, и если вставлять те же данные кусками по 5к, то все нормально.
Попробуйте max_query_size увеличить, может обрезаться если не влазитAlexey28.09.2018
10:40:13
10:40:13
Добрый день ! Скажите пожалуйста, есть какое-нибудь процентное соотношение по оперативной памяти между серверов ClickHouse и нодами zookeeper ?
то есть, есть ли серверу ClickHouse выделено 32 гб памяти, то сколько нужно нодам zookeeper ?
Stanislav28.09.2018
10:41:13
10:41:13
Такого отношения нет и вряд ли будет, по-моему
GoogleAlexey28.09.2018
10:41:30
10:41:30
а сколько нужно выделить zookeeper'у ?
Alex28.09.2018
10:41:39
10:41:39
то есть, есть ли серверу ClickHouse выделено 32 гб памяти, то сколько нужно нодам zookeeper ?
Память zoo зависит от числа таблиц, партиций, и прочего. Прямой корреляции нетStanislav28.09.2018
10:42:13
10:42:13
Я выделил 2Гб в конфиге, используется до гига примерно.
Но тут не слишком много данных.
В зукипере порядка 160к записей
Alexey28.09.2018
10:43:05
10:43:05
Я выделил 2Гб в конфиге, используется до гига примерно.
Спасибо за информацию. Я просто выделил 5 нод зукипер, для каждой ноды по 1 гигу, вот думаю, хватит ли ?Alex28.09.2018
10:43:27
10:43:27
Спасибо за информацию. Я просто выделил 5 нод зукипер, для каждой ноды по 1 гигу, вот думаю, хватит ли ?
Дайте 2 Gb, это же ява :) Не скупитесьStanislav28.09.2018
10:43:41
10:43:41
Понятия не имею. Думаю, стоит добавить по гигу и пусть подавится.
Wolf28.09.2018
10:43:44
10:43:44
@ztlpn а можете подсказать что будет в ситуации если для мутации не хватало места, я добавил место и перезапустил сервер и мутация все равно неидет и висит в system.mutations
Гурам28.09.2018
10:47:49
10:47:49
Alexey28.09.2018
10:48:33
10:48:33
Еще один вопрос. Вот у нас есть виртуалка с ClickHouse. 12 ядер, 32 гига оперативки. Во время расчетов каждое из 12 ядер, нагружается максимум до 30%. То есть по сути я могу вместо 12 ядер, оставить только 6. И все так же будет быстро и без проблем считаться. Верно ?
Использование памяти при расчетах максимум достигало 24 Гб
GoogleAlexey28.09.2018
10:49:41
10:49:41
Я к тому спрашиваю, что я же могу урезать количество ядер, без потери производительности, в моем случае ?
Kirill28.09.2018
10:52:49
10:52:49
Леонид28.09.2018
10:53:00
10:53:00
Всем день добрый.
Подскажите, clickhouse-odbc не из исходников как-то получить можно?
Нужен для Debian/
Stanislav28.09.2018
10:55:19
10:55:19
3 - необходимо и достаточно для работы. При выпадении одного - продолжит работу. 5 - если требуется, чтобы продолжило при выпадении двух.
Michal28.09.2018
11:03:25
11:03:25
На стейджинге получилось применить через заинклюженный файл /etc/graphite-clickhouse/rollup_full.xml , на проде осталось применить и тогда да, перезагрузки будут не нужны и конфиг будет применяться "синхронно" и без останова текущих мерджей.
Можно ещё попробовать в зукипера часть конфигурации выбросить.Я к тому спрашиваю, что я же могу урезать количество ядер, без потери производительности, в моем случае ?
Зависит от конкретной нагрузки (насколько значительных вычислений требуют ваши запросы, сколько получают/теряют от распараллеливания) и от наличия других "узких мест" (скорость диска / памяти / сети например)Alexey28.09.2018
11:12:19
11:12:19
Dmitry28.09.2018
11:28:24
11:28:24
Добрый день! Подскажите, пожалуйста, какую лучше использовать Python библиотеку для взаимодействия с ClickHouse?
Denis28.09.2018
11:29:10
11:29:10
Использовал infi, жалоб нет
Wolf28.09.2018
11:29:56
11:29:56
а не появился стандартный способ остановить мутацию ?
Alex28.09.2018
11:30:27
11:30:27
Добрый день! Подскажите, пожалуйста, какую лучше использовать Python библиотеку для взаимодействия с ClickHouse?
Используем https://github.com/xzkostyan/clickhouse-sqlalchemy+ requests :)
prll28.09.2018
11:41:45
11:41:45
Всем день добрый.
Подскажите, clickhouse-odbc не из исходников как-то получить можно?
Нужен для Debian/
нельзя, но собрать не сложно - поставить зависимости и debuild -us -uc -i --source-option=--format="3.0 (native)"Alex28.09.2018
11:43:28
11:43:28
нельзя, но собрать не сложно - поставить зависимости и debuild -us -uc -i --source-option=--format="3.0 (native)"
Я на это несколько дней потратилПравда я собирал на CentOS
prll28.09.2018
11:46:09
11:46:09
если ваша ос из начала 2000-х и там нет компилятора с с++14 - то возможно
Alex28.09.2018
11:46:53
11:46:53
В 2018 все крутые поцаны уже имеют тревис настроеный
GoogleЛеонид28.09.2018
11:50:52
11:50:52
Чет у меня вообще не собирается. (
Wolf28.09.2018
11:51:20
11:51:20
@milovidov_an а может вы подскажете , если мутации не хватило места , я его добавил и перезапустил сервер, мутация все равно не идет , в system.mutations она висит parts_to_do=1 как раз с партом который не смог мутировать, но в system.replication_queue ее нет, таблицы replicatedmergetree. Времени прошло уже много, можно как то форснуть мутацию или нативно отменить ее ?
Alexey28.09.2018
11:53:42
11:53:42
@milovidov_an а может вы подскажете , если мутации не хватило места , я его добавил и перезапустил сервер, мутация все равно не идет , в system.mutations она висит parts_to_do=1 как раз с партом который не смог мутировать, но в system.replication_queue ее нет, таблицы replicatedmergetree. Времени прошло уже много, можно как то форснуть мутацию или нативно отменить ее ?
Объём требуемого места определяется как 2 * суммарный размер кусков. Почему в два раза больше? Потому что если так не сделать, то сразу при выполнении мутации (или мержа), всё место будет зарезервировано, и его не хватит даже для мелких мержей.
Посмотрите в логе, есть ли сообщения о том, что недостаточно места?Wolf28.09.2018
11:54:28
11:54:28
а как примерно в логе выглядит сообщенние про место по free space можно его сгрепать ?
поискал по спейс не нашел ошибки, но места свободного 200 гигов а парт на 130 гигов
Alexey28.09.2018
11:56:28
11:56:28
Получается, чуть-чуть не хватает.
Wolf28.09.2018
11:58:03
11:58:03
это прямо надо в документацию обязательно, настолько неявный момент и жаль что в докладе тут не упомянули этот момент , я почему то сделал вывод что места надо под размер парта , https://events.yandex.ru/lib/talks/6167/
Daniel28.09.2018
12:12:13
12:12:13
Daniel28.09.2018
12:13:22
12:13:22
в 18.12.17
Wolf28.09.2018
12:14:03
12:14:03
я только делетем балуюсь, в целом оно просто переписывает куски в которые попали изменения , скорость упирается по большей части в скорость диска
то есть делает новый кусок с измененными данными и потом старый кусок заменяет на новый
все в фоне без каких либо блоков
Daniel28.09.2018
12:15:19
12:15:19
Ок, видео уже смотрю, спасибо, что запостили
Леонид28.09.2018
12:22:00
12:22:00
как именно?
/usr/bin/ld: /usr/lib/gcc/x86_64-linux-gnu/8/../../../x86_64-linux-gnu/libltdl.a(libltdl_la-lt__alloc.o): перемещение R_X86_64_PC32 для символ «stderr@@GLIBC_2.2.5» не может использоваться при создании общий объект; перекомпилируйте с параметром -fPICo]Googleprll28.09.2018
12:23:42
12:23:42
а если сейчас обновить и попроовать еще? lsb_release -cs что говорит ?
можно поправить через cmake -DLTDL_LIBRARY=/usr/lib/x86_64-linux-gnu/libltdl.so
Леонид28.09.2018
12:28:38
12:28:38
lsb_release -cs - stretch
Wolf28.09.2018
12:51:21
12:51:21
Получается, чуть-чуть не хватает.
добавил места теперь его 300гб , а парт 133гб, мутация в system.mutations есть, но сама мутация не идет , должна ли так же мутация быть в system.replication_queue? Как поискать сообщение о нехватке места в логе ? grep по словам space , free, disk в обоих логах ничего нет .Все прошла мутация большое спасибо
Constantine28.09.2018
13:15:29
13:15:29
Добрый день.
Из документации не понятно в каких величинах указывается например
max_memory_usage_for_all_queries. Допустим мне надо 20G. В чем указывать? в байтах?
Vsevolod28.09.2018
13:17:25
13:17:25
а в каком типе таблиц можно сохранить миллион записей для аналитики static data? смотрю, что только Log подходит
Wolf28.09.2018
13:18:42
13:18:42
а в каком типе таблиц можно сохранить миллион записей для аналитики static data? смотрю, что только Log подходит
миллион по вашему мало или много ?Vsevolod28.09.2018
13:19:14
13:19:14
мне без разницы. мне нужны array join с ними и group by, по возможности быстро
Wolf28.09.2018
13:19:31
13:19:31
ну в mergetree засуньте будет быстро
Konstantin28.09.2018
13:19:35
13:19:35
кладите в mergtree
Vsevolod28.09.2018
13:19:44
13:19:44
в mergetree нужен partition column
у меня там все бездаты (уж простите за каламбур)
Konstantin28.09.2018
13:22:26
13:22:26
тесты говорят что можно вот так:
CREATE TABLE test.mergetree (x UInt64, s String) ENGINE = MergeTree ORDER BY x;
ну и никто не запрещает вам добавить в таблицу колонку date DEFAULT toDate(now)
Wolf28.09.2018
13:23:26
13:23:26
у меня там все бездаты (уж простите за каламбур)
Вчера выше писали можно и без ключа партицирования ужеVsevolod28.09.2018
13:24:35
13:24:35
тесты говорят что можно вот так:
CREATE TABLE test.mergetree (x UInt64, s String) ENGINE = MergeTree ORDER BY x;
ну и никто не запрещает вам добавить в таблицу колонку date DEFAULT toDate(now)
спасибо, попробую. у меня стоит тег 18.14.0-testing сейчасDenis28.09.2018
13:29:33
13:29:33
Constantine28.09.2018
13:29:51
13:29:51
Спасибо!
Denis28.09.2018
13:32:35
13:32:35
Спасибо!
а да, насколько я понимаю в 18.10 и далее сломан memory_tracking и этот параметр неправильно срабатывает, лучше его не указыватьConstantine28.09.2018
13:33:05
13:33:05
Спасибо еще раз. Хорошо что я на 16.04
GoogleDenis28.09.2018
13:36:44
13:36:44
Спасибо еще раз. Хорошо что я на 16.04
убунта ? при чем тут это.
я даже на стейдже откатился на 18.6.0 на (tcmalloc), заколебали ошибки про память. и виртуальная память чудесно выглядит с jemalloc
Леонид28.09.2018
13:51:58
13:51:58
Konstantin28.09.2018
14:08:36
14:08:36
коллеги, объясните, пожалуйста, как работает runningDifferenceStartingWithFirstValue ?
Mike28.09.2018
14:11:58
14:11:58
коллеги, объясните, пожалуйста, как работает runningDifferenceStartingWithFirstValue ?
Ну в первой "строке" не ноль, а значение, которое там и было.Konstantin28.09.2018
14:13:27
14:13:27
понятно, а думалось, что каждая строка будет вычиссляться от первого значения
Ivan28.09.2018
14:14:40
14:14:40
привет
а верно ли что e.displayText() = DB::Exception: Bad checksums format version означает что старая версия clickhouse не может в новый формат от более свежей реплики?
Mike28.09.2018
14:15:08
14:15:08
Поэтому ...Starting..., чтобы не было такой неоднозначности
Открыть в Telegram