@clickhouse_ru
Yuran23.10.2018
10:22:00
10:22:00
GoogleWolf23.10.2018
10:24:02
10:24:02
я брал оттуда инфу когда прикручивал себе делете
просто если вы будете использовать апдейт или делете как обычно раньше делали у вас будет все очень плохо
Anton23.10.2018
10:25:58
10:25:58
Пока все нормально, там история поиска и заказов на лярд записей всего. Регенерация периодов раз в неделю, с учетом скорости инсерта из файла в КХ это занимает 10 минут в неделю
Wolf23.10.2018
10:27:11
10:27:11
ну вы понимаете что у вас будут не консистентные данные пока идет апдейт ?
то есть в одном парте уже будут новые, а в другом старые
Anton23.10.2018
10:27:58
10:27:58
Не боюсь совсем. В 2 часа ночи с вск на пн там никого нет
Peter23.10.2018
10:31:28
10:31:28
привет
Wolf23.10.2018
10:31:36
10:31:36
а и самое главное надо иметь места свободного в два раза больше чем самый большой парт в котором будет изменение данных , иначе мутация не пройдет на парте
именно это ограничение все сломало у меня когда начал использовать эти функции
Alexey23.10.2018
11:10:50
11:10:50
а есть в планах снятие с pointInPolygon ограничения на константность многоугольника?
Нет, но возможно, мы добавим поддержку словарей полигонов. То есть, использование множества заранее заданных полигонов.в кажом файле 1 запрос на вставку, с кучей values
Придётся обработать этот файл sed-ом, чтобы был один запрос insert с пачкой данных.Konstantin23.10.2018
11:12:24
11:12:24
Нет, но возможно, мы добавим поддержку словарей полигонов. То есть, использование множества заранее заданных полигонов.
источником для это же сможет выступать какая либо субд?)GoogleКонстантин23.10.2018
11:13:24
11:13:24
Нет, но возможно, мы добавим поддержку словарей полигонов. То есть, использование множества заранее заданных полигонов.
Спасибо, вчера уже разобрался, for цикл по файлам и пайпы - спасли меня :)Alexey23.10.2018
11:13:39
11:13:39
источником для это же сможет выступать какая либо субд?)
Да (полигоны можно будет передавать в виде строки какого-то известного формата для гео-данных). Но это пока в проекте.Konstantin23.10.2018
11:14:11
11:14:11
Eugene23.10.2018
11:19:19
11:19:19
ребятки, при импорте csv без заголовка, как можно скипнуть какой-нибудь столбец? или хотя бы обрезать значение? там просто blob, хочется от него избавиться... есть какие-то рычаги?
Denis23.10.2018
11:22:31
11:22:31
Denis23.10.2018
11:29:51
11:29:51
пять букв надо написать для cut
Vladislav23.10.2018
12:02:48
12:02:48
День добрый! О чем-то говорит постоянное появление в логах
"Found N old parts to remove"
"Removing part from filesystem"
?
У меня MV собирает данные из kafka кладет в distributed таблицу, она раскладывает по нодам, такое проделано 3 раза для 3 разных типов источников данных, но почему-то только для 1 появляются такие сообщения
Alex23.10.2018
12:06:07
12:06:07
День добрый! О чем-то говорит постоянное появление в логах
"Found N old parts to remove"
"Removing part from filesystem"
?
Это часть нормальной работы сервера.Vladislav23.10.2018
12:13:52
12:13:52
Это часть нормальной работы сервера.
Понял, спасибо. Просто немножко смущает, что я не вижу подобных сообщений для 2 остальных источников, скорость вставки там выше. А здесь появляется каждую секунду на каждой ноде. Т.е. это совсем нормально и например с неоптимальностью ключей шардинга, партиций, сэмплинга никак не связано?Alex23.10.2018
12:19:14
12:19:14
Это значит, что в таблицу идёт вставка - потом вставленные куски мержатся в большие куски и становятся ненужными и через некоторое время удаляются. Если для других таблиц такие сообщения не наблюдаются, возможно в них никто не вставляет.
Eugene23.10.2018
12:52:16
12:52:16
Denis23.10.2018
12:59:54
12:59:54
echo '"a",0,"1,2,3,4","end"' | cut -d, -f3
как удалить "1,2,3,4" ?
а у вас csv, ну тогда грузить в engine log и insert select или ssconvert-м заменить формат/сепараторхотя пишут что awk может
echo '"a",0,"1,2,3,4","end"' | awk -vFPAT='([^,]*)|("[^"]+")' -vOFS=, '{print $1,$2,$4}'
"a",0,"end"
Aleksandr23.10.2018
13:04:48
13:04:48
Привет всем. Столкнулся с странной ошибкой, делаю селект с КХ кластера и получаю ошибку:
Block structure mismatch in UNION stream: different names of columns:
Версия: Connected to ClickHouse server version 18.12.17 revision 54407.
ошибка в случае если делать с условием по не скольким полям, если делать условие по каждому из полей отдельно все ок
в чем может быть ошибка?
GoogleDenis23.10.2018
13:09:38
13:09:38
в чем может быть ошибка?
а если в clickhouse-client перед запросом выполнить
set enable_optimize_predicate_expression = 0Aleksandr23.10.2018
13:10:13
13:10:13
все равно ошибка
еще проверил ошибку выдает только Distributed таблица
если делать запрос к sharded то все ок
Wolf23.10.2018
13:11:30
13:11:30
в гите есть ишью про это вроде
Aleksandr23.10.2018
13:11:38
13:11:38
https://github.com/yandex/ClickHouse/issues/2156
вот такое нашел
>But removing the limit section make it works.
у меня то же работает если удалить limit
Alexey23.10.2018
13:13:59
13:13:59
у вас в селекте есть order by или limit? когда воспроизводится ошибка
Wolf23.10.2018
13:14:04
13:14:04
да это оно
Alexey23.10.2018
13:14:06
13:14:06
ага, во
Wolf23.10.2018
13:14:30
13:14:30
ошибка подтверждена @milovidov_an сказал будут чинить
Alexey23.10.2018
13:14:42
13:14:42
select * from (select * from distributed без лимита) limit
Aleksandr23.10.2018
13:14:52
13:14:52
да, вот так у меня заработало ?
значит все таки баг, хух, думал я чего сломал при переезде на кластер ?
Vladimir23.10.2018
13:31:04
13:31:04
Всем привет! У кого-то было в FB Ads : собираешь аудиторию в 120-150k, и всё ок а потом через 1-2 она становится менее 1000?
GoogleM23.10.2018
13:31:49
13:31:49
Tatiana23.10.2018
13:46:45
13:46:45
В changelog для 18.14.9 написано “Настройка enable_optimize_predicate_expression выключена по-умолчанию”
Но у меня она все равно = 1
Alex23.10.2018
13:50:34
13:50:34
Да, это ошибка в changelog. Соответствующий коммит пока только в мастере.
Vladislav23.10.2018
14:50:30
14:50:30
Всем привет.
А если сделали огромной табличке optimize final, но спустя 13 часов поняли, что это боль.
Можно сделать kill query?
Данные не побьются ?
Kos23.10.2018
15:00:58
15:00:58
Добрый вечер, как повлияет на скорость записи партицирование одной большой таблицы на ~50 таблиц различных размеров. Идея в том что мы знаем какая именно таблица нужна при запросе, если она небольшая - это значительно ускорит чтение. Писать собираемся через кафку.
Wolf23.10.2018
15:11:01
15:11:01
ну а смысл в этом если у вас в условиях есть дата и время то и так запросы будут быстрыми
Alexey23.10.2018
15:11:52
15:11:52
если я добавил MATERIALIZED колонку, optimize table partition final заполнит ее данными для указанной партиции? что-то видел краем глаза вроде
Michal23.10.2018
15:18:41
15:18:41
Алексей23.10.2018
15:21:31
15:21:31
Всем, привет.
Подскажите кто-нибудь сталкивался с ошибкой
2018.10.23 18:00:02.165703 [ 1 ] <Error> Application: DB::Exception: Cannot lock file /opt/data/clickhouse/status. Another server instance in same directory is already running.
Проблема появилась после рестарта сервера, запущен один процесс clickhouse-server
и каждые 10 минут такая ошибка в логе пишется
Oleh23.10.2018
15:23:10
15:23:10
lock файл остался видимо, попробуй удалить его
Алексей23.10.2018
15:27:43
15:27:43
файл то есть, и там все верно заполнено, может быть глупый вопрос задам: он потом дожен будет пересоздаться?
Kirill23.10.2018
15:41:28
15:41:28
Michal23.10.2018
15:42:50
15:42:50
$ df -i
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/xvda1 6815232 43164 6772068 1% /
devtmpfs 7833481 314 7833167 1% /dev
tmpfs 7838925 1 7838924 1% /dev/shm
tmpfs 7838925 435 7838490 1% /run
tmpfs 7838925 16 7838909 1% /sys/fs/cgroup
/dev/xvdb 10485760 434261 10051499 5% /var/lib/clickhouse/data
tmpfs 7838925 1 7838924 1% /run/user/1002
tmpfs 7838925 1 7838924 1% /run/user/1001
Думаю проблема может быть связана с тем что вы сремаповали только папку data из /var/lib/clickhouse. А там ещё всякие разные папочки присутствуют. Например tmp. Возможно он пытается создать временный файл который создаётся не там где вы ожидаете.Добрый вечер, как повлияет на скорость записи партицирование одной большой таблицы на ~50 таблиц различных размеров. Идея в том что мы знаем какая именно таблица нужна при запросе, если она небольшая - это значительно ускорит чтение. Писать собираемся через кафку.
А почему бы тот ключ определяющий "нужную" таблицу не поставить в начале первичного ключа КХ? Тогда всегда будет читаться ровно столько сколько нужно (пара лишних Кб не в счет).GoogleMichal23.10.2018
15:48:22
15:48:22
А можете попробовать вашими "неправильными" запросами поднять использование памяти на "пустом" сервере? Можете как-то воспроизвести проблему?
Yuran23.10.2018
15:49:12
15:49:12
А можете попробовать вашими "неправильными" запросами поднять использование памяти на "пустом" сервере? Можете как-то воспроизвести проблему?
Запросы содержат обращение к несуществующей функции :). К сожалению, в данный момент попробовать не можем, потому что откатили версию назад ?
Evgeny23.10.2018
15:54:11
15:54:11
Запросы содержат обращение к несуществующей функции :). К сожалению, в данный момент попробовать не можем, потому что откатили версию назад ?
А можно структуру данных и запрос? Попробую у себя воспроизвести. Очень неприятно будет если аналитики невзначай наступят на подобноеYuran23.10.2018
15:57:18
15:57:18
Таблица распределенная, выглядит примерно так:
CREATE TABLE default.table_dist (
date Date DEFAULT toDate(time),
time DateTime,
id Int32,
key1 Int32,
key2 Int32,
count AggregateFunction(sum, Int64),
min AggregateFunction(min, Int64),
max AggregateFunction(max, Int64)
)
ENGINE = Distributed(default, default, table_local)
Запросы вида SELECT sumMerge(count), HLL_MAX(uniq_col) FROM table_dist WHERE id = 123
функции HLL_MAX в ClickHouse нет (как и колонки uniq_col в данном случае)
Почему мы такие запросы шлем — это другой вопрос :).
Michal23.10.2018
15:58:34
15:58:34
Таблица распределенная, выглядит примерно так:
CREATE TABLE default.table_dist (
date Date DEFAULT toDate(time),
time DateTime,
id Int32,
key1 Int32,
key2 Int32,
count AggregateFunction(sum, Int64),
min AggregateFunction(min, Int64),
max AggregateFunction(max, Int64)
)
ENGINE = Distributed(default, default, table_local)
Запросы вида SELECT sumMerge(count), HLL_MAX(uniq_col) FROM table_dist WHERE id = 123
И сколько (примерно) этих запросов примерно было отправлено чтоб "съело" 100 Гб?Yuran23.10.2018
15:58:53
15:58:53
Я не могу сказать точно, но несколько запросов в секунду примерно.
За сутки, условно, пусть будет 500к запросов ?
записей в таблице по индексу находится ~100k — 1kk
Konstantin23.10.2018
16:07:35
16:07:35
подскажите, можно ли через SELECT FROM mysql() получить geometry ?
Открыть в Telegram