@clickhouse_ru
Kirill21.03.2018
06:45:12
06:45:12
Да, это не партиции, а куски. Что в Reading approx/Peak memory usage пишет ? Key condition +-inf хорош )
И сам запрос, кстати, какой?
Vasilij21.03.2018
06:54:31
06:54:31
Сам запрос такой:
SELECT
RecordDate,
SUM(xxx) / 100,
и так ещё 30 колонок
FROM Turnovers
WHERE RecordDate BETWEEN '2018-03-01' AND '2018-03-31'
GROUP BY RecordDate
Reading approx: 26 111 808
Mem usage: 3 Gb
И всё это выполняется 25-30 секунд.
Kirill21.03.2018
07:01:54
07:01:54
При 30 выбираемых колонках это не сильно удивительно, хотя у вас там и всего 26 кк строк. А free -h что говорит? Просто может он у вас эти 30 колонок всегда с диска поднимает?
GoogleVasilij21.03.2018
07:07:08
07:07:08
Не, памяти вроде достаточно.
total used free shared buffers cached
Mem: 31G 21G 9.6G 624M 470M 6.4G
-/+ buffers/cache: 14G 16G
Swap: 879M 452K 879M
Какие есть практики в таком случае? Агрегировать? Потому как при дополнительном отборе по ключу строк становится резко меньше, и время приемлемо (1-3 сек). Но вот такой глобальный отчетик - как-то долго выходит ждать...
Kirill21.03.2018
07:12:12
07:12:12
Да, можно просто материализованное представление с SummingMergeTree повесить и он шустро все будет отдавать
Konstantin21.03.2018
08:40:20
08:40:20
коллеги, немного отвлеченный вопрос, grafana всегда отправляет запросы со страницы браузера к БД?
Stanislav21.03.2018
08:42:09
08:42:09
При отрисовке графиков и если так настроен datasource
У меня запросы отправляет сервер графаны
Konstantin21.03.2018
08:43:08
08:43:08
Sergei21.03.2018
08:50:48
08:50:48
Что можно предпринять когда ноды рассинхронизировались? Как их сново подружить? :)
Kirill21.03.2018
08:55:01
08:55:01
Что можно предпринять когда ноды рассинхронизировались? Как их сново подружить? :)
А в логи он что-нибудь пишет или просто данные при репликации разошлись?Вообще DETACH/ATTACH партиции может помочь, эти запросы реплицируются и реплика должна будет увидеть партицию
Sergei21.03.2018
09:07:44
09:07:44
Вообще DETACH/ATTACH партиции может помочь, эти запросы реплицируются и реплика должна будет увидеть партицию
Маленькими кусочками восстанавливается. Данные разошлись после того как изменил структуру локальной таблицы на одной из нод (обновлял, накосячил)
Буду пробовать дальше. Спасибо! ;)Kirill21.03.2018
09:08:46
09:08:46
Anton21.03.2018
09:13:15
09:13:15
Всем привет, вопрос к разработчикам. Как вы относитесь к работе КХ на zfs?
Google
Slach21.03.2018
09:26:03
09:26:03
я не разработчик ;) но у меня вопрос у zfs какие то преймущества для bulk read\write ? по сравнению с другими fs ?
Wolf21.03.2018
09:28:05
09:28:05
использовал массово zfs на куче проектов в итоге пришлось отказаться, очень сильные просадки при нагрузках больших с бд , очень сильные просадки при работе с большим количеством файлов
Slach21.03.2018
09:28:18
09:28:18
потому что большие последовательные чтения и последовательные записи это как раз основной паттерн CH
Wolf21.03.2018
09:28:33
09:28:33
ext4 на высоких нагрузках просто делал как стоячего zfs
Dmitry21.03.2018
09:31:17
09:31:17
а PKCondition::mayBeTrueInRange - это баг? или где-то тикет надо завести?
where date = '2018-03-28' and person = 1
where date in ('2018-03-28') and person = 1
where date = '2018-03-28' and person in (1)
// this one produces PKCondition::mayBeTrueInRange
where date in ('2018-03-28') and person in (1)
// this one is ok
where date in ('2018-03-28', '2018-03-27') and person in (1, 2)
Daniel21.03.2018
09:32:53
09:32:53
коллеги, как вы смотрите на изменение стандартного размера для одного inode в ext4 с default 1 inode на 16кб, а news с 1 inode на 4кб?
кто-нибудь так делал на серваках с clickhouse?
Alex21.03.2018
09:34:49
09:34:49
PKCondition::mayBeTrueInRange это функция в коде :) А в чём баг?
Dmitry21.03.2018
09:38:42
09:38:42
PKCondition::mayBeTrueInRange это функция в коде :) А в чём баг?
это кусочек sql запроса :) если в перечислениях по одному значению, то падает с такой ошибкойесли указать несколько значений в скобках, то всё ок
prll21.03.2018
09:39:32
09:39:32
Freebsd?
papa21.03.2018
09:42:11
09:42:11
Dmitry21.03.2018
09:42:58
09:42:58
это последний докер yandex/clickhouse-server
ща попробую выяснить подробности
papa21.03.2018
09:45:17
09:45:17
select version()
Dmitry21.03.2018
09:45:38
09:45:38
спасибо, 1.1.54370
papa21.03.2018
09:47:33
09:47:33
:) select * from (select today() as date, 42 as person) where person in (42) and date in ('2018-03-21')
┌───────date─┬─person─┐
│ 2018-03-21 │ 42 │
└────────────┴────────┘
что-то у меня с первого раза не получилось
Dmitry21.03.2018
09:50:33
09:50:33
Я думаю там физически таблица нужна, попозже закину полный пример, афк
Googleprll21.03.2018
09:59:13
09:59:13
NDA
Wolf21.03.2018
09:59:56
09:59:56
Насколько помню на конференции говорили что уже давно отказались от фрибсд.
Андрей Михайлович21.03.2018
10:00:21
10:00:21
а вроде у них же какая-то своя версия генты. Не?
Саша21.03.2018
10:02:50
10:02:50
добрый день, а подскажите, можно ли узнать запросом на какие сервера реплицируется таблица?
frukt21.03.2018
10:08:58
10:08:58
Здравствуйте. Есть проблема с репозиторием на убунту при апдейте.
"Репозиторий «http://repo.yandex.ru/clickhouse/trusty stable Release» не содержит файла Release."
И да, каюсь, у меня русская убунту ?
Stanislav21.03.2018
10:09:47
10:09:47
см. прикреплённое
frukt21.03.2018
10:10:56
10:10:56
Здравствуйте. Есть проблема с репозиторием на убунту при апдейте.
"Репозиторий «http://repo.yandex.ru/clickhouse/trusty stable Release» не содержит файла Release."
И да, каюсь, у меня русская убунту ?
Ошк:1 http://repo.yandex.ru/clickhouse/trusty stable/main amd64 clickhouse-server-common amd64 1.1.54362
404 Not Found [IP: 213.180.204.183 80]
Ошк:2 http://repo.yandex.ru/clickhouse/trusty stable/main amd64 clickhouse-client amd64 1.1.54362
404 Not Found [IP: 213.180.204.183 80]
Ошк:3 http://repo.yandex.ru/clickhouse/trusty stable/main amd64 clickhouse-server-base amd64 1.1.54362
404 Not Found [IP: 213.180.204.183 80]
E: Не удалось получить http://repo.yandex.ru/clickhouse/trusty/pool/main/c/clickhouse/clickhouse-server-common_1.1.54362_amd64.deb 404 Not Found [IP: 213.180.204.183 80]
E: Не удалось получить http://repo.yandex.ru/clickhouse/trusty/pool/main/c/clickhouse/clickhouse-client_1.1.54362_amd64.deb 404 Not Found [IP: 213.180.204.183 80]
E: Не удалось получить http://repo.yandex.ru/clickhouse/trusty/pool/main/c/clickhouse/clickhouse-server-base_1.1.54362_amd64.deb 404 Not Found [IP: 213.180.204.183 80]
АлександрDmitry21.03.2018
10:13:51
10:13:51
есть подозрение что в релизе 2018-02-01 драйвера ODBC сломали работу таймаутов https://github.com/yandex/clickhouse-odbc/issues/36
после установки нового драйвера часто ловим ошибки таймаута не смотря на выставленные настройки в менеджере ODBC
сможете проверить или написать на гитхабе тикет?
Slach21.03.2018
10:24:53
10:24:53
prll21.03.2018
10:31:54
10:31:54
есть подозрение что в релизе 2018-02-01 драйвера ODBC сломали работу таймаутов https://github.com/yandex/clickhouse-odbc/issues/36
после установки нового драйвера часто ловим ошибки таймаута не смотря на выставленные настройки в менеджере ODBC
именно это место работает нормально, таймаут берется из конфига и прокидыватся в pocoкакие именно ошибки ловите ?
Dmitry21.03.2018
10:39:17
10:39:17
просто ошибка Timeout, без какого-то error code, как будто драйвер сам отрубает соединение
также было до выполнения 36го тикета
prll21.03.2018
10:53:31
10:53:31
а ошибка через сколько ? и ос какая?
Dmitry21.03.2018
11:10:25
11:10:25
ошибка возникает секунд через 30, ОС Windows 10
Артем21.03.2018
11:12:46
11:12:46
Коллеги, а есть какое нибудь более удобное средство для управлениями пользователями и правами кроме как правке в users.xml ? есть ли какое нибудь более удобное средство
Googleprll21.03.2018
11:12:46
11:12:46
а таймаут сколько в конфиге?
Dmitry21.03.2018
11:15:22
11:15:22
что-то у меня с первого раза не получилось
вообщем если для PK указать IN, но в наборе всего одно значение, то валится с ошибкой.
https://pastebin.com/TyvURYRdя не уверен, что эта ошибка в бд. может быть виноват клиент для php (smi2/phpClickHouse)
papa21.03.2018
11:16:57
11:16:57
нет, в консольном клиенте тоже падает.
Vyacheslav21.03.2018
11:26:27
11:26:27
я не разработчик ;) но у меня вопрос у zfs какие то преймущества для bulk read\write ? по сравнению с другими fs ?
распаралеливание запросов во всем ядрам, даже если сам(и) запрос(ы) идут из одного тредаWolf21.03.2018
11:29:25
11:29:25
шо?
Мускуль постгрес с базами в несколько сотен Гб очень плохо себя чувствуют на зфс , так плохо что это перевешивает все плюсы самого зфсVyacheslav21.03.2018
11:32:56
11:32:56
несколько сотен гиг должны просто помещаться в RAM, о чем вообще речь-то?
Renat21.03.2018
11:33:29
11:33:29
Были ли запросы до падения или это обновление словаря по таймеру ? Что случилось с mysql - может его перезапускали?
С mysql что-то (еще разбираемся) произошло, он не отвечал какое-то время.
> это обновление словаря по таймеру
обновление по таймеру, словарь hashed.Wolf21.03.2018
11:35:37
11:35:37
несколько сотен гиг должны просто помещаться в RAM, о чем вообще речь-то?
Ну оно адекватно быстро работает на ext4 на таком же сервере, а решать проблемы вставляя полтерабайта оперативы как то совсем не по божески, когда можно просто сменить фсАналогично плохо работает с миллиардами файлов, хотя динамические иноды очень удобно в зфс
Vyacheslav21.03.2018
11:37:02
11:37:02
почему у меня нет никаких проблем с большим количеством файлов?
ну и без полтерабайта оперативы у меня мускуль нормально на zfs работает. впрочем, надо определиться что значит "нормально"
любая база нормально работает когда её ws влезает в её кеш. и это очень мало зависит от fs
Slach21.03.2018
11:52:45
11:52:45
несколько сотен гиг должны просто помещаться в RAM, о чем вообще речь-то?
а можете выдать мне полтора миллиона рублей чтоты такой сервер купить?prll21.03.2018
11:53:11
11:53:11
Dmitry21.03.2018
11:53:34
11:53:34
давайте попробуем
Vyacheslav21.03.2018
11:54:54
11:54:54
Slach21.03.2018
11:55:02
11:55:02
распаралеливание запросов во всем ядрам, даже если сам(и) запрос(ы) идут из одного треда
ну правда чтоли ext4 только одно ядро использует? ;)
ну и в CH пуллтредов, вычитка часто паралельная как и GROUP BY
я понимаю что это все в user mode а не в kernel mode
но все таки то что вы привели, может сократить какие то сотые доли процента
но вы попробуйте сравните, в принципе почему нет?GoogleVyacheslav21.03.2018
11:56:06
11:56:06
я так понимаю читать не умеем. я отвечал на вопрос "bulk r/w", а тут уже не другой профиль нагрузки
Slach21.03.2018
11:56:52
11:56:52
256ГБ рам нынче стоит 200тыр
256G RAM это не несколько сотен гигабайт
это пару сотен =)
несколько сотен это 512 что уже по вашей же мерке 400 тыр
еще шасси и все остальное тоже не бесплатноVyacheslav21.03.2018
11:57:14
11:57:14
несколько — это больше одного.
а так шасси и все остальное не нужно, что ли?
Ivan21.03.2018
12:00:40
12:00:40
Коллеги, скажите кто знает, не могу в документации найти:
- Делает ли Buffer дедупликацию одинаковых строк? У меня почему-то не все батчи доходят через баффер, как только начал добавлять UUID в каждую строку - стало работать нормально
Vyacheslav21.03.2018
12:01:24
12:01:24
а разве дедупликация не применяется вообще ко всем данным независимо от буффер?
по опредлению просто
Vyacheslav21.03.2018
12:03:12
12:03:12
так в документации по каждому табличному движку
Ivan21.03.2018
12:03:17
12:03:17
но если я не хочу удалять одинаковые строки? можно ли это отключить?
Alex21.03.2018
12:05:01
12:05:01
Дедупликацию делает только ReplicatedMergeTree на уровне вставляемых блоков (блок должен быть с точно теми же данными в том же порядке).
Ivan21.03.2018
12:06:34
12:06:34
Спасибо @ztlpn
дело в том что у нас не так много измерений в таблице - всего 15 и нет никаких UUID
придумал как обходной путь попробывать добавлять в каждый батчь какую-нибудь рандомную строку
Alex21.03.2018
12:07:47
12:07:47
Дедупликации строк нет. На самом деле один из недостатков Buffer - то, что он при ошибке вставки в следующий раз сформирует другой блок и соответственно exactly once не обеспечится.
Vyacheslav21.03.2018
12:08:09
12:08:09
https://clickhouse.yandex/docs/ru/table_engines/replacingmergetree/
ReplacingMergeTree
Движок таблиц отличается от MergeTree тем, что выполняет удаление дублирующихся записей с одинаковым значением первичного ключа.
Ivan21.03.2018
12:08:49
12:08:49
ну я вот как раз и определил ошибку тем что сформировал 10 одинаковых батчей по миллиону строк - и в итоге дошли только 2 миллиона строк )
как только вставил в одно измерение случайно сгенерированные символы для каждой строки - нормально заработало
Открыть в Telegram