а есть какие-нибудь best practice по размещению clickhouse на пром стендах? ну там логины\пароли понятно. А еще?

А будет когда-нибудь реализовано?

А зачем?

через сокеты быстрее все работает

Через сокеты не будет репликации

через сокеты быстрее все работает

чем 127.0.0.1 ?)

распространенное заблуждение

Доступ из php в mysql через сокет таки действительно быстрее, чем через 127.0.0.1 (тестировали на работе), но, по-моему, в случае кликхауса вряд ли эти накладные расходы хоть как-то заметно повлияют на быстродействие

Доступ из php в mysql через сокет таки действительно быстрее, чем через 127.0.0.1 (тестировали на работе), но, по-моему, в случае кликхауса вряд ли эти накладные расходы хоть как-то заметно повлияют на быстродействие

хм, простите меня глупого но сокет это тип соединения, скорее даже абстракция а 127.0.0.1 это ip адресс что Вы имели ввиду, когда написали своое сообщение ?

srwxrwxrwx 1 mysql mysql 0 Jun 8 15:26 /var/run/mysql10.2/mysqld.sock

Работу через unix-socket

Понял, спасибо

что такое "быстрее"?

latency, throughput?

latency

latency ниже, хотя и тут вопрос спорный (особенно в случае php(

http://highsecure.ru/ltproto/roo/ и http://highsecure.ru/ltproto/roo/lat/

но это долбанутый opteron

на современных процессорах все намного приятнее

У меня виртуалки с эмулируемым процессором и, местами, с оверселлингом...

к чему тогда вообще разговоры о скорости?

А будет когда-нибудь реализовано?

этож сколько у вас запросов должно быть чтобы это было сколько нибудь ощутимо.

дело в том, что это не зависит от запросов

пятница, "кликхаус не тормозит", что еще обсуждать как не скорость :)

там latency до передачи данных, скажем, на 10% ниже

там latency до передачи данных, скажем, на 10% ниже

ну на фоне того что скажем запрос выполняется секунд десять эта латенси не заметна

я не спорю

мужчины, женщины, до 20, после 20, ...

До и после 20 это одна колонка, пол одна колонка, типы /алкоголик/трудяга/ помещаются в кортеж и т.д. Возможно, вместо 1000 колонок нужно хорошо продумать структуру данных

1000 колонок, это ничоси. В доке, конечно, написано, что КХ для широких таблиц... Куда, кстати, корректировки по доке присылать? Возможно, я ошибку нашёл, но может я сам ламер

До и после 20 это одна колонка, пол одна колонка, типы /алкоголик/трудяга/ помещаются в кортеж и т.д. Возможно, вместо 1000 колонок нужно хорошо продумать структуру данных

аудиторные сегменты, они создаются удаляются постоянно, сейчас их 10к

соответственно, для каждого показа прилетает массив из 300 сегментов с айдишками

300 это в среднем

аудиторные сегменты, они создаются удаляются постоянно, сейчас их 10к

В КХ нельзя удалять колонки. 300, да и 1000 легко влезут и будут работать. В самой метрике, которая на КХ работает всего 5 таблиц, если мне изменяет память.

В КХ нельзя удалять колонки. 300, да и 1000 легко влезут и будут работать. В самой метрике, которая на КХ работает всего 5 таблиц, если мне изменяет память.

@milovidov_an не советовал делать 2к колонок, давно-давно я спрашивал про такое

а тут 10к

Ну потому что это утопия, как минимум) Т.е. кх хорошо работает с выборкой, нет смысла раскидывать по флагам и дублировать внешнее решение ради выиграша в скорости. Имеет смысл класть в кх сырые данные в виде пола / возраста / etc, а ренжи хранить в каком-нибудь сервисе адаптере, хоть 100 000. И этот сервис при выборе "До 20" будет уже билдить WHERE age < 20 и все дела

Это несколько дольше сначала, но очень быстрее потом, в плане поддержки, разработки и хранения данных в принципе. Раскидывать одно значение возраста на 20 колонок так себе решение.

Ну потому что это утопия, как минимум) Т.е. кх хорошо работает с выборкой, нет смысла раскидывать по флагам и дублировать внешнее решение ради выиграша в скорости. Имеет смысл класть в кх сырые данные в виде пола / возраста / etc, а ренжи хранить в каком-нибудь сервисе адаптере, хоть 100 000. И этот сервис при выборе "До 20" будет уже билдить WHERE age < 20 и все дела

+1. Нет смысла тащить правила работы с агрегатами в базу, оптимизованую для работы с сырыми данными. Иначе никакие оптимизации и колонки не помогут

Привет! Глупый вопрос, хочу перестраховаться. Есть продакшн-сервер без реплик, хочется забекапить. Как это вообще правильно сделать? Выполнить ALTER .. FREEZE PARTITION по всем таблицам и кускам и потом, скажем, сделать tar cvzf /mnt/backups/backup.tar.gz /var/lib/clickhouse/shadow/ и всё?

Сжимать вроде нет смысла

Да, это я машинально :) Т.е. просто забекапить shadow достаточно?

SELECT * FROM tbl WHERE date_hour >= toStartOfDay('2018-06-09 10:10:10') Received exception from server (version 1.1.54385): Code: 43. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Illegal type String of argument of function toStartOfDay. Should be a date or a date with time. Стринг нельзя, надо Дату или ДатуВремя. Окей: SELECT * FROM tbl WHERE date_hour >= toStartOfDay(toDate('2018-06-09 10:10:10')) Received exception from server (version 1.1.54385): Code: 43. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Illegal type Date of argument for function toStartOfDay. Дату нельзя. Тянет на баг, кажется

а какого типа date_hour? хотя пофигу

ошибка про тип аргумента функции toStartOfDay

А еще SELECT today() ┌────today()─┐ │ 2018-06-09 │ └────────────┘ SELECT url_id, toDate(date_hour) AS agg_date, sum(click) AS click, sum(show) AS show FROM tbl WHERE date_hour >= today() GROUP BY toDate(date_hour) ┌─url_id─┬───agg_date─┬─click─┬─show─┐ │ 2 │ 2018-06-09 │ 9 │ 35 │ │ 2 │ 2018-06-08 │ 0 │ 1 │ неожиданно! date_hour - DateTime

Хотя бы, если уж нельзя сравнивать Date и DateTime (что странно), то предпочтительнее увидеть ошибку, чем бред в неупавшем запросе

SELECT * FROM tbl WHERE date_hour >= toStartOfDay('2018-06-09 10:10:10') Received exception from server (version 1.1.54385): Code: 43. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Illegal type String of argument of function toStartOfDay. Should be a date or a date with time. Стринг нельзя, надо Дату или ДатуВремя. Окей: SELECT * FROM tbl WHERE date_hour >= toStartOfDay(toDate('2018-06-09 10:10:10')) Received exception from server (version 1.1.54385): Code: 43. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Illegal type Date of argument for function toStartOfDay. Дату нельзя. Тянет на баг, кажется

Select toDate('2018-06-09 10:10:10') vs Select toDateTime('2018-06-09 10:10:10') аа, я понял нельзя Select toStartOfDay(toDate('2018-06-09')), ясно.

Добрый день! Если столбец, в котором хранятся массивы. Можно как то сделать группбай не по массивам, а по их элементам?

from .. array join .. group by ..

Господа, а можно как-то у JDBC-драйвера clickhouse ограничить bandwidth?

с какой целью ограничивать?

Ограничьте средствами линукса через tc

Господа, а можно как-то у JDBC-драйвера clickhouse ограничить bandwidth?

max_network_bandwidth max_network_bandwidth_for_user max_network_bandwidth_for_all_users вот такие настройки есть

Коллеги, добрый день! Если у меня в шарде две реплики, я добавляю третью, не включая в конфиг шардов - это нормально так делать? ничем не чревато?

Чат, а когда есть merge таблица смотрящая на вьюхи - она во вьюху ходит именно на своём сервере только или на весь кластер? Есть подозрение что только на своём. Нет ли best practice как распараллелить?

Коллеги, добрый день! Если у меня в шарде две реплики, я добавляю третью, не включая в конфиг шардов - это нормально так делать? ничем не чревато?

Писать будет, читать нет

Писать будет, читать нет

спасибо! то что надо ?

Т.к есть merge таблица смотрящая на 10+ view, которые созданы на всём кластере, вот хотелось бы что бы эти самые view исполнялись быстро и на рандомных нодах, тк group by все равно на конечной ноде идёт...

Чат, а когда есть merge таблица смотрящая на вьюхи - она во вьюху ходит именно на своём сервере только или на весь кластер? Есть подозрение что только на своём. Нет ли best practice как распараллелить?

Distributed-таблица для вьюх

а, у вас merge

Distributed-таблица для вьюх

Вымысле? Поверх вьюх натянуть distributed?

а, у вас merge

Да, кейс в том, что бы вьюхи которые дергает merge шли на разных серверах...

Вымысле? Поверх вьюх натянуть distributed?

поверх merge distributed попробовать может?

поверх merge distributed попробовать может?

Не очень понимаю какой это даст эффект

Не очень понимаю какой это даст эффект

о, наоборот же. Distributed на вьюхи, а Merge уже на Distributed.

о, наоборот же. Distributed на вьюхи, а Merge уже на Distributed.

Гм, а будет работать?

ну так теоретически вроде ничто не мешает

В моем понятии distributed нужен тогда, когда нам нужно собрать данные с разных серверов и на каждом свой кусок данных

у меня есть несклько distr над мат.вьюхами, даже попробую щас

А тут у меня на каждом по факту одно и тоже

вы когда скахали про кластер, я и подумал что шарды

Т.е у меня схема такая сейчас: Merge —> view x10 —>distributed —> реальная таблица с сырьем

Вот задача обращения к х10 распаралелить, запустив их на всех доступных серверах а не на одном :)

Я от безысходности уже думал переделать обращение в поле from через random(x) что бы вьюха случайный сервер для remote обращения выбирала. Но это изврат какой-то Merge —> view (from remote RANDOM) union all —> view x10 —>distributed —> реальная таблица с сырьем

норм вариант, UNION ALL судя по доке распапаллеливает как раз

норм вариант, UNION ALL судя по доке распапаллеливает как раз

Он все равно распаралелит на одном сервере :) мне придётся делать remote

Merge тоже паралелит

Не верю, что только у меня такая проблема возникла, у кого большие кластеры по любому сталкивались

Не верю, что только у меня такая проблема возникла, у кого большие кластеры по любому сталкивались

Что значит мердж таблица которая должна собрать данные с рандомных серверов? Это как? Данные либо умножаться либо будут не все.

Что значит мердж таблица которая должна собрать данные с рандомных серверов? Это как? Данные либо умножаться либо будут не все.

Между вью и merge сделать ещё 1 view с select * from remote random()

Фактически 10 вьюшке тогда выполнятся там куда упадёт обращение от remote...

Но криво, не хотелось бы так..

По идее merge так сам уметь должен, на мой взгляд а похоже не умеет

Где данные лежат? На всех 10 полная реплика? Можно обратится к любому?