))

какой-то опасный таймаут у тебя)

фича? SELECT if(0 AND 0 AND NULL AND NULL, 1, 0) ┌─if(and(0, 0, NULL, NULL), 1, 0)─┐ │ \N │ └─────────────────────────────────┘

фича? SELECT if(0 AND 0 AND NULL AND NULL, 1, 0) ┌─if(and(0, 0, NULL, NULL), 1, 0)─┐ │ \N │ └─────────────────────────────────┘

прикольно)

только до тех пор, пока в проде не оказывается)

Добрый день коллеги! Подскажите пожалуйста, есть задачка посчитать сколько слов начинается с какой буквы. То есть по просу - сделать группировку по первой букве слова. Мож кто подскажет как решить?

Добрый день коллеги! Подскажите пожалуйста, есть задачка посчитать сколько слов начинается с какой буквы. То есть по просу - сделать группировку по первой букве слова. Мож кто подскажет как решить?

Чую что тут будет array join и лямбды, но не знаю как в лямбдах сделать из одного элемента несколько

Добрый день коллеги! Подскажите пожалуйста, есть задачка посчитать сколько слов начинается с какой буквы. То есть по просу - сделать группировку по первой букве слова. Мож кто подскажет как решить?

а слова где хранятся - в массиве, одно предложение или слово на строку?

а слова где хранятся - в массиве, одно предложение или слово на строку?

Это слово на строку

если одно слово на строку, то можно через функцию substring вытащить первые символы и сделать по ним group by

если я правильно понял суть задачи :)

если одно слово на строку, то можно через функцию substring вытащить первые символы и сделать по ним group by

Спасибо большое, все правильно

Товарищи а как вы решаете с тегами кейсы? Например есть строка, в строке идентификатор сущности и этой сущности могут быть N тегов. Ну если строка гвоздями прибита в CH , то теги нет - меняются постоянно. Хотелось бы по ним группировать и фильтровать. Словарик ид сущности-строка и раскукоживать каждый раз строку в массив?

Товарищи а как вы решаете с тегами кейсы? Например есть строка, в строке идентификатор сущности и этой сущности могут быть N тегов. Ну если строка гвоздями прибита в CH , то теги нет - меняются постоянно. Хотелось бы по ним группировать и фильтровать. Словарик ид сущности-строка и раскукоживать каждый раз строку в массив?

Можно раскукоживать при заливке данных и сразу делать столбец с массивом тегов

Так они динамические

Я бы вставлял если бы это статика была

Не обновлять же партицию на каждое обновление тегов

Ну тогда раскукоживать каждый раз. Или можно сделать динамический словарь тегов если есть какой-то id строки

Можно ещё пре-селект делать в рсубд и делать in выражение с только сущностями у которых есть нужные теги

Просто как быстро будет раскукоживание работать на миллиардах строк

Ну вам в любом случае ведь нужно перезаливать эти данные, да? Раз теги могут измениться

Самая близкая аналогия теги у товаров которые ставят юзеры

Могут отменять их или создавать новые

В вакууме, но проблематика понятна

Нет, перезаливать не надо. Сущность которая тегируется статична. Ид товара, например.

Мне кажутся тут либо словарь, либо ReplacingMergeeTree с полем updated_at

Прошу прощения, что пропустил вопрос. На митапе 12го декабря я рассказывал, как используется ClickHouse не в РФ. Яндекс обещал выложить видео. Не все компании готовы раскрывать имена, некоторые можно найти тут https://www.altinity.com/blog/2017/8/10/who-and-why-is-using-clickhouse -- но с августа их стало заметно больше.

Прошу прощения, что пропустил вопрос. На митапе 12го декабря я рассказывал, как используется ClickHouse не в РФ. Яндекс обещал выложить видео. Не все компании готовы раскрывать имена, некоторые можно найти тут https://www.altinity.com/blog/2017/8/10/who-and-why-is-using-clickhouse -- но с августа их стало заметно больше.

большое спасибо за ответ!

Коллеги, добрый день, а как привести строку к нижнему регистру, если в ней кириллица?

Коллеги, добрый день, а как привести строку к нижнему регистру, если в ней кириллица?

upper/lowerUTF8() по-моему это единственный метод с регистром

upper/lowerUTF8() по-моему это единственный метод с регистром

Спасибо! Выручили!

есть просто lower()

будут ли работать ubuntu пакеты на debian stable?

будут ли работать ubuntu пакеты на debian stable?

сам не пробовал, но выше утверждали, что пакеты для xenial на stretch заработают

должны

работают стабильно месяца 2 у нас, но гарантировать конечно не буду)

будут ли работать ubuntu пакеты на debian stable?

А что мешает собрать пакеты самостоятельно?

Собираю... Кстати для чего используется libmysqlclient-dev?

Собираю... Кстати для чего используется libmysqlclient-dev?

словари например

mkdir: cannot create directory 'debian/tmp/usr/share/clickhouse/headers/./contrib/libboost/boost_1_65_0/boost/smart_ptr/detail': No such file or directory не выходит каменный цветочек

Какая версия

только что с гита - 1.1.54328

max_connections без рестарта не применяется?

чот после перезда на 1.1.54327 его внезапно стало не хватать

max_connections - да, только с рестартом

грустно

только что с гита - 1.1.54328

а если сейчас обновить и еще раз ?

10 мин - забираю

Здравствуйте, кто-то знаком с Catboost?

Собрались deb пакеты. Спасибо! Сейчас буду ставить и тестировать.

# systemctl status clickhouse-server.service ● clickhouse-server.service - ClickHouse Server (analytic DBMS for big data) Loaded: loaded (/etc/systemd/system/clickhouse-server.service; enabled; vendor preset: enabled) Active: activating (auto-restart) (Result: exit-code) since Wed 2017-12-27 18:45:17 UTC; 7s ago Process: 737 ExecStart=/usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml (code=exited, status=70) при этом классический инит скрипт паботает

вы когда-нибудь дебажили/копались в systemd-юнитах?

гляньте логи, посмотрите journalctl -u clickhouse-server.service, не знаю там

запустите кликхаус лапками, выполните содержимое параметра ExecStart в systemctl cat clickhouse-server.service и воочию созерцайте происходящее

здраствуйте, а кто как эволюциямии схемы управляет?

созерцаю, при этом если руками запустить команду из юнита то она работает

загадошно. я просто всегда запускаю кх из докера, не имел дело с кликхаусными systemd-сервисами

я вижу в чём дело. deb пакет ставит директории /etc/clickhouse-server/ root:root а юнит сразу переключается на clickhouse. Как следсвие не может сохранять config-preprocessed.xml если поменять права на clickhouse, то стартует ... но не отдает консоль

Как вариант поменять в юните пользователя на рута

да, всё равно, ему ведь сначала нужен рут, чтобы присосаться к порту

Сервайс файл /etc/systemd/system/clickhouse-server.service Либо /usr/lib/systemd/system/clickhouse-server.service

systemctl edit clickhouse-server.service

если редактировать лапками, то надо будет daemon-reload делать

а с зукипера нет планов съехать случаем? :)

Планов нет, но на всякий случай смотрим на etcd.

у него вроде есть совместимость с зукипером? есть положительный опыт такой замены?

Есть совместимость, опыт использования отрицательный - слой совместимости (zetcd) не работает.

Планов нет, но на всякий случай смотрим на etcd.

смотрите как на замену в плане etcd без прослойки?

Смотрим, но там всё сложно - как раз сегодня @ztlpn рассказывал.

будет ли работать кликхаус на zfs? или ему O_DIRECT?

а кто-нибудь что-нибудь меняет в настройках пакетного 3.4.8 зукипера в убунте, кроме настроек: tickTime=2000 initLimit=30000 syncLimit=10 dataDir=/var/lib/zookeeper preAllocSize=131072 snapCount=3000000 maxClientCnxns=2000 maxSessionTimeout=60000000 clientPort=2181 clientPortBindAddress=ZooKeeper-1 server.1=ZooKeeper-1:2888:3888 server.2=ZooKeeper-2:2888:3888 server.3=ZooKeeper-3:2888:3888 autopurge.snapRetainCount=10 autopurge.purgeInterval=1 (взято из tips) ?

будет ли работать кликхаус на zfs? или ему O_DIRECT?

O_DIRECT по-умолчанию не используется. ClickHouse будет работать с ZFS, у нас есть такие инсталляции внутри.

Стоит ли включать zfs сжатие? Или сжатие кликхаус (если я правильно понял документацию )

Лучше выключить сжатие в ZFS.

будет оверхед, если включить

ClickHouse и так жмёт данные. В принципе, есть возможность выключить сжатие в ClickHouse и включить в ZFS, но в итоге будет хуже.

те лучше сжатие кх, понятно, спасибо!

вопрос по репоикации: у меня в лабе я не заморачивался с DNS, поднял кластер с репликми, после вставки в репликейтед таблицу на репликах не видел данных, select * rofm system.replication_queue увидел вот что: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: devtimur001.XX.XXX.com, e.what() = Host not found, откуда он взял hosname если я везед в конфигах прописал IPs?

добавил в hosts и все рассосалось, но все же хочется понять

вопрос по репоикации: у меня в лабе я не заморачивался с DNS, поднял кластер с репликми, после вставки в репликейтед таблицу на репликах не видел данных, select * rofm system.replication_queue увидел вот что: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: devtimur001.XX.XXX.com, e.what() = Host not found, откуда он взял hosname если я везед в конфигах прописал IPs?

Сталкивался с таким. Но вроде как поправили в какой-то версии

ставил из rpm

https://github.com/Altinity/clickhouse-rpm-install

спасибо за ответ

вопрос по репоикации: у меня в лабе я не заморачивался с DNS, поднял кластер с репликми, после вставки в репликейтед таблицу на репликах не видел данных, select * rofm system.replication_queue увидел вот что: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: devtimur001.XX.XXX.com, e.what() = Host not found, откуда он взял hosname если я везед в конфигах прописал IPs?

Для нахождения друг друга, реплики публикуют свой адрес в ZooKeeper. Адрес берётся из параметра конфига interserver_http_host: <!-- Hostname that is used by other replicas to request this server. If not specified, than it is determined analoguous to 'hostname -f' command. This setting could be used to switch replication to another network interface. --> <!-- <interserver_http_host>example.yandex.ru</interserver_http_host> -->

спасибо за ответ

Стоит иметь ввиду, что репликация и Distributed таблицы - независимая функциональность. Например, вы можете использовать Distributed таблицы поверх кластера без репликации или поверх кластера, репликация в котором осуществляется вручную. Наоборот, можно создать реплицируемые таблицы, но не использовать распределённые запросы. Конфигурация в секции remote_servers относится только к Distributed таблицам.

ага, я понял это

мне как раз нужна distributed + replicated для параллельной обработки и резервирования

Для меня сейчас важно понять как правильно пострить схему + стоит ли активно использовать словари

Привет! А видео с последних выступлений уже доступны где нибудь? Я помню ссылки на презентации тут были, интересно было бы видео посмотреть.

Как правильно удалить несколько нод из кластера ? таблицы *MergeTree используются

1) Можно ли детачнуть месяц данных из таблицы MergeTree и аттачнуть к таблице ReplicatedMergeTree? 2) При аттаче к таблице ReplicatedMergeTree месяца, вставится ли этот кусок в прилагающийся к таблице MATERIALIZED VIEW? 3) При аттаче к таблице ReplicatedMergeTree месяца, разойдётся ли этот кусок по другим репликам?