Не понял вот этого: OPTIMIZE TABLE Turnovers Received exception from server (version 1.1.54388): Code: 194. DB::Exception: Received from 127.0.0.1:9003. DB::Exception: Received from .... DB::Exception: Password required for user default. У юзера default конечно есть пароль, но я его ввел когда залогинился в консоль...

это вам другая нода видимо ответила

они же под юзером default друг к другу ходят

Т.е. при OPTIMIZE реплицируемой таблицы, они ещё и друг к другу логинятся?? Кластера у нас нет если что, только replicated таблицы по 3-м нодам. Пароли/логины кстати у них одинаковые...

вы должны пароли юзера default прописать в replica.xml, где описывается кластер

Хм, мне казалось, что replika.xml у меня вообще отсутствует. Это возможно сделать в разделе <remote_servers>, где прописаны реплики?

<replica> <host>example01-02-2</host> <port>9000</port> <user>default</user> <password>sex</password> </replica>

да, там и надо

Ага, спасибо!

парни, привет. А я правильно понимаю, что есть у меня есть кластер и релицируемые таблицы. И есть матвью, что из одной таблицы в другую данные собирает, вот этот матвью только на одном сервере кластера должен работать?

парни, привет. А я правильно понимаю, что есть у меня есть кластер и релицируемые таблицы. И есть матвью, что из одной таблицы в другую данные собирает, вот этот матвью только на одном сервере кластера должен работать?

У вас более одного шарда?

нет, один

Вот такая загадка: Сделал для реплицируемой таблицы ALTER TABLE ... ADD COLUMN AddDate DateTime DEFAULT now(); (replication_alter_partitions_sync = 2) При попытке посмотреть значение это колонки для старой строки уткнулся в эксепшн: DB::Exception: Not found column AddTime in block. Как я понял по документации, такого быть не должно, колонка должна догенеряться при селектах, или возвращаться пустой. WTF?

парни, привет. А я правильно понимаю, что есть у меня есть кластер и релицируемые таблицы. И есть матвью, что из одной таблицы в другую данные собирает, вот этот матвью только на одном сервере кластера должен работать?

Если данные пишутся только на этом сервере - то да.

А, матвью ловит же инсерты. То если пишу везде, то и матвью надо везде

Зависит от движка матвью. Реплицируемый не могу рекомендовать. А так на каждой машине отдельно можн по матвью делать. Инсерты ловят

А, матвью ловит же инсерты. То если пишу везде, то и матвью надо везде

Везде где пишите

Ага, я уже понял. Спасибо

Господа, никто не сталкивался с задачей добавить колонку и добавить её заодно в первичный ключ? По идее, для этого старые данные перестраивать не нужно, поэтому такое должно быть возможно.

Господа, никто не сталкивался с задачей добавить колонку и добавить её заодно в первичный ключ? По идее, для этого старые данные перестраивать не нужно, поэтому такое должно быть возможно.

Для нереплицируемых таблиц это возможно

У нас везде реплицируемые ?

В задачах есть сделать это везде :)

Я уже думал про то, что можно просто .sql-файл с описанием таблицы поправтиь и перезапустить ClickHouse

В задачах есть сделать это везде :)

Понятно, спасибо :).

Так как можно понять, откуда берется "Cannot read all data"? на старой версии такого не было

у меня иногда такое бывает, я иду смотреть в другую реплику, там указана ошибка про конкретный кусок в таблице

помогает detach & attach partition с этим куском

походу из-за разных версий.. тогда продолжаю обновлять

Так как можно понять, откуда берется "Cannot read all data"? на старой версии такого не было

А можно полную ошибку с трейсом и кусок лога про этот тред ( все вокруг с совпадающей цифрой в квадратных скобках? Но скорее всего это новая известная бага - потерялось выставление таймаутов - уже починено, будет в следующем релизе

А можно полную ошибку с трейсом и кусок лога про этот тред ( все вокруг с совпадающей цифрой в квадратных скобках? Но скорее всего это новая известная бага - потерялось выставление таймаутов - уже починено, будет в следующем релизе

тут похоже на такое: https://github.com/yandex/ClickHouse/issues/1818

дообновлю и буду смотреть

было похожее. оказалось на одной из реплик случайно указал неверные хостнейм в параметре interserver_http_host. то есть одна реплика ходила за данными сама к себе, а их нет, они на соседней реплике были

А есть коннекторы ClickHouse к Google Data Studio?

Ну или кто может его написать и за сколько? )

а все же, можно ли как-нибудь увеличить таймаут для зукипера?

тупо не могу запустить сервер из-за "session expired"

Ребят, привет! Подскажите, пожалуйста, как можно грузить данные из hive в QH без Spark?

Ребят, привет! Подскажите, пожалуйста, как можно грузить данные из hive в QH без Spark?

к сожалению, напрямую никак

если совсем без скриптинга, то совсем никак :)

можно посохранять в JSON/TSV, потом каждый файлик пораздельно через CURL засунуть

если совсем без скриптинга, то совсем никак :)

А на чем можно подводить? Есть что-то готовое?

Подкодить *

Подскажите как можно получить заселектить значения в массив, пример того что хочется получить SELECT city_id, array(users) FROM session GROUP BY city_id;

groupArray

groupArray

спасибо

Привет! Есть ли у кого-то опыт использования КХ в продакшне под Gentoo? В руководстве КХ формулировка однозначная "Система некроссплатформенная. Требуется ОС Linux Ubuntu", но дальше идет описание установки под другие системы, включая Gentoo

под генту просто никто не тестирует

там ждут ебилдов?

Подскжите, пожалуйста, появилась ли возможность изменять состав полей первичного ключа MergeTree таблиц?

А на чем можно подводить? Есть что-то готовое?

На PyPy можно довольно быстро качать, только главное - батчи в памяти помещать :D

Подскжите, пожалуйста, появилась ли возможность изменять состав полей первичного ключа MergeTree таблиц?

давно, еще в 2017

на версии 1.1.54310

https://clickhouse.yandex/docs/ru/table_engines/custom_partitioning_key/

Подскжите, пожалуйста, появилась ли возможность изменять состав полей первичного ключа MergeTree таблиц?

вот это я невнимательно прочитал...

?

там какой-то кейс есть, когда не меняется сортировка данных, но в целом нет, нельзя добавить удалить колонку

?

Изменение типа у столбцов, входящих в первичный ключ возможно только в том случае, если это изменение не приводит к изменению данных (например, разрешено добавление значения в Enum или изменение типа с DateTime на UInt32).

Что делает RESTART REPLICAS?

А то у меня несколько реплик только на проде, опасаюсь вот так сразу пробовать.

На PyPy можно довольно быстро качать, только главное - батчи в памяти помещать :D

Кинь ссылку на Руру . Первый раз слышу

<replica> <host>example01-02-2</host> <port>9000</port> <user>default</user> <password>sex</password> </replica>

Что-то не хватило прописывания логина/пароля в репликах :( optimize table Turnovers DB::Exception: Received from ......:9000, 10.100.20.22. DB::Exception: Password required for user default.

вы задали пароль для default, где-ьо его надо прописать, надо искать

вот смотрите

Просто у меня в users.xml пароль для default в хэше, а в конфиге открытый - и так не работает, он всё равно ругается и требует пароль. Вот если в users.xml тоже сохранить в открытом виже - тогда работает.

Нет, не мой случай. Пароль везде одинаково задан. Спасибо, поищу ещё в чем дело.

Привет! Есть ли у кого-то опыт использования КХ в продакшне под Gentoo? В руководстве КХ формулировка однозначная "Система некроссплатформенная. Требуется ОС Linux Ubuntu", но дальше идет описание установки под другие системы, включая Gentoo

Собрать и использовать. основные отличия будут с init скриптами если у вас не systemd

подскажите кто с талкивался с переносом больших таблиц - есть широкая таблица (~140 колонок ) в которой порядка 5 мрд. записей - было принята решение изменить структуру таблицы ( внедрить Nested структуру для многих из колонок ) - Запрос типа INSERT INTO table_new SELECT table_from даже за месяц падает по памяти Есть варинанты переноса данных ?

1. создать вторую таблицу рядом, начать писать в нее параллельно со старой 2. по дням доливать данные из старой в новую

3. когда накопится достаточно дней, переключить софт на новую таблицу 4. долить из старой в новую столько, скольк нужно, и потом старую [сбэкапить и] удалить

3. когда накопится достаточно дней, переключить софт на новую таблицу 4. долить из старой в новую столько, скольк нужно, и потом старую [сбэкапить и] удалить

на счет месяца, я погарячился, за один день не могу выгрузить а так схема хорошая

есть есть timestamp, можно по дню и по часу

на счет месяца, я погарячился, за один день не могу выгрузить а так схема хорошая

а сколько данных за день в гигах и сколько памяти что не можете выгрузить ?

а сколько данных за день в гигах и сколько памяти что не можете выгрузить ?

запрос съедает 10Гб

есть есть timestamp, можно по дню и по часу

чего нет, такого нет

запрос съедает 10Гб

ну можно воткнуть больше памяти, а так да есть проблема как гранулировать для переливки данные если небольшой обьем памяти

@prll А проблема с timeout (Cannot read all data, e.what() = DB::Exception) починена в 390?

ну можно воткнуть больше памяти, а так да есть проблема как гранулировать для переливки данные если небольшой обьем памяти

понял, спасибо

Попробуйте ещё уменьшить количество тредов для запроса SELECT: INSERT INTO table_new SELECT * FROM table_from SETTINGS max_threads=1

Привет! Есть битовое поле. Каждому биту соответствует массив чисел. Хочется каждому экземпляру битового поля ставить в соответствие массив чисел Например, возьмем число 201326592 = (1 « 26) + (1 « 27) числу 26 можно поставить в соответствие числа -2, 555 числу 27 можно поставить в соответствие числа -2, 777 хочу получить массив [-2, 555, -2, 777] Я пытаюсь это делать примерно так select arrayMap(y -> splitByChar(',',y), arrayMap(xx -> caseWithExpr(xx, 26, '-2,555', 27, '-2,777', '666'), arrayMap(xxx -> log2(xxx), bitmaskToArray(201326592)))) но результат немного не тот [['-2','555'],['-2','777']] Есть идеи как это сделать правильно?

Попробуйте ещё уменьшить количество тредов для запроса SELECT: INSERT INTO table_new SELECT * FROM table_from SETTINGS max_threads=1

не помогло

подскажите кто с талкивался с переносом больших таблиц - есть широкая таблица (~140 колонок ) в которой порядка 5 мрд. записей - было принята решение изменить структуру таблицы ( внедрить Nested структуру для многих из колонок ) - Запрос типа INSERT INTO table_new SELECT table_from даже за месяц падает по памяти Есть варинанты переноса данных ?

А какой у вас select? С группировкой и сортировкой?

А какой у вас select? С группировкой и сортировкой?

сортировки нет, групировка только по одной колонке, но много функции groupArray()

@prll А проблема с timeout (Cannot read all data, e.what() = DB::Exception) починена в 390?

1. нет. 2. это может быть не только таймауты ( они вот тут - https://github.com/yandex/ClickHouse/commit/98f8ae3edb65f237181b4f7aa11e47154db20667).

А какой у вас select? С группировкой и сортировкой?

вот такой запрос INSERT INTO table_new SELECT session_id, any(column_2), ... ... any(column_61), groupArray(column_62), ... ... groupArray(column_140), FROM table_old WHERE date = '2017-07-10' GROUP BY session_id;

мб стОит попробовать вставить в одном запросе одну часть колонок, во втором - вторую часть и т.д.?

1. нет. 2. это может быть не только таймауты ( они вот тут - https://github.com/yandex/ClickHouse/commit/98f8ae3edb65f237181b4f7aa11e47154db20667).

Ну мы сейчас тестово пробуем заапдейтиться с 245 версии на 388 и видим: https://pastebin.com/ZNwUr1c5

мб стОит попробовать вставить в одном запросе одну часть колонок, во втором - вторую часть и т.д.?

а как таблицу то апдейтить ?

а как таблицу то апдейтить ?

А зачем апдейтить? Все равно ведь агрегировать потом при работе с данными.

Коллеги, подскажите плиз, новый словарь из постгресса без перезагрузки подтянется? что-то конфиг сделал, вроде даже конфиги перечитались (судя по небольшой ругани в логах) но в system.dictionaries пусто(

Коллеги, подскажите плиз, новый словарь из постгресса без перезагрузки подтянется? что-то конфиг сделал, вроде даже конфиги перечитались (судя по небольшой ругани в логах) но в system.dictionaries пусто(

Должен

вот такой запрос INSERT INTO table_new SELECT session_id, any(column_2), ... ... any(column_61), groupArray(column_62), ... ... groupArray(column_140), FROM table_old WHERE date = '2017-07-10' GROUP BY session_id;

А просто Select (без insert) проходит? Внешняя группировка (с использованием диска) включена?

А просто Select (без insert) проходит? Внешняя группировка (с использованием диска) включена?

Селект не проходит, про использование диска незнаю, а как это можно узнать ?

Привет! Есть ли у кого-то опыт использования КХ в продакшне под Gentoo? В руководстве КХ формулировка однозначная "Система некроссплатформенная. Требуется ОС Linux Ubuntu", но дальше идет описание установки под другие системы, включая Gentoo

Можно собрать практически под любой linux, по идее даже бинарник должен быть переносим между многими дистрибутивами. Как вариант есть docker, некоторые используют его и в продакшн.