Вы добавили в основную таблицу столбец и не поправили буферную?

добавил столбец в основную, дистрибутивную и в буферную. во все три

ты-кс.. сгоряча обновился до версии 1.1.54380 и теперь не стартует <Error> Application: Net Exception: Address already in use: [::1]:8123 killall clickhouse-server делал, на порту никто не висит

какие listen_host в конфиге ?

добавил столбец в основную, дистрибутивную и в буферную. во все три

В документации написано: Если есть необходимость выполнить ALTER для подчинённой таблицы и для таблицы Buffer, то рекомендуется удалить таблицу Buffer, затем выполнить ALTER подчинённой таблицы, а затем создать таблицу Buffer заново. Если пересоздать буфер, проблема остается?

В документации написано: Если есть необходимость выполнить ALTER для подчинённой таблицы и для таблицы Buffer, то рекомендуется удалить таблицу Buffer, затем выполнить ALTER подчинённой таблицы, а затем создать таблицу Buffer заново. Если пересоздать буфер, проблема остается?

Решилась. Спасибо, не заметил пункт про удаление буфера перед альтером.

какие listen_host в конфиге ?

ага, убрал :: – завелось

тогда не будет доступа снаружи

самое универсальное - оставлять только ::

ну вот снаружи нет, ага

самое универсальное - оставлять только ::

да, помогло, спасибо

про listen_host пора уже раздел в FAQ добавить :)

то чувство, когда ты обновил бинарник, а там изменилась логика джойнов ?

Всем привет! Есть поле в таблице, fiield FixedString(24), оно в индексе (но это врядли имеет значение), имеется выше 100B записей. Так вот, группируем когда по нему group by field (там с фильтрами, оставляя к примеру Processed 3.16 billion rows), то у нас запрос уходит за 60 секунд и крашится) Долго - наверно потому, что там использвано 150+ ГБ памяти при запросе. Так вот, а если мы используем для группировки интовое поле другое - то конечно, все работает и памяти на запрос уходит 60.08 GB Вопрос - можно ли как-то строковое поле (или запрос) соптимизировать для группировок, чтобы памяти меньше "ело"? Кто-нибудь может с таким стакливался

Всем привет! Есть поле в таблице, fiield FixedString(24), оно в индексе (но это врядли имеет значение), имеется выше 100B записей. Так вот, группируем когда по нему group by field (там с фильтрами, оставляя к примеру Processed 3.16 billion rows), то у нас запрос уходит за 60 секунд и крашится) Долго - наверно потому, что там использвано 150+ ГБ памяти при запросе. Так вот, а если мы используем для группировки интовое поле другое - то конечно, все работает и памяти на запрос уходит 60.08 GB Вопрос - можно ли как-то строковое поле (или запрос) соптимизировать для группировок, чтобы памяти меньше "ело"? Кто-нибудь может с таким стакливался

Сделать хэш от строкового поля и сгруппировать, потом вытащить значения. Тут описываются споптобы как можно помочь https://www.youtube.com/watch?v=F-o-a00R4fc

спасибо

https://events.yandex.ru/events/meetings/16-May-2018/ Ребята. а нельзя сделать так чтобы не регистрироваться на мероприятие, но при этом получить ссылку на трансляцию? Ну там на странице сделать ссылку "добавить в календарь"?

Сделать хэш от строкового поля и сгруппировать, потом вытащить значения. Тут описываются споптобы как можно помочь https://www.youtube.com/watch?v=F-o-a00R4fc

хэш, я так понимаю, надо в табличку сложить? потому что group by citiHash64(field) что-то как-то не очень на уменьшение расхода памяти похоже. и если да, то alter table ... default cityHash64(field) такой запрос не обвалит таблицу?

хэш, я так понимаю, надо в табличку сложить? потому что group by citiHash64(field) что-то как-то не очень на уменьшение расхода памяти похоже. и если да, то alter table ... default cityHash64(field) такой запрос не обвалит таблицу?

Почитайте тут https://clickhouse.yandex/docs/ru/query_language/queries/#alter про alter

хэш, я так понимаю, надо в табличку сложить? потому что group by citiHash64(field) что-то как-то не очень на уменьшение расхода памяти похоже. и если да, то alter table ... default cityHash64(field) такой запрос не обвалит таблицу?

Почему не похоже, хэш будет фиксированно 8 байт что в 3 раза меньше чем FixedString(24) и в произвольное число раз меньше произвольной строки

Почитайте тут https://clickhouse.yandex/docs/ru/query_language/queries/#alter про alter

спасибо, добрый человек) я там был) при чтении старых данных, для которых отсутствуют значения новых столбцов, выполняется вычисление выражений по умолчанию на лету. в этом весь вопрос. я делаю запрос, который требует вычисления поля у 100Б строк. как-то боязно такое пускать, если честно

Почему не похоже, хэш будет фиксированно 8 байт что в 3 раза меньше чем FixedString(24) и в произвольное число раз меньше произвольной строки

а как правильно его сгруппировать по хешу не меняя схему? Просто group by cityHash64(field) показывает такие же результаты

а как правильно его сгруппировать по хешу не меняя схему? Просто group by cityHash64(field) показывает такие же результаты

Так и считать SELECT cityHash64(field) AS f, count() FROM T GROUP BY f

Так и считать SELECT cityHash64(field) AS f, count() FROM T GROUP BY f

54 rows in set. Elapsed: 16.678 sec. Processed 2.99 billion rows, 89.78 GB (179.45 million rows/s., 5.38 GB/s.) против 54 rows in set. Elapsed: 21.548 sec. Processed 2.99 billion rows, 89.79 GB (138.90 million rows/s., 4.17 GB/s.) памяти одинаково использовано, первый как у вас запрос, а во втором SELECT field, count() FROM T GROUP BY field

54 rows in set. Elapsed: 16.678 sec. Processed 2.99 billion rows, 89.78 GB (179.45 million rows/s., 5.38 GB/s.) против 54 rows in set. Elapsed: 21.548 sec. Processed 2.99 billion rows, 89.79 GB (138.90 million rows/s., 4.17 GB/s.) памяти одинаково использовано, первый как у вас запрос, а во втором SELECT field, count() FROM T GROUP BY field

А как вы поняли по этому сколько памяти использовано? )

а как правильно сравнить эти два запроса?

а как правильно сравнить эти два запроса?

Память в логах будет видно, либо во free

а о чем говорят цифры 89.79 GB ?

О прочитанном объеме данных на диске

о том, что CH молодец и не стал лопатить вашу терабайтовую базу, а прошёлся по какому-то заранее сгруппированному на диске куску

Спасибо! А как тогда монжо сравнить два запроса?

то чувство, когда ты обновил бинарник, а там изменилась логика джойнов ?

уфф.. причем в двух местах ?? "я что-то апдейтнул и оно сломалось" ?

О прочитанном объеме данных на диске

а как его можно уменьшить? Наверно вопрос был изначально в этом.

а как его можно уменьшить? Наверно вопрос был изначально в этом.

Никак, вы либо читаете с диска нужные вам данные, либо нет

а как его можно уменьшить? Наверно вопрос был изначально в этом.

2.99 billion rows = 89.79 GB. Как уменьшить? Читать меньше строк.

И столбцов

и данных

Возможно поможет создание материализованой вьюхи

Добрый день подскажите как к дате прибавить несколько дней в запросе ?

86400 * n?

addDays

В документации нет такой, видимо, в списке служебных :( Я в графане вот как выше написал делал.

В документации нет такой, видимо, в списке служебных :( Я в графане вот как выше написал делал.

а если к datetime + int делать то получается прибавляешь секунды ?

Да, дата - целое. Секунды.

Alexey hi!

Timur да -) сразу после митапа решил вот. Поставил телегу только ради этого канала пока. Кстати было огонь, мне понравилось

Подскажите пожалуйста, в каком формате должен быть текст, чтобы его можно бло залить в Array(tuple)? Пока просто массив со строками не получается залить, пробую вот так:

Подскажите пожалуйста, в каком формате должен быть текст, чтобы его можно бло залить в Array(tuple)? Пока просто массив со строками не получается залить, пробую вот так:

а пробовал массив обернуть в " " ?

а пробовал массив обернуть в " " ?

Да, но тогда он совсем не парсится, говорит что это просто строка

А нужно ли настраивать одношардовый кластер в конфиге, если нужна только реплика ?

Подскажите пожалуйста, в каком формате должен быть текст, чтобы его можно бло залить в Array(tuple)? Пока просто массив со строками не получается залить, пробую вот так:

Ожидалась одинарная кавычка

В смысле нужна просто реплика, без distributed

Подскажите пожалуйста, в каком формате должен быть текст, чтобы его можно бло залить в Array(tuple)? Пока просто массив со строками не получается залить, пробую вот так:

Может проще использовать Nested-тип?

Ожидалась одинарная кавычка

Спасибо, сейчас попробую

Может проще использовать Nested-тип?

Это массив массивов? Можно в принципе

Это массив массивов? Можно в принципе

Это таблица в одной колонке. По факту там на самом деле несколько колонок типа Array(...)

Спасибо, сейчас попробую

Володь, замени все " на ' внутри массива

insert into arrtest VALUES (['1','2','q'])

Это таблица в одной колонке. По факту там на самом деле несколько колонок типа Array(...)

Тоже вариант. Надо только почитать как оттуда селектить

Тоже вариант. Надо только почитать как оттуда селектить

Как-то так SELECT nestedField.subField1, nestedField.subfield2, ...

Как-то так SELECT nestedField.subField1, nestedField.subfield2, ...

Только значения будут типа Array

Одинарная кавычка не спасла

так теперь весь массив оберни в "

Только значения будут типа Array

Спасибо большое, почитаю ещё и попробую. А какой формат на вход эта штука предполагает?

у тебя если нет закрытия поля, ломается csv на следующей запятой

у тебя если нет закрытия поля, ломается csv на следующей запятой

Неее, там нигде теперь нет двойных - так что должно быть ок

как ок то? у тебя парсятся столбцы по запятам

Спасибо большое, почитаю ещё и попробую. А какой формат на вход эта штука предполагает?

Я в TabSepareted вставлял

Оберни весь массив в " или в tabSeparated делай, как выше предложили

Но я попробую :)

Блин, прокатило!

но запятая, Володь, колонки же делятся по запятым

а двойная ковычка говорит игнорировать запятые до следующей двойной ковычки

Лучше TabSepareted для КХ я не могу посоветовать

Лучше TabSepareted для КХ я не могу посоветовать

Я как правило его и использую, но почему-то в какой-то момент сознательно перешёл на CSV, но вот сходу не могу вспомнить почему

потому что в данных могут быть табы?

Лучше TabSepareted для КХ я не могу посоветовать

согласен. единственная проблема которая может быть - это корявый TSV в /r в конце (Infobright таким плюётся без возможности изменить это поведение) а также комбинации, когда в строках в конце колонки есть символ \ . Накладывается \\t и всё ломается, надо седом менять \ на \\, благо в нашем кейсе это было не критично

потому что в данных могут быть табы?

И переносы строк, видимо

вроде как csv/tabsep по опредилению не поддерживают переносы строк

select toDateTime(now(), 'Europe/Moscow') а я точно правильно текущее время Мск получаю?)

А нужно ли настраивать одношардовый кластер в конфиге, если нужна только реплика ?

В смысле нужна просто реплика, без distributed

нет, Replicated таблицы работают независимо

Подскажите, пожалуйста Нужен пример настройки словаря (my_dictionary.xml) для словаря str -> datetime из csv-файла.

вроде получилось, но если у кого-то будет пример, не помешает

Подскажите, пожалуйста Нужен пример настройки словаря (my_dictionary.xml) для словаря str -> datetime из csv-файла.

Извините за вопрос, а что вас смущает в описании из документации? Может есть конкретный вопрос?

Из документации пришлось все собирать. Как ключ правильно задать и т.п. Сейчас уже сам написал конфиг. Спасибо.