Добрый день. подскажите я переписал запрос, взял из https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/MergeTree/registerStorageMergeTree.cpp ————————- ENGINE = ReplacingMergeTree(date, [sample_key], primary_key, index_granularity, [version_column]) ————————- на ————————- ENGINE = ReplacingMergeTree PARTITION BY toMonday(date) ORDER BY primary_key ————————- Вопрос: 1. как указать [version_column] - у меня это DateTime 2. что такое [sample_key]

думаю можем в личку перейти, тут про кх больше ? И что имеется ввиду - от сбоев или когда они должны теряться?

продолжайте плиз тут, интересно ?

а ведь чем больше очередь в кафке, тем больше тормозов

откуда такое известие ?

У нас таких случаев не было - главное для топика выставить replication factor, чтобы ноды синкались. И еще указать retention ms / bytes - тогда кафка будет удалять только старые данные.

думаю можем в личку перейти, тут про кх больше ? И что имеется ввиду - от сбоев или когда они должны теряться?

Да, из-за сбоев

Все таки транзакция более надежнее будет

Мне кажется

Да, из-за сбоев

если не прошляпить 2 сервера, например, из 3 - ничего никуда не теряется

У кафки есть подтверждение записи

Мы иногда можем копить под несколько лярдов сообщений в топике

Разумеется, размер хранения зависит от retention

Но никаких сложностей с размером очередей в кафке нет

формально, конечно, кафка - не mq, а mb

btw, даже если какая-то gc вычитала топик, сообщения-то никуда не деваются

Все равно лежат пока не настанет retention

формально, конечно, кафка - не mq, а mb

в чем разница между брокером и очередью? тем что рассылает?

А вот, 2 сообщения выше

mq обычно рассылает очередь, но не хранит её "на всякий пожарный", а кафка рассчитывает, что эти данные могут кому-нибудь понадобиться

Единственная сложность , с которой редко приходится сталкиваться - вычитывание с середины. Там либо костыли городить с двиганием оффсетом, либо с ретейном (пожертвовать частью данных), либо забить и читать с последнийх сообщений.

дааа, костыли, тьфу, питон скрипты для рассчета и записи нового офсета)

в целом для нас это редкий кейс

я бы сказал, крайне редкий

хотя они же добавили фичу time based offsets или как оно там

У нас в проде 1.0.1

ЕМНИП, там ещё нет такого

Хотя сейчас гляну

нигде в релиз-нотах такого нет, может, пока только планы

привет, а где users.xml обычно лежит?

Етц кликхаус

Как и все остальное

от души спасибо

Добрый день. подскажите я переписал запрос, взял из https://github.com/yandex/ClickHouse/blob/master/dbms/src/Storages/MergeTree/registerStorageMergeTree.cpp ————————- ENGINE = ReplacingMergeTree(date, [sample_key], primary_key, index_granularity, [version_column]) ————————- на ————————- ENGINE = ReplacingMergeTree PARTITION BY toMonday(date) ORDER BY primary_key ————————- Вопрос: 1. как указать [version_column] - у меня это DateTime 2. что такое [sample_key]

1. DateTime подходит. Просто укажите имя колонки. 2. Выражение для семплирования. Оно не обязательно. Подробнее можно почитать тут: https://clickhouse.yandex/docs/ru/table_engines/mergetree/

1. DateTime подходит. Просто укажите имя колонки. 2. Выражение для семплирования. Оно не обязательно. Подробнее можно почитать тут: https://clickhouse.yandex/docs/ru/table_engines/mergetree/

спасибо

для поиска ( mysqlxx::BadQuery , Malformed packet , percona 5.7 ) set query_cache_type = on; set global query_cache_type = on; SYSTEM RELOAD DICTIONARIES mysqlxx::BadQuery: Malformed packet (dwds1:3306), e.what() = mysqlxx::BadQuery set query_cache_type = off; set global query_cache_type = off; SYSTEM RELOAD DICTIONARIES Ok.

ну и из кафки потом куда угодно раскидывать можно - можно сырые в КХ, агрегированные в sql, бекапы на с3 в файлы, в хадуп, в общем куда угодно из одного источника

не пробовали использовать NATS вместо кафки?

Добрый день! Для задач аналитики использую limit by для ранжирования и фильтрации по рангу. Работает когда нужно отобрать скажем 3 максимальных показателя для каждой группы. Limit 3 by mygroup. Но как быть когда нужно отобрать значения для которых ранг находится в промежутке 3-10? т е хочется получить limit 3, 10 by mygroup. Мне это нужно чтобы отсекать крайние значения показателей. А использовать arrayEnumerateUniq не могу т к таблицы очень пухлые. И второе, иногда нужно завязывать логику отбора на конкретные значения ранга, типа каждые вторые в группе как-то особенно обработать. Т е меня бы очень выручила возможность не просто отфильтровать, а как-то получить ранг в явном виде.

Добрый день! Для задач аналитики использую limit by для ранжирования и фильтрации по рангу. Работает когда нужно отобрать скажем 3 максимальных показателя для каждой группы. Limit 3 by mygroup. Но как быть когда нужно отобрать значения для которых ранг находится в промежутке 3-10? т е хочется получить limit 3, 10 by mygroup. Мне это нужно чтобы отсекать крайние значения показателей. А использовать arrayEnumerateUniq не могу т к таблицы очень пухлые. И второе, иногда нужно завязывать логику отбора на конкретные значения ранга, типа каждые вторые в группе как-то особенно обработать. Т е меня бы очень выручила возможность не просто отфильтровать, а как-то получить ранг в явном виде.

Так постройте ранг в явном виде и фильтруйте

Может туплю, но как его построить в явном виде?

Может туплю, но как его построить в явном виде?

Нужно больше деталей

Накину вчерашний вопрос: в документации есть заметка, что можно выполнять параллельные запросы на вставку, но ведь данные лучше заливать последовательно, нет? (вставка идет в distributed таблицу)

Добрый день! Для задач аналитики использую limit by для ранжирования и фильтрации по рангу. Работает когда нужно отобрать скажем 3 максимальных показателя для каждой группы. Limit 3 by mygroup. Но как быть когда нужно отобрать значения для которых ранг находится в промежутке 3-10? т е хочется получить limit 3, 10 by mygroup. Мне это нужно чтобы отсекать крайние значения показателей. А использовать arrayEnumerateUniq не могу т к таблицы очень пухлые. И второе, иногда нужно завязывать логику отбора на конкретные значения ранга, типа каждые вторые в группе как-то особенно обработать. Т е меня бы очень выручила возможность не просто отфильтровать, а как-то получить ранг в явном виде.

можно пронумеровать ранг с помощью тетаджоина. Это непроизводительно, но работает всегда)

SELECT urlId as id, any(url) as url, --вот эта строчка COUNT(*) as count FROM errors WHERE urlId = 7011786810972997742 GROUP BY urlId ORDER BY count DESC LIMIT 10 изза any(url) запрос выполняется в два раза дольше есть идеи, как это ускорить?

можно пронумеровать ранг с помощью тетаджоина. Это непроизводительно, но работает всегда)

Т е делаем ещё один селект с нужной группировкой и сортировкой, нумеруем с помощью rowNumberInAllBlocks, и прикручиваем к исходному по группе (ключу группы)? Интересует чем нумеровать...

Т е делаем ещё один селект с нужной группировкой и сортировкой, нумеруем с помощью rowNumberInAllBlocks, и прикручиваем к исходному по группе (ключу группы)? Интересует чем нумеровать...

если в КХ есть подходящая функция, то лучше ее брать. В 1с, например, я просто беру количество записей, показатель которых больше текущей строки это и будет ранг (в силу ограниченности языка запросов)

а какие у вас объемы после limit by получаются?

если в КХ есть подходящая функция, то лучше ее брать. В 1с, например, я просто беру количество записей, показатель которых больше текущей строки это и будет ранг (в силу ограниченности языка запросов)

Спасибо, попробую сколхозить

После limit by в теории влезает в память

Никто не сталкивался с такой проблемой https://github.com/yandex/ClickHouse/issues/2384?_pjax=%23js-repo-pjax-container ?

Накину вчерашний вопрос: в документации есть заметка, что можно выполнять параллельные запросы на вставку, но ведь данные лучше заливать последовательно, нет? (вставка идет в distributed таблицу)

Для меня также актуальный вопрос, можно ли заливать данные паралельно из csv файлов? Не могу найти инфы по этому поводу нигде(

for i in iemk_diagnosis_mart_tmp*; do cat $i | TZ=$(cat /etc/timezone) clickhouse client --query="INSERT INTO iemk_mart_tmp FORMAT TabSeparated"; rm $i; done

можно и в параллель

можно и в параллель

А лучше как?)

for i in iemk_diagnosis_mart_tmp*; do cat $i | TZ=$(cat /etc/timezone) clickhouse client --query="INSERT INTO iemk_mart_tmp FORMAT TabSeparated"; rm $i; done

Так это последовательно

https://unix.stackexchange.com/questions/103920/parallelize-a-bash-for-loop

Я в курсе что это такое, у Вас там нет &

у меня грузится over 100 файлов

если я просто амперсанд добавлю - может быть бобо

лучше сделать очередь и обработку ошибок отдельно

Я так понимаю тут в другом фишка: клиент не ждет вставки данных, верно?

Если добавить & в том скрипте, то да, почти fork бомба)

у меня получалось 4 потока на 2-ядерный узел реплики. При 6 начинало тормозить

Больше не решился

Тут вопрос скорее не в том как, а в том нормально ли это делать вставки если у нас сначала зальется следующий час, а затем текущий? Т.е. очередность данных

Тут вопрос скорее не в том как, а в том нормально ли это делать вставки если у нас сначала зальется следующий час, а затем текущий? Т.е. очередность данных

По моему опыту лучше всего: - вставлять в один поток - буферизировать данные где-нибудь в очереди или базе

По моему опыту лучше всего: - вставлять в один поток - буферизировать данные где-нибудь в очереди или базе

Почему в один?

в доке к mergetree вроде б написано, что можно писать в несколько потоков и будет кратное ускорение. Это в TinyLog нельзя фигачить мультипоточно

Почему в один?

Потому что пишу из многих источников в очередь, хоть по одной записи. А из очереди - в один поток пачками больше 1к записей. Так пачка накапливается больше, соответствено инсерт один, запись на диск одна, мердж один (почти)

Собственно тема с буферизацией логична, у нас так же. Но вот если есть файлы по 100к записей в упорядоченном по времени виде и мы хотим вставлять их параллельно, все будет ок?

Собственно тема с буферизацией логична, у нас так же. Но вот если есть файлы по 100к записей в упорядоченном по времени виде и мы хотим вставлять их параллельно, все будет ок?

Всё будет зависеть от того, нет ли в между пачками одинаковых дат (например каждый поток вставляет данные от разных источников)

В любом случае смотрите на ваши данные и экспериментируйте. И помните, после вставки может прийти фоновый мерж и немного поломать сервер

Т.е. если нет одинковых значений для ключей, можно и в параллель?

Ну тут дело в том, что железо простаивает, а мы ждем. Поэтому и хочется нагрузить

Накину вчерашний вопрос: в документации есть заметка, что можно выполнять параллельные запросы на вставку, но ведь данные лучше заливать последовательно, нет? (вставка идет в distributed таблицу)

В несколько потоков заливать можно. До какого-то момента при увеличении числа потоков будет увеличение скорости записи. Тут, видимо, основное узкое место - запись на диск. SSD могут записывать в несколько потоков параллельно не мешая друг другу.

господа, а какой самый простой вариант из локального mysql заливать данные в удалённый КХ? скрипты писать на известном ЯП?

tsv экспортить?

curl )

Т.е. если нет одинковых значений для ключей, можно и в параллель?

о интересная информация! что можно поломать сервер, если вставлять одинаковые данные из разных источников ? у меня идут вставки с разных источников в ReplacingMergeTree по 10M (30К строк) каждую минуту [генерирую локальный буфер на источнике] и там 100% есть дублирующие значения, на сколько это всё опасно? может мне делать паралельные вставки в таблицу Buffer по 300 строк (у меня 100 потоков с одного источника) ?

Когда TrivialBuffer будет в стабильной версии?

Всем спасибо за информацию

господа, а какой самый простой вариант из локального mysql заливать данные в удалённый КХ? скрипты писать на известном ЯП?

select * from mysql()

select * from mysql()

не поможет, разные хосты и туннель не прокинуть

не поможет, разные хосты и туннель не прокинуть

Прокиньте очередь, я серьезно

ClickHouse Meetup Lite в Берлине: https://www.meetup.com/ClickHouse-Meetup-Berlin/events/249833957/

А видео будет?

А видео будет?

+

в смысле - присоединяюсь к вопросу)

ClickHouse Meetup Lite в Берлине: https://www.meetup.com/ClickHouse-Meetup-Berlin/events/249833957/

Можем в Дубай устроить )

А видео будет?

Видео, скорее всего - нет.

Это бесплатная конференция? (я не могу посмотреть потому что на сайте странная защита от спама)

Можем в Дубай устроить )

А там сколько примерно заинтересованных - людей, компаний? По посещаемости сайта идёт где-то между Эстонией и Бельгией.

Это бесплатная конференция? (я не могу посмотреть потому что на сайте странная защита от спама)

Да.