Если кто может перепостить в специализированную категорию - welcome

перепостил вчера https://www.reddit.com/r/Database/comments/5t2y9g/11_billion_taxi_rides_on_clickhouse/

Это значит, что SAMPLE захватывает существенно лишних данные при чтении - если данные для нужного SAMPLE расположены во многих маленьких диапазонах.

Я без SAMPLE считал, по нескольким таблицам и партишену самой большой, чтобы определить среднее compression ratio, и потом умножал на общий объем данных. Более точные рассчеты показывают, что уже больше петабайта. Но в самой большой таблице часть колонок заполняется не всегда, поэтому считать, что там есть данные не совсем честно. Но 800GB уже есть наверняка

https://ca.indeed.com/viewjob?jk=979bec9443ac06a1&q=ClickHouse&tk=1b8jop7hi0kfq3sf&from=web Experience in using Cassandra, Spark and Clickhouse and efficient data analysis techniques with these products.

Есть ли какая-нибудь возможность в ClickHouse отслеживать прогресс выполнения альтера?

Есть ли какая-нибудь возможность в ClickHouse отслеживать прогресс выполнения альтера?

Удобного способа нет. ALTER может выполняться не мгновенно по следующим причинам: - запросы SELECT, INSERT блокируют ALTER-ы. Если запросы идут непрерывно, то ALTER будет всё время ждать; - сам ALTER выполняется асинхронно, но запрос в течение некоторого времени ждёт выполнения на всех репликах. Если реплика недоступна, то запрос будет ждать. ALTER выполнится тогда, когда реплика поднимется. При этом сам запрос в клиенте можно завершить - это ни на что не влияет. - долго могут выполняться запросы с ALTER MODIFY. Посмотреть их прогресс можно по логам сервера или по размерам записываемых файлов в кусках.

привет. вопрос про timezones clickhouse-client поддерживает опцию --use_client_time_zone=1 существует ли похожий функционал для HTTP интерфейса?

Короткий ответ - нет. При использовании HTTP сервер сам всё форматирует, и выставить таймзону на соединение, отличную от таймзоны сервера, возможности нет. Можно задавать произвольную таймзону в функции toString: SELECT toString(now(), 'Europe/London')

Здравствуйте. Напомните, пожалуйста, где можно найти точное описание для написания прокси для работы с CH по бинарному протоколу. Искал-искал в чатике, да не нашел точно.

Здравствуйте. Напомните, пожалуйста, где можно найти точное описание для написания прокси для работы с CH по бинарному протоколу. Искал-искал в чатике, да не нашел точно.

https://clickhouse.yandex/reference_ru.html#RowBinary ?

Не совсем нативный, но бинарный по большей части

спасибо

Здравствуйте. Напомните, пожалуйста, где можно найти точное описание для написания прокси для работы с CH по бинарному протоколу. Искал-искал в чатике, да не нашел точно.

Шлешь в хттп запрос а потом данные в таком формате

А если без http вообще?

Тот же clickhouse-client разве по http работает?

Тот же clickhouse-client разве по http работает?

нет, по бинарному протоколу

так вот, я помню, что был .h файл, где этот протокол был описан. А название этого файла потерялось.

Здравствуйте. Напомните, пожалуйста, где можно найти точное описание для написания прокси для работы с CH по бинарному протоколу. Искал-искал в чатике, да не нашел точно.

увы, только исходники КХ еще есть https://github.com/artpaul/clickhouse-cpp и я ради интереса ковырял некоторое время назад протокол, но забил https://github.com/hatarist/clickhouse-cli/blob/binary/clickhouse_cli/clickhouse/binary.py

а, ща найду

https://github.com/yandex/ClickHouse/blob/master/dbms/include/DB/Core/Protocol.h

Есть драйвер на Go, который использует родной протокол. https://github.com/kshvakov/clickhouse/

Есть драйвер на Go, который использует родной протокол. https://github.com/kshvakov/clickhouse/

о, круто!

круто!

Можно-ли заменить zookeeper на consul или etcd для clickhouse?

хороший вопрос) поддержу, тоже горячо люблю софт на Java

хороший вопрос) поддержу, тоже горячо люблю софт на Java

https://github.com/yandex/ClickHouse/issues/479

zookeeper много у кого уже есть

zookeeper много у кого уже есть

и?

Просто так заменить ZK на Consul трудно, так как у них разная семантика. Мы используем следующие возможности: - sequential nodes; - ephemeral nodes; - watches; - multi-CAS транзакции.

С моей колокольник конечно хреновее видно, но как-бы семантика-семантикой, а делают они одно и тоже.

С моей колокольник конечно хреновее видно, но как-бы семантика-семантикой, а делают они одно и тоже.

я тут в гораздо более простой проект встраивал поддержку консула вместо етсд. месяц работы ушло, а они очень похожи.

а что не так было с etcd?

и?

а то что вряд ли это кому-то реально нужно, кроме хипстоты

поделитесь опытом?

а что не так было с etcd?

там (в проекте) pluggable бекенд. с etcd всё хорошо наверно, но у меня везде консулы и я хотел покодить на го.

а, ясно, спасибо за пояснение

я тут в гораздо более простой проект встраивал поддержку консула вместо етсд. месяц работы ушло, а они очень похожи.

ну месяц на реализацию вполне себе приемлемо....

там (в проекте) pluggable бекенд. с etcd всё хорошо наверно, но у меня везде консулы и я хотел покодить на го.

%)

ну месяц на реализацию вполне себе приемлемо....

на самом деле, если у вас много данных, у вас скорее всего будет хадуп/кафка/етс. а они все требуют зукипера.

поэтому на больших данных зукипер всё равно нужен.

а то что вряд ли это кому-то реально нужно, кроме хипстоты

вообще-то хочется поэкономить на нодах, не дотыкивая везде jvm и же с ним.

ноды на распберри?

не будет у меня ни кафки, ни хадупа и вообще хочется избежать использования jvm...

религия, понятно.

критерии технофашисткие %)

пойду домой, всем хорошей пятницы, коллеги.

религия, понятно.

не, просто достаточная практика использования jvm в других задачах...

Собственно религия, это утверждать, что на больших данных без jvm не обойтись. И тот же clickhouse будучи написанным на cpp вполне себе опровергает это. Но вот для репликации/шардига зачем-то понадобилось использовать jvm софтину...

В Метрике половина бэкенда на java

И норм!

В Метрике половина бэкенда на java

А чего тогда на java clickhouse не написали?

и слава высшим силам, что не написали :)

Собственно религия, это утверждать, что на больших данных без jvm не обойтись. И тот же clickhouse будучи написанным на cpp вполне себе опровергает это. Но вот для репликации/шардига зачем-то понадобилось использовать jvm софтину...

ваш оппонент писал не столько про jvm, сколько про конкретные решения, которые в силу разных причин отцентрировались на этой платформе. но, думаю, смысла в этом споре нет вообще

ваш оппонент писал не столько про jvm, сколько про конкретные решения, которые в силу разных причин отцентрировались на этой платформе. но, думаю, смысла в этом споре нет вообще

Смысла действительно нет. У кого-то есть jvm, ну и ладно. У кого-то нет - религия. Алогично.

и слава высшим силам, что не написали :)

Ага! Если ещё дропнуть zookeeper - вообще будет ништяк. ))

мой кейс немного иной, у конкретно меня (не работодателя) все на С++ либо на Go (в основном тулзы управлния)

и наверное это тоже религия не хотеть тащить еще третий язык в стек :)

это не религия - это критическое мышление и стремление избежать хипстоты ))

скорее избежать технлоологии которую не понимаешь и не имеешь в ней скилла

давайте закончим этот треш, он бессмысленен из всех аргументов переезда на tech2 только что в tech1 используется lang1, при этом сам автор предложения признается что не понимает функциональных различий между tech1 и tech2 emotions driven development

На самом деле для java требуется некоторая экспертиза

Если куча всего написано на c++ то не притаскивать java в принципе не так уж необоснованно

Касается, собственно, любой технологии

consul на go вроде ж? тоже экспертиза нужна, хоть vm у него и сильно примитивней

consul на go вроде ж? тоже экспертиза нужна, хоть vm у него и сильно примитивней

не )) ) )) )))

не что?

Вообще это всё еще зависит от нагрузки и сложности конфигурации

Если нагрузка не такая большая и кейс более-менее типичный

Тот же zk работает в стоке без всяких проблем

Просто ставишь и забываешь

Я думаю и с консулом так же

Экспертиза нужна когда проблемы начинаются

Смысла действительно нет. У кого-то есть jvm, ну и ладно. У кого-то нет - религия. Алогично.

нет, у кого-то нет jvm, потому что "jvm у меня не будет" - это религия. я вот не люблю го, что ж теперь софт, написанный на нём не юзать.

извиняюсь что начал флейм

c++ java go. всем peace

Добрый вечер. clickhouse-client иногда мне показывает ну запрос статистику вроде «12 rows in set. Elapsed: 0.003 sec. Processed 16.66 thousand rows, 425.91 KB (5.31 million rows/s., 135.73 MB/s.)». А иногда (на маленьких таблицах?) не показывает. Подскажите, от чего это зависит, и можно ли уговорить его всегда показывать.

> @milovidov_an > У нас более старая версия CityHash > сохранены значения старой версии CityHash, поэтому мы не можем её обновить Алексей, cпасибо за подробный ответ, мы этого и боялись что CityHash может меняться, нам нужно было партировать на наших клиентов: с++,java,php,js - реализацию как в CH, чтобы клиенты могли такой-же вычислять хеш как и CH и это было бы не изменно) Еще пару вопросов, хочу реализовать в CHgui, просмотр процессов с возможностью Kill и реализовать получение информации о ходе выполнения запроса ( сделать недо подобие clickhouse-client через http) : Насколько опасно в запросы из CHgui подставлять комментарий в виде /*__QUID__*/ в начале каждого запроса, где QUID=sha1(), насколько я смог понять из кода/документации самого CH комменты вырезаются и придумать/смоделировать, когда однострочный комментарий перед/в конце SELECT может вызвать проблему - не реально ? Насколько корректно отправлять KILL на запрос, через отправку запроса "SELECT 1" в GET указывая query_id ? И как можно убить запрос в кластере ? Не смог разобраться/понять зачем initial_query_id, получается это ID запроса в ноде которая породила запросы в кластер ?

нет, у кого-то нет jvm, потому что "jvm у меня не будет" - это религия. я вот не люблю го, что ж теперь софт, написанный на нём не юзать.

offtop: да как-бы "[не]люблю" побоку? Речь о ресурсоёмкости, о производительности, о эксплуатации - зачем мне kafka (которая так же тащит zookeeper) , когда есть значительно более шустрый и менее ресурсоёмкий gnatsd, который не тащит за собой ничего?

ох ну только не опять

ладно, ладно. проехали.

offtop: да как-бы "[не]люблю" побоку? Речь о ресурсоёмкости, о производительности, о эксплуатации - зачем мне kafka (которая так же тащит zookeeper) , когда есть значительно более шустрый и менее ресурсоёмкий gnatsd, который не тащит за собой ничего?

а чем функционально отличаются kafka & gnatsd?

кафка умеет хранить, а в gnatsd - разраб сказал - незачем хранить.

в натс наверное можно сделать больше очередей, и он только в памяти?

ну, т.е. совсем разные системы и одна другую не заменяет :)

разраб сказал?

ну, т.е. совсем разные системы и одна другую не заменяет :)

делают они одно и тоже, только кафка умеет ещё и хранить.