и интервалы с наносекундной точностью тоже

то есть мне нужно разбить time UInt64, value String промежуток на равные части(100, например), и взять последнее значение value из каждого

time UInt64 для каждого интервала могу из кода передать

делать group by по (time / 100) % 100, например?

select (number / 100) % 100 as number_group, min(number), max(number) from (select number from system.numbers limit 1000) group by number_group;

хмм, интересная мысль, спасибо!

Игорь, знаете, не получилось пока. интервалы есть, а как их теперь связать с основной таблицей? то есть что-то подобное? только рабочее :) select arrayJoin([0,40,70]) as start, arrayJoin([40,70,100]) as end, max(time) from points where time between start and end group by time

Коллеги, а что насчет поддержки HTTPS подключения к CH? Планируется/не планируется?

Коллеги, а что насчет поддержки HTTPS подключения к CH? Планируется/не планируется?

вроде есть уже, был где-то то ли в конфиге, то ли в репозитории пример

тоже видел

должна быть

Понял, погрепаю код

https://github.com/yandex/ClickHouse/blob/master/dbms/src/Server/config.xml

вон там в комментах :)

Во, спасибо! Кто-нибудь уже пробовал использовать?

может кто еще подскажет решение моего вопроса по time series, а-ля инфлюксовский last() ... group by time()? я тут даже оформил его в гист :) https://gist.github.com/tonky/bede878db55913f7d2edb9368d3774bf

))

о блин, спасибо

Пожалуйста )

А вот этот PR зарелижен https://github.com/yandex/ClickHouse/pull/680 в деб репо?

ещё нет

оки, ждем)

Подскажите, пожалуйста, как записать пачку данных в CH при помощи питона (2.7)? использую библиотеку infi.clickhouse_orm.. Пробовала стандартной функцией insert, но там требуется схема, исполнение завершается ошибкой.. Знать бы как должна выглядеть эта схема, я бы подготовила данные в таком формате

у меня такой небольшой вопрос: могу я как-то узнать http порт серверов в кластере? select * from system.clusters выдает только inter-server port

есть идея доработать https://github.com/f1yegor/clickhouse_exporter чтобы иметь по одному экспортеру на кластер

Вопрос снят. Вроде ниже ссылки есть.

Коллеги , хочу задать глупый вопрос - по какому принципу лучше всего сегменитровать данные на шарды, нормально ли разделять их не отталкиваясь от самих данных и предметной области, а поровну инсертить по 3 шарда по 2 репликам, а потом делать селекты через distributed таблицу?

Подскажите, пожалуйста, как записать пачку данных в CH при помощи питона (2.7)? использую библиотеку infi.clickhouse_orm.. Пробовала стандартной функцией insert, но там требуется схема, исполнение завершается ошибкой.. Знать бы как должна выглядеть эта схема, я бы подготовила данные в таком формате

Вам нужно создать модель данных

И воспользоваться функциями записи которые даёт эта orm

Если выложите traceback или кусок кода, можно что то ещё сказать ...

В принципе там в readme проекта есть пример с простенькой моделью

и в clickhouse-cli можно подсмотреть

А это в новых версиях кх стал слушать только локалхост вместо 0.0.0.0 по умолчанию?

там requests используется

А это в новых версиях кх стал слушать только локалхост вместо 0.0.0.0 по умолчанию?

да

А, ладно... А то смотрю что обновил и все сломалось. )

Настроил кластер Clickhouse из 2х нод на zetcd вместо zookeeper-a. На первый взгляд успешно работает ;) данные вставляются и видны на обоих нодах.

Настроил кластер Clickhouse из 2х нод на zetcd вместо zookeeper-a. На первый взгляд успешно работает ;) данные вставляются и видны на обоих нодах.

Интересно сравнить производительность zetcd с zookeeper и вообще характеристики оного

А это в новых версиях кх стал слушать только локалхост вместо 0.0.0.0 по умолчанию?

да, пофиксили не очень давно

Интересно сравнить производительность zetcd с zookeeper и вообще характеристики оного

Пока не гонял тесты, на неделе будем смотреть. С учётом того что под капотом etcd а там заявлено до 1000 запросов на запись в секунду должно быть норм

Пока не гонял тесты, на неделе будем смотреть. С учётом того что под капотом etcd а там заявлено до 1000 запросов на запись в секунду должно быть норм

Ну вот интересно )

Всем привет! Вопрос касательно зукипера в разных дц. Как правильнее делать - один общий кластер или один дц делать мастером, а остальные как observers? Если общий кластер, то не будет ли запись сильно страдать? Благодарю!

У нас везде один общий крос-дц кластер

Докер-образ yandex/clickhouse-server не стартует с дефолтным конфигом командой, которая написана на странице https://hub.docker.com/r/yandex/clickhouse-server/ Выпадает с ошибкой <Error> Application: Net Exception: Cannot assign requested address: [::1]:8123 Покрайней мере в macos

докер по дефолту без ипв6 вроде

Коллеги , хочу задать глупый вопрос - по какому принципу лучше всего сегменитровать данные на шарды, нормально ли разделять их не отталкиваясь от самих данных и предметной области, а поровну инсертить по 3 шарда по 2 репликам, а потом делать селекты через distributed таблицу?

Распределять данные по шардам случайным образом нормально, если только нет цели оптимизировать какой-то один важный случай распределённых IN или JOIN. Для примера - если вы часто делаете JOIN по UserID, то и распределять данные по кластеру лучше по UserID - тогда можно будет делать локальные JOIN-ы, так как соответствующие данные будут на одном сервере.

Докер-образ yandex/clickhouse-server не стартует с дефолтным конфигом командой, которая написана на странице https://hub.docker.com/r/yandex/clickhouse-server/ Выпадает с ошибкой <Error> Application: Net Exception: Cannot assign requested address: [::1]:8123 Покрайней мере в macos

--ipv6 —fixed-cidr-v6=2001:db8:1::/64 если докер так запустить, то заработает. а кто может поправить в докере не знаю

--ipv6 —fixed-cidr-v6=2001:db8:1::/64 если докер так запустить, то заработает. а кто может поправить в докере не знаю

да я уже справился. это багрепорт )

--ipv6 —fixed-cidr-v6=2001:db8:1::/64 если докер так запустить, то заработает. а кто может поправить в докере не знаю

Даже ты! это же опенсорс!

https://github.com/yandex/ClickHouse/commit/e552983db52d9c0146183fea613fbc451d565f09

я нашел крайнего:)

кажется для докера это не нужно, в него все равно никто лишний не попадет, даже если слушать *

а если не указывать —fixed-cidr-v6= - запустится с чем-нибудь link-local ?

у меня не запсутилось вообще

https://docs.docker.com/engine/userguide/networking/default_network/ipv6/#how-ipv6-works-on-docker

сам читай в общем :)

может кто еще подскажет решение моего вопроса по time series, а-ля инфлюксовский last() ... group by time()? я тут даже оформил его в гист :) https://gist.github.com/tonky/bede878db55913f7d2edb9368d3774bf

Ответил внутри gist.

@milovidov_an круто, спасибо большое!

@AndreevDm спасибо! Попробуем так и сделать :)

Добрый вечер! А есть ли функциональность полнотекстового поиска? Или считается что для целей быстрой аналитики он слишком громоздкий?

like '%needle%'

where col like '%needle%' . Но это линейный поиск.

Поиска по словоформам нет.

Спасибо!

добрый день. ребята подскажите плиз как по неделям сгруппировать ?

toRelativeWeekNum() должно подойти

toRelativeWeekNum() должно подойти

можно пример ?

так же, как с toStartOfHour

:) select toRelativeWeekNum(a), count() from (select [toDate('2017-01-01'), toDate('2017-01-02'), toDate('2017-01-03')] as a) array join a group by toRelativeWeekNum(a) SELECT toRelativeWeekNum(a), count() FROM ( SELECT [toDate('2017-01-01'), toDate('2017-01-02'), toDate('2017-01-03')] AS a ) ARRAY JOIN a GROUP BY toRelativeWeekNum(a) ┌─toRelativeWeekNum(a)─┬─count()─┐ │ 2452 │ 2 │ │ 2451 │ 1 │ └──────────────────────┴─────────┘ 2 rows in set. Elapsed: 0.002 sec.

:) select toRelativeWeekNum(a), count() from (select [toDate('2017-01-01'), toDate('2017-01-02'), toDate('2017-01-03')] as a) array join a group by toRelativeWeekNum(a) SELECT toRelativeWeekNum(a), count() FROM ( SELECT [toDate('2017-01-01'), toDate('2017-01-02'), toDate('2017-01-03')] AS a ) ARRAY JOIN a GROUP BY toRelativeWeekNum(a) ┌─toRelativeWeekNum(a)─┬─count()─┐ │ 2452 │ 2 │ │ 2451 │ 1 │ └──────────────────────┴─────────┘ 2 rows in set. Elapsed: 0.002 sec.

а можно ли как-то в human виде диапазаон увидеть? а то выводит 2464 2449 2445

Немного не по теме, но всё же спрошу Какую схему хранения посоветуют уважаемые доны, если нужно хранить номера VLAN для каждого устройства

toMonday()

что значат эти числа))

в human виде - это как?

Строкой как-то не радует

Это номер недели начиная с некоторой даты.

что значат эти числа))

ну в документации же написано, что номер недели, начиная с некоторой даты

отдельный столбец под 4094 тоже

Строкой как-то не радует

А что мешает хранить номер влна в int16?

кстати, юникс эпохи, наверное?

А что мешает хранить номер влна в int16?

их 100 на железку

кстати, юникс эпохи, наверное?

Да, это так.

может, указать это в документации, а то "начиная с некоторого фиксированного момента в прошлом" слишком размыто и запутанно?

в human виде - это как?

не совсем понял. начиная с какой даты он берет? 2464 2449 2445 2454 2465 2443 2455 2444

или может поменяться?

их 100 на железку

так вам таки номер, или список активных вланов?

не совсем понял. начиная с какой даты он берет? 2464 2449 2445 2454 2465 2443 2455 2444

кол-во недель, прошедших с 1 января 1970

1970-01-01. Но можно вычесть количество недель, прошедших с любой другой даты.

так вам таки номер, или список активных вланов?

номер, с поиском позже

кстати, да. я, прочитав описание, рассчитывал на второй аргумент, относительно которого можно считать число недель )

может, указать это в документации, а то "начиная с некоторого фиксированного момента в прошлом" слишком размыто и запутанно?