Как в CH устроенно хранение вложенных стурктур данных?

Вложенная структура почти эквивалентна нескольким массивам с одинаковой длиной

И хранится также

Массивы хранятся как столбец с размерами + столбец с самими значениями, записанными подряд.

А столбец с размерами содержит смещения относительно головы массива?

А как хранятся строки переменной длинны? Длинна + последовательность байт или как с массивами?

Столбец с размерами хранит размер массива в каждой строке.

Строки хранятся в одном столбце - длина + последовательность байт

OPTIONS http://10.0.0.234:8123/s1/query 501 (Not Implemented)

s1 это лишнее

Друзья, хочется страшного. Группировать выборку по некоторым полям, а остальные поля выводить любые, желательно первые попавшиеся. Это возможно?

Any ?

anyLast()

Any ?

Ооо, да, кажись оно.

сек, попробую)

Да, то что нужно! Спасибо!

Друзья, хочется страшного. Группировать выборку по некоторым полям, а остальные поля выводить любые, желательно первые попавшиеся. Это возможно?

Это не страшное даже. Тут выше обсуждение как без такого не выжить по памяти

Это не страшное даже. Тут выше обсуждение как без такого не выжить по памяти

Ну это просто обычно поведение MySQL ) на сколько я знаю только он так умеет.

Мускль делает any по умолчанию. Постгрес очень жесткий тут

Столбец с размерами хранит размер массива в каждой строке.

Спасибо!

Имеет смысл в CH делать схему звезда с таблицей фактов и измерений или одна таблица-простыня наше всё?

+1 за простыню со словарями

@garikanet используешь словари только как справочник?

да, userAgent, location_id, и другие систем. обьекты через id

Так же, мы используем "хитро" таблицы Summing, допустим у нас есть список рекламных компаний(сайтов/товаров...) которые, есть словарь. Мы инсертим в таблицу каждую минуту все активные компании/товары и делаем +1, тогда можно достать все ключи словаря - через запрос в эту таблицу)) ( в ожидании ф-ционала в самом CH ))

а старые удаляете?

нет, у нас объекты insert only, у них статус = active|stop тут тонкость в виде race condition - но мы списываем на мат.погрешность в наших задачах

ок, у меня теперь назрел следующий вопрос: а как вы тестируете проекты, которые используют кликхаус?

мокаете запросы к кликхаусу или гоняете всё на тестовом сервере?

часть мокаем, для интеграции - в gitlab можно удобно подкючать докер-образы

а как посоветуете быть с геолокацией. Это то, что лучше писать в базу или это вычислимые данные? Кажется, что это надо писать в базу, потому что данные то меняются.

у нас событиям добавляется локация пользователя в момент события. А то они любят ее менять произвольно.

а как посоветуете быть с геолокацией. Это то, что лучше писать в базу или это вычислимые данные? Кажется, что это надо писать в базу, потому что данные то меняются.

зависит от ситуации. координаты москвы не меняются, координаты людей меняются.

IP -> координаты

я про это

мокаете запросы к кликхаусу или гоняете всё на тестовом сервере?

гоняем на сервере.

базы geoip меняются, айпишники не меняются

Для геолокации были патчи на префикс лакапы по айпи

IP -> координаты

т.к. эта связь меняется со временем, то если нужно знать где было событие, то либо надо помнить всю историю геопривязки и джойнить при чтении, либо джойнить в момент записи. второе по-моему проще.

ок

разумно

хотя я так понимаю, что как раз для этого есть словари с временем?

да, кейс примерно этот. по-моему там сейчас гранулярность времени по датам, он только увеличивается в размерах, и при чтении он работает при каждом чтении, а при записи один раз. зато его можно апдейтить, если что-то пошло не так.

/stat@combot

combot.org/chat/-1001080295593

чо там чо там про геолокацию?

тыкдом научился работать с геоданными?

смотря что считать "научился"

Всем привет! Кто-то сталкивался с багами оптимизации запросов самим КХ? Когда он выкидывает данные из подзапроса?

Вот тут более детальное описание https://groups.google.com/d/msg/clickhouse/tzLZG-FWbvE/siX-Df9tBAAJ Если кто-то ловил такое, то получилось как то обойти или нет?

смотря что считать "научился"

ну там считать пересечения, полигоны, линии, расстояния и прочие плюшки

расстояния - да, все остальное - нет.

так что скорее нет, чем да.

Коллеги, так может подскажете, можно ли доступиться из tabix.io (открываю с сайта, без инсталляции) к серверу CH в локальной сети с другой машины? Консоль хрома дает такую ошибку: XMLHttpRequest cannot load http://10.0.0.234:8123/s1/query. Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://ui.tabix.io' is therefore not allowed access. The response had HTTP status code 501.

просто в браузере проверку ok пройти могу

да и запрос тоже получается... если самому query в строке написать

да и запрос тоже получается... если самому query в строке написать

Проще в докерер табих запустить. Примерно минут 10 на все про все. Из сообщения неясно - если 10.* сетка до примера тогда приведите лог нормальный. Если сетка не пример - тогда как минимум 8123 порт должен быть выставлен наружу (PAT). и такое ощущение что нужен CORS но это скорее всего уже в настройках самого tabix.io не думаю что под вас будут править. Воспользуйтесь лучше докером + табих. Либо если в локалке поднят nginx or apache тогда скопируйте архив табих с офф страницы и запустить ещё один виртуальный хост

локалка, в одном сегменте. у меня машина 10.0.0.53, CH - 10.0.0.234. никаких проксей, ничего. В принципе можно с веб-based версии tabix достучаться до локального CH или нет?

где лог взять? это единственная ошибка в консоли хрома. информ. сообщения про отсутствие перевода я вырезал

локалка, в одном сегменте. у меня машина 10.0.0.53, CH - 10.0.0.234. никаких проксей, ничего. В принципе можно с веб-based версии tabix достучаться до локального CH или нет?

Нужен PAT(NAT) если его нет то как с внешнего ресурса к вам в локалку попадёт табих. Упрощенно говоря

просто из браузера я могу вбить строчку и получит select по таблице

а где можно прочитать про необходимые настройки? на сайте пусто

я же не знаю, как табикс устроен. может он все js скрипты к себе затаскивает

я же не знаю, как табикс устроен. может он все js скрипты к себе затаскивает

Нет.

У вас линукс?

локалка — винда

CH - ubuntu

CH - ubuntu

Могу в личку написать чтобы не разводить флуд

буду благодарен

где лог взять? это единственная ошибка в консоли хрома. информ. сообщения про отсутствие перевода я вырезал

Ошибка не в кх или табикс, а в браузере

Для безопасности уже давно браузеры не умеют делать cross site запросы если у сервера не выставлен хедер cors

Можно искать в гугле по запросам clickhouse cors

https://github.com/yandex/ClickHouse/pull/83 - кажется вот pr который добавил поддержку этого в кх и там же указано как пользоваться.

https://github.com/yandex/ClickHouse/pull/83 - кажется вот pr который добавил поддержку этого в кх и там же указано как пользоваться.

У меня без проблем все работает внутри локалки. Сервер на другой тачке, табикс локально поднят

Главное кх на этот хост повесить, что бы не 127.0.0.1 слушал

Говорит, Method dropPartition is not supported by storage MaterializedView.

Нужно использовать обратные кавычки: alter table DatabaseName.`.inner.TableName`

Кто-нибудь использовал Clickhouse в Laravel5? Как поступили с миграциями?

так в пхп же инструмент был от сми2

https://github.com/smi2/phpMigrationsClickhouse не?

Igor, спасибо не видел, планировал немного модифицировать стандартные миграции в Laravel, может кто уже это проходил.

в yii2 в одну строчку заработало если что - http://joxi.ru/4vAWKbKhpjDWAW

Ребята, такой вопрос. Есть какие-то минимальные и рекомендуемые требования по железу на одну ноду КХ? И насколько хорошей/плохой практикой может быть расположение нескольких нод на одной физической машине?

Миграция в одной базе и миграция в кластере немного разные вещи. Вот моя статья на эту тему https://habrahabr.ru/company/smi2/blog/317682/

Коллеги, так может подскажете, можно ли доступиться из tabix.io (открываю с сайта, без инсталляции) к серверу CH в локальной сети с другой машины? Консоль хрома дает такую ошибку: XMLHttpRequest cannot load http://10.0.0.234:8123/s1/query. Response to preflight request doesn't pass access control check: No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'http://ui.tabix.io' is therefore not allowed access. The response had HTTP status code 501.

У вас ошибка в настройке подключения к серверу - должнобыть http://host:IP/ и все без s1

Ребята, такой вопрос. Есть какие-то минимальные и рекомендуемые требования по железу на одну ноду КХ? И насколько хорошей/плохой практикой может быть расположение нескольких нод на одной физической машине?

Несколько нод на одной машине не рекомендуется, потому что это менее выгодно по ресурсам, чем одна нода на машину.

Немного информации про железо есть здесь: https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt

помогите разобраться, делаю три запроса: 1. `SELECT uniqExact(managed_object) AS qty FROM alarms WHERE ts BETWEEN toDateTime('2017-06-01T01:00:00') AND toDateTime('2017-06-01T07:00:00') or ts BETWEEN toDateTime('2017-05-30T15:00:00') AND toDateTime('2017-05-30T16:00:00')` результат = 87238 2. `SELECT uniqExact(managed_object) AS qty FROM alarms WHERE ts BETWEEN toDateTime('2017-06-01T01:00:00') AND toDateTime('2017-06-01T07:00:00')` результат = 35941 3. `SELECT uniqExact(managed_object) AS qty FROM alarms WHERE ts BETWEEN toDateTime('2017-05-30T15:00:00') AND toDateTime('2017-05-30T16:00:00')` результат = 52729 почему 87,238 <> 35,941 + 52,729 (88,670)

потому что один и тот же managed_object появился и в мае и июне?

да, это возможно, спасибо

У нас в Яндекс.Метрике это главный вопрос на собеседовании

Ожидаем что люди понимают что уников складывать нельзя

ну почему а если primary key?