Выглядит так, как будто у вас в users.xml содержимое config.xml

Выглядит так, как будто у вас в users.xml содержимое config.xml

Проверю. Все может быть ?

Глупый вопрос. Собираюсь на сервере кроме КХ держать постгресс для словариков + data integration server. Два последних сервера - в докере. Как лучше - для однообразия поместить КХ в контейнер или оставить на физическом хосте. По идее производительность КХ не должна сильно страдать.? В дальнейшем будущем собираемся делать кластер. Но на данный момент 128Г ОП должно хватить за глаза. "Безобразно но однообразно" (c) или как

(Говорю без продакшен-опыта использования докера) Думаю, что основное - правильно выбрать способ монтирования volume. Чтобы данные не терял и не тормозил.

А то в интернете достаточно страшилок

А то в интернете достаточно страшилок

в интернете много страшных историй. Туда лучше не ходить)) Мы в докере на продакшне поднимали системы. Особенно удобно если поднимается глючная портированная система. Например переносили Bizagi.

(Говорю без продакшен-опыта использования докера) Думаю, что основное - правильно выбрать способ монтирования volume. Чтобы данные не терял и не тормозил.

Спасибо!

(Говорю без продакшен-опыта использования докера) Думаю, что основное - правильно выбрать способ монтирования volume. Чтобы данные не терял и не тормозил.

монтирования вроде только один существует

монтирования вроде только один существует

Да

монтирования вроде только один существует

Или про что?

Наверно, правильная терминология - storage driver. https://docs.docker.com/engine/userguide/storagedriver/selectadriver/

Наверно, правильная терминология - storage driver. https://docs.docker.com/engine/userguide/storagedriver/selectadriver/

да

Да

ну если директория монтируется внутрь контейнера, то там только пробросить ее можно и все

ну если директория монтируется внутрь контейнера, то там только пробросить ее можно и все

Все правильно. Имелось ввиду - сторадж драйвер + монтирование

маунт вроде в обход union fs идет, нет?

маунт вроде в обход union fs идет, нет?

я так понимаю именно так. Ну то есть если сделать -v для дата КХ то производительности и проблем с записью/чтением данных вообще не должно быть. кроме этого отпадает вопрос с сохранностью данных при краше контейнера

Единственный вопрос при контейнеризации - организация кластера, но и его можно решить если делать expose порты. Правда не пробовал.

Чет не соображу... есть массив значений типа [1,2,3,4] как относительного это массива сделать что-то вроде X IN [1,2,3,4]?

отбой, нашел https://clickhouse.yandex/reference_en.html#has(arr, elem)

надеюсь это достаточно эффективно

Товарищи, а как настроить на сервере логирование чтобы он выводил в лог всю строки INSERT на которой произошла ошибка при вставке. Ибо сейчас он выводит в лог только кусочек, а когда 150 колонок - очень не просто понять где при переливке произошёл косяк.

Поделитись кто-нибудь открытым ключем E0C56BD4, которым пакеты кликхауза подписаны, похоже его дропнули с keyserver.ubuntu.com

Поделитись кто-нибудь открытым ключем E0C56BD4, которым пакеты кликхауза подписаны, похоже его дропнули с keyserver.ubuntu.com

Странно только сегодня утром ставил apt-key adv —keyserver keyserver.ubuntu.com —recv E0C56BD4

gpgkeys: no key data found for http://keyserver.ubuntu.com/ gpg: no valid OpenPGP data found.

gpgkeys: no key data found for http://keyserver.ubuntu.com/ gpg: no valid OpenPGP data found.

сейчас гляну

а про mapd не понимаю, откуда его сравнение с CH

Странно только сегодня утром ставил apt-key adv —keyserver keyserver.ubuntu.com —recv E0C56BD4

у меня в докере отработало, ключ импортнулся

а про mapd не понимаю, откуда его сравнение с CH

никто не мешает людям сравнивать самолет с арбузом

добрый день подскажите пожалуйста есть ли какая-то возможность создать VIEW поверх Distributed таблицы?

можно, но там с использованием индексов пол года назад была проблема. А так - это ж просто аналог подзапроса

и на мой взгляд, поддержка GPU за десятки тысяч баксов несколько уходит за рамки идеологии которую сейчас поддерживает кликхаус

и потом доказывать что одно лучше другого

кликхаусом я могу проанилизировать ТЕРАБАЙТЫ на паре своих домашних ноутбуков, на которых встроенное видео на 512мб=)

и лично мне нахрен эти GPU за миллионы не сдались, кому надо -купите/поставьте mapd :)

Всем добрый день.

Ребят есть в clickhouse выгрузка из яндекс метрики из коробки?

https://tech.yandex.com/metrika/doc/api2/logs/clickhouse-integration-docpage/

Ребят, добрый день Может кто подскажет, не очень понимаю как сделать Есть визиты, которые кладутся в базу сразу(юзерагент, ип, user_id и пр.), и есть информация которая приходит задолго после - время на странице, флаги типа был ли скролл и т.п. Если в обычной бд не было проблем - просто проапдейти запись и все, то как в кх это сделать?

еще 1 записью?

Collapsingmergetree

Т.е. грубо говоря мне приходит показание таймера в виде {visit_id: ..., seconds: ...} После я нахожу последний визит, мержу секунды и вставляю эту запись? Так? Просто смущает что это куча одиночных операций селекта, а в доке указано ограничение на 100 запросов в секунду

Ребят, добрый день Может кто подскажет, не очень понимаю как сделать Есть визиты, которые кладутся в базу сразу(юзерагент, ип, user_id и пр.), и есть информация которая приходит задолго после - время на странице, флаги типа был ли скролл и т.п. Если в обычной бд не было проблем - просто проапдейти запись и все, то как в кх это сделать?

в обычной бд будут проблемы, т.к. апдейты тормозят.

Ребят, добрый день Может кто подскажет, не очень понимаю как сделать Есть визиты, которые кладутся в базу сразу(юзерагент, ип, user_id и пр.), и есть информация которая приходит задолго после - время на странице, флаги типа был ли скролл и т.п. Если в обычной бд не было проблем - просто проапдейти запись и все, то как в кх это сделать?

у нас аналогично, сначала приходят данные о pageview со всей инфой, потом флаги времени на странице, скроллы и т.п., которые заполняют основную информацию, чтобы можно было сматчить с pageview, и значение для дополнительного столбца

у нас аналогично, сначала приходят данные о pageview со всей инфой, потом флаги времени на странице, скроллы и т.п., которые заполняют основную информацию, чтобы можно было сматчить с pageview, и значение для дополнительного столбца

т.е. каждый раз селект предыдущей версии записи делается? а движок какой таблицы?

CollapsingMergeTree

А select запросы с final? Или каждый раз полотно group by id, ua, userId,...?

зависит от того, что вы хотите посчитать.

если вам нужна последняя версия каждого объекта - то да. если нужна общая статистика - почти всегда свертка с Sign дает то что надо.

Ребят, извиняюсь за тупость В случае с Collapsingmergetree Когда мне нужно изменить запись по id - я нахожу эту запись и делаю два инсерта, один - на вставку старой(найденной) записи с Sign = -1, второй - на ставку измененной записи с Sign = 1 Правильно понимаю?

Ну да

Но только оно сразу не схлопнется в одну запись

Да не, я понимаю что не схлопнется, меня sign не пугает Меня пугает что перед каждой правкой нужно находить предыдущую версию, когда в доке написано ограничение 100 запросов в секунду

в Метрике предыдущая версия живет в том числе снаружи.

Да не, я понимаю что не схлопнется, меня sign не пугает Меня пугает что перед каждой правкой нужно находить предыдущую версию, когда в доке написано ограничение 100 запросов в секунду

Вы же понимаете что все в мире относительно? У кого то на 50 сляжет все. У кого то 1000 держать будет и не поперхнётся.

в Метрике предыдущая версия живет в том числе снаружи.

Да, я понял, спасибо, так и сделаю

Вы же понимаете что все в мире относительно? У кого то на 50 сляжет все. У кого то 1000 держать будет и не поперхнётся.

Я понимаю) Обидно будет если переедем, но не до конца оттестим Хочется без даунтамов и серьезных изменений архитектуры после переезда

> что перед каждой правкой нужно находить предыдущую версию, для этого нужен какой-то (шардированный реплицируемый) kv-storage, на базе которого будет реализована функция (новые события,состояние)->(новое состояние,лог изменения). лог изменения писать в CH, велосипед городить свой.

Ну это же Яндекс уже ждешь что там велосипед написали и выложили)

да можно просто метрикой пользоваться

А закешируте в аэроспайке например

А оттуда уже в кх можно выгребать

Он как раз хорошо шардируется

а с чем связана рекомендация относительно Float32/Float64 - "Не рекомендуется хранить числа с плавающей запятой в таблицах." ?

с тем, что точность теряется, наверное

а с чем связана рекомендация относительно Float32/Float64 - "Не рекомендуется хранить числа с плавающей запятой в таблицах." ?

Насколько я помню тут говорили, что люди пытались делать подсчет денег на КХ и брали Float, а потом удилвлись почему сравнения нормально не работают, и почему 2.0 + 2.0 = 3.9999999994

Ну про артефакты плавучки я в курсе, но это ж не проблема хранения в таблицах

кликхаусом я могу проанилизировать ТЕРАБАЙТЫ на паре своих домашних ноутбуков, на которых встроенное видео на 512мб=)

я думаю тут есть ньюансы... основной в том что можно использовать энд-юзеровские решения типа GTX 1080... они как раз стоят даже дешевле чем ЦПУ.... единственное различие между такими ГПУ и теслами это стабильность работы и объемы памяти... последний факт думаю может быть наиболее важным...

Да не, я понимаю что не схлопнется, меня sign не пугает Меня пугает что перед каждой правкой нужно находить предыдущую версию, когда в доке написано ограничение 100 запросов в секунду

Храните копии записей в kv-таблице

привет! я только начала пользоваться кх подскажите, как скачать данные в файл csv? пишу такой запрос. все как будто выполнилось, но в файле пусто.

привет! я только начала пользоваться кх подскажите, как скачать данные в файл csv? пишу такой запрос. все как будто выполнилось, но в файле пусто.

А вы файл ищите: на сервере или у себя на локальной машине?

Если что, нужно второе

Как в конфиге КХ прописать слушать только ipv4?

listen_host 127.0.0.1 или 0.0.0.0

на дев-сервере для табикса пришлось <listen_host>::</listen_host> прописать, иначе с внешних никак не получилось подключиться

Всем привет. Кликхаус ещё не научился пробрасывать where, prewhere в подзапрос представления?

привет всем, заранее прошу прощения если помешаю вопросом :) Мы внедряем clickhouse для нашего проекта по мобильной рекламе. Кто-нибудь мог бы помочь (платно или бесплатно) с некоторыми вопросами или посоветовать кого-нибудь, кто разбирается в clickhouse?

мне кажется тут вам и бесплатно помогут если вопросы будут сфорулированные)

спасибо! лучше конечно в виде фрилансера для проекта

я думаю тут есть ньюансы... основной в том что можно использовать энд-юзеровские решения типа GTX 1080... они как раз стоят даже дешевле чем ЦПУ.... единственное различие между такими ГПУ и теслами это стабильность работы и объемы памяти... последний факт думаю может быть наиболее важным...

Я уже писал. В чем смысл gpu, когда пока даже в памяти индексов нет. Ну будет отставание в 2-3 раза от гпу, но это всё равно в 100 раз быстрее чем с диска.

Мы хотим писать в него трафик и делать статистический анализ. Так как мы не совсем технически подкованы то нужна помощь в этом. Например: как создать пользователей, понять как писать отдельно каждый запрос или пачками. Желательно найти человека, который бы мог по каждому вопросу поддерживать, по мере их появления.

Добрый день! Подскажите пожалуйста настройку для изменения лимита, после которого над партицией не происходит OPTIMIZE c FINAL. Можно ли эту настройку передать не перезагружая сервер?

Ну про артефакты плавучки я в курсе, но это ж не проблема хранения в таблицах

В kdb для хранения денег используется float, но они учитывают точность при сравнении.

Мы хотим писать в него трафик и делать статистический анализ. Так как мы не совсем технически подкованы то нужна помощь в этом. Например: как создать пользователей, понять как писать отдельно каждый запрос или пачками. Желательно найти человека, который бы мог по каждому вопросу поддерживать, по мере их появления.

Мне кажется что лучше в таком случаи брать готовые сервисы, если честно :)

вам же потом поддерживать то что фрилансеры насоздают )

штука в том, что у СТО будет это все поддерживать :) потому что он разберется с clichous'ом, но сейчас сроки поджимают, поэтому нужен знающий человек, который бы нам помог

Ребят, а кто нибудь собирал под маком CH?

да

Удачно?))

да

Удачно?))

я собирал вчера

мастер собирается