Вкратце - просто сам себе содаёшь случайный альфанумеричный номер сессии и высылаешь его как параметр url session_id. По умолчанию таймаут - минута. Можно увеличить. Можно проверить жива ли ещё сессия. Примеры тут: https://github.com/yandex/ClickHouse/blob/master/dbms/tests/queries/0_stateless/00463_sessions_in_http_interface.sh

Всем привет - такой вопрос, используем кликхаус для сбора статистики. Обратили внимание, что ест около 3 ГБ памяти в день. Хотелось бы понять почему - подозреваю, что непраивльно использую движок MergeTree

CREATE TABLE IF NOT EXISTS my_cool_table ( UUID String, Updated DateTime, UpdatedDate Date MATERIALIZED Updated, CPUSecs Float64, AvailableMem Int64, BytesSent Int64, BytesRecv Int64, ) Engine = MergeTree(UpdatedDate,(UUID,UpdatedDate),8192);

сама табличка

вариантов UUID немного - сейчас около 70. Каждый вариант делает INSERT по одной строчке раз в n секунд

Всем привет - такой вопрос, используем кликхаус для сбора статистики. Обратили внимание, что ест около 3 ГБ памяти в день. Хотелось бы понять почему - подозреваю, что непраивльно использую движок MergeTree

Что значит "ест"? Если не падает с OOM, в чем проблема в использовании памяти?

Постребление памяти растет каждый день - это значит, что 3 дня назад было 20 ГБ. Сейчас около 38. Графана показывает практически линейный рост потребления памяти во времени. Количество сбрасывающих статистику не увеличивалось.

Ждать пока он сожрет все 128 ГБ - ну такое..

Версия какая?

1.1

А дальше какое число? Там самое интересное :)

В версии 54310 есть утечка памяти при вставке в обычные (не Replicated) MergeTree

а как посмотреть?

ва документации проморгал флаг\запрос на версию

Когда посединяетесь с консольного клиента, он пишет версию сервера и клиента.

SELECT version()

В версии 54310 есть утечка памяти при вставке в обычные (не Replicated) MergeTree

а в 54318?

В 54318 это поправили

SELECT version();

1.1.54310

ХАХ =)

В 54318 это поправили

лучше переехать с 54310 на 54318?

спасибо

Лучше переехать, но в 54318 обнаружены довольно серьёзные ошибки с репликацией (впрочем, кажется, они присутствуют и в 54310). Сейчас готовим фиксы.

интересно спасибо

в докер образах 54318 будет?

коллеги подскажите пожалуйста по ошибке <Error> event.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe: while reading from socket от чего может возникать? мы из-за нее какое-то время не получали данные с ноды, на которой происходила ошибка

Хм, странно, в новой версии прилетела проверка на SSSE 4/2

НО

sudo service clickhouse-server start Illegal instruction Warning! SSE 4.2 instruction set is not supported Start clickhouse-server service: Path to data directory in /etc/clickhouse-server/config.xml: /var/lib/clickhouse/ DONE

и демон все равно запускается :(

проверка в инит скрипте только для пугания пользователей

@proller 2 бинаря сделали?

нет.

фи

и так размеры в сеть не пролазят и время сборки огого

писали бы на нормальном языке, не было бы таких проблем

я тут тоже от c++ с ума схожу - по 10 минут ждать сборки любой мелкой фигни

это ты про lua сейчас ?

про си, конечно

lua оно для расширений, а у вас все равно sql есть

ccache + distcc и не надо ждать ничо

у нас пакет 4 минуты собирается

все упирается в линковку

если не много изменений

потому что результативный бинарь выходит 2.3Gb

и это все рак c++ и шаблонов

ну так это не мелкая фигня

изменения мелкие

для разработки побить все на кучу мелких .so

это понятно, но вот так склалось, что никто этого не сделал из-за кучи legacy зависимостей...

ладно, это все оффтоп

Как раз "рак шаблонов" это одна из вещей, которая делает ClickHouse быстрым :) Потому что в бинарник вкомпилирован оптимизированный код для большого числа комбинаций типов параметров.

ну, все это делается руками на plain c, только с большим геморроем

вон, в openssl сделали на перле кодогенератор ассемблера, так что и шаблоны c++ делаются средствами препроцессинга довольно элементарно

другое дело, что по читаемости это даже хуже c++ :)

а по удобству изменений и еще хуже

Ребята подскажите какую ОС лучше сетапить для кликхауса, и какую весрию кликхауса лучше ставить чтобы настроить шардирование

ненене, никакого С пожалуйста

скорее бы хотелось отключения требования SSE4/2 :( я, конечно, понимаю, что прошу дичи, но просто получается что другие системы работают на том же железе, а КХ - отказываеься :/

а в чем проблема пересобрать ?

Ребята подскажите какую ОС лучше сетапить для кликхауса, и какую весрию кликхауса лучше ставить чтобы настроить шардирование

обычно желательно все ставить самое свежее, а название ОС - которое наиболее приемлемо для вашей компании

кроме windows конечно

а планов отдельную сборку сделать для таких вот мамонтов нету?

есть вариант сборки в одну строку через pbuilder

а можно ссылочку, пожалуйста?

в идеале мне бы просто пакет что для убунты идет перебрать без SSE и все

Есть таблица t1 ENGINE = ReplicatedMergeTree и есть t1_mv MATERIALIZED VIEW ... ENGINE = MergeTree ... as select from t1 для неё. 1) Так бывает? Или данный MV должен использовать тоже какой-то replicated-движок? 2) На другом сервере лежит реплика t1. На том другом сервере лежит t2_mv для t1. t2_mv на том другом сервере будет штатно наполняться данными при инсерте в любую реплику t1? 3) t1_mv, t2_mv вообще должны знать что-то про репликацию? Или они могут независимо жить на разных серверах и спокойно апдейтиться из "родительских" таблиц, ничего не зная про их реплика-природу? 4) Существует вообще какой-то в природе смысл реплицировать MV, делать их с Replicated-движком?

@proller а как мне пересборка поможет? :( В билд гайде снова требование SSE 4.2: https://clickhouse.yandex/docs/en/development/build.html

ну сборка не проверяет этот гайд на корректность ;)

примерно так можно пересобрать без sse: sudo DIST=artful pbuilder create --configfile debian/.pbuilderrc && env DH_VERBOSE=1 CMAKE_FLAGS="-DHAVE_SSE41=0 -DHAVE_SSE42=0 -DHAVE_POPCNT=0 -DHAVE_SSE2_INTRIN=0 -DSSE2FLAG=' ' -DHAVE_SSE42_INTRIN=0 -DSSE4FLAG=' ' -DHAVE_PCLMULQDQ_INTRIN=0 -DPCLMULFLAG=' '" DIST=artful pdebuild --configfile debian/.pbuilderrc --debbuildopts "--source-option=--format=\"3.0 (native)\""

но! сейчасс в master сломано

попробую) Спасибо!

тег v1.1.54318-stable таким способом собирается нормально

супер!) сейчас буду пробовать!

Добрый день , есть забавная задача. Вот сама таблица CREATE TABLE IF NOT EXISTS trade_history ( EventDate Date, Timestamp UInt64, Exchange String, Pair1 String, Pair2 String, Price Float64, Amount Float64, Time DateTime ) ENGINE = MergeTree(EventDate, (Exchange, Timestamp, Pair1, Pair2, Price, Amount, Time), 8192); К ней есть запрос типа SELECT MAX(Price), MIN(Price), SUM(Amount), Pair1, Pair2 FROM trade_history WHERE (EventDate >= '2017-11-23' AND EventDate <= '2017-11-30') AND (Timestamp >= 1511447283790628020 AND Timestamp <= 1512052083790628020) GROUP BY toStartOfHour(Time), Pair1, Pair2 Вопрос как получить первый Price и последний Price к каждой группе toStartOfHour(Time), Pair1, Pair2 Надо построить график OHLCV(Японские свечи). Для этого надо 5 параметров O - Open(Первый Price в временном промежутке) H - High(Самый высокий Price за весь промежуток) L - Low (Самый низкий Price за временной промежуток) C - Close (Последний Price за временной промежуток) V - Volume (Сума всех Amount) Хотелось бы сделать все в один запрос чтоб не гонять дата сет в 1.5 ккк записей. Что-то типа SELECT MAX(Price), MIN(Price), SUM(Amount), FIRST(Price), LAST(Price), Pair1, Pair2 FROM trade_history WHERE (EventDate >= '2017-11-23' AND EventDate <= '2017-11-30') AND (Timestamp >= 1511447283790628020 AND Timestamp <= 1512052083790628020) GROUP BY toStartOfHour(Time), Pair1, Pair2

Коллеги, привет! Вашему вниманию статья про GROUPING SETS "на коленке" https://dzone.com/articles/implementing-subtotals-aggregations-in-clickhouse

привет подскажите, пожалуйста, как починить 2017.12.19 10:03:34.141696 [ 21045184 ] <Error> ExternalDictionaries: Failed reloading 'foo_dict' dictionary: Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: 172.16.0.10, e.what() = Host not found словарь описан как: <dictionary> <name>foo_dict</name> <source> <http> <url>http://172.16.0.10/api/v1/dictionary/blahblah</url> <format>TabSeparated</format> </http> </source> [...skip...]

Server returned error: Server returned error: /opt/home/milovidov/ClickHouse_clean/contrib/libtcmalloc/src/page_heap_allocator.h:74] FATAL ERROR: Out of memory

Интересные пути в ошибке )

С репозитория кх ставился

в самом пути ничего плохого нет - это отладочная информация

Опубликованы презентации с московского митапа: https://clickhouse.yandex/presentations/meetup11/not_in_the_docs.pdf https://clickhouse.yandex/presentations/meetup11/clickhouse_in_the_world.pptx https://clickhouse.yandex/presentations/meetup11/target.pdf https://clickhouse.yandex/presentations/meetup11/mosru.pdf https://clickhouse.yandex/presentations/meetup11/tableau.pptx https://clickhouse.yandex/presentations/meetup11/news_and_plans + ещё один микро-доклад был без презентации - ждём видео.

Опубликованы презентации с московского митапа: https://clickhouse.yandex/presentations/meetup11/not_in_the_docs.pdf https://clickhouse.yandex/presentations/meetup11/clickhouse_in_the_world.pptx https://clickhouse.yandex/presentations/meetup11/target.pdf https://clickhouse.yandex/presentations/meetup11/mosru.pdf https://clickhouse.yandex/presentations/meetup11/tableau.pptx https://clickhouse.yandex/presentations/meetup11/news_and_plans + ещё один микро-доклад был без презентации - ждём видео.

Супер! Спасибо!

Спасибо !

Опубликованы презентации с московского митапа: https://clickhouse.yandex/presentations/meetup11/not_in_the_docs.pdf https://clickhouse.yandex/presentations/meetup11/clickhouse_in_the_world.pptx https://clickhouse.yandex/presentations/meetup11/target.pdf https://clickhouse.yandex/presentations/meetup11/mosru.pdf https://clickhouse.yandex/presentations/meetup11/tableau.pptx https://clickhouse.yandex/presentations/meetup11/news_and_plans + ещё один микро-доклад был без презентации - ждём видео.

Спасибо!

Будет ли Materialized View наполняться данными, если INSERT сделан на другом сервере в реплицируемую таблицу, а наша MV просто as select к этой таблице на своём сервере?

Будет ли Materialized View наполняться данными, если INSERT сделан на другом сервере в реплицируемую таблицу, а наша MV просто as select к этой таблице на своём сервере?

Нет. Для данных целей, Materialized View следует создать с Replicated движком на обеих серверах. Тогда вставленные данные на одном сервере, попадут в Materialized View, и будут реплицированы по всем репликам.

Добрый день, коллеги! Поделитесь, пожалуйста, опытом работы с timeseries метриками в CH. Например: как получаете последнюю, по времени, метрику группированную по атрибуту; как схлапываете данные за периоды. Any help, pls )))

Добрый день, коллеги! Поделитесь, пожалуйста, опытом работы с timeseries метриками в CH. Например: как получаете последнюю, по времени, метрику группированную по атрибуту; как схлапываете данные за периоды. Any help, pls )))

@metrics_ru

@metrics_ru

Новый чатик! :)

Привет. В схеме eventDate Date DEFAULT toDate(eventTime) Если пропускаю эту колонку в нодовских либах, то ставит дату 0000-00-00. Кто-нибудь сталкивался с таким?

Доброе утро!

Скажите, если на одной ноде в кластере закончилось место

можно ли удалить standalone таблицу