Народ, использует ли кто http словари? Столкнулся с проблемой, если http отдал, допустим 500ю ошибку, то кликхаус не обновляет этот словарь долго и упорно.

Маленький фикс https://github.com/yandex/ClickHouse/commit/b8f1ea48058ed0f8c7dbf3a62d7994005e4d548c - должно стать лучше.

наш клиент пришел https://github.com/yandex/ClickHouse/issues/434

Подскажите, как сделать выгрузку в csv с разделителем точка с запятой (;) ?

csvtool -t ',' -u ';' cat -

csvtool -t ',' -u ';' cat -

Вот спасибо!

А кто нибудь знает, если ли у этого гуя английский интерфейс, а то я что то не понял из описания. https://github.com/smi2/clickhouse-frontend

А, разобрался, там русский по умолчанию и английский только если он в браузере установлен, для всяких немцев и французов неудобно в общем.

Доброе время суток. В графане есть темплейт который возвращает строку вида id,FIO. Вопрос - как эту переменную можно использовать в том же extract -e аля extract(toString($rrr),'(.*),') . Сейчас ругается на Code: 47, e.displayText() = DB::Exception: Unknown identifier: Petrov, e.what() = DB::Exception
 Судя по всему нужна экранизация в самом запросе. Но никак не могу найти. Может кто сталкивался?

> @p_hamper для всяких немцев и французов неудобно в общем. Добавлю в следующих релизах - использовать eng если пользователь не ru + выбор как темы

кто-нибудь clickhouse-related будет на fosdem?

@milovidov_an ^

в смысле Алексей будет, или ты просто в сс ставишь?

@f1yegor просто обращаю его внимание на это сообщение, так как вероятно он знает ответ )

Да, буду. Как раз сейчас читаю, куда я лечу.

тогда увидимся еще раз) а когда выступаешь?

У нас нет доклада - не успели организовать. Цель - собрать максимальное количество заинтересованных в коридорах. Там вроде бы несколько зданий - трудно представить, как это будет выглядить. Интересно, сможет ли мне кто-то в этом помочь :)

только за футболку "clickhouse не тормозит"

У меня нет. Эту подарил Виктор в единственном экземпляре давно. Может быть потом подготовим футболки, но боюсь, уже другие.

ладно, придется так)

у вас кстати красивых abstract нет? я бы подался на пару конференций

В качестве abstracts подходит вырезка из предложений с главной страницы со всякими дополнениями и изменениями.

Пример: https://www.percona.com/live/17/users/victor-tarnavsky

привет! есть вопрос. 2 сервера кликхауса, несколько таблицек реплицируются. сама репликация работает нормально. сервера зукипера тоже в норме. в еррорлог кликхауса постоянно попадает ошибка "<Error> ServerErrorHandler: Poco::Exception. Code: 1000, e.code() = 104, e.displayText() = Connection reset by peer, e.what() = Connection reset by peer". не подскажите куда копать?

версия 1.1.54083

Такое может например случаться, если клиенты отваливаются

Подробнее можно по стектрейсу понять

ну вот дело в том, что ошибки проявляются на сервере с которым клиенты не работают, а он только синхронизирует реплику

А что в стектрейсе?

так, а где это смотреть можно?

strace натравить?

или он сам пишет куда то

По идее в логах должно быть после эксепшна

Хотя возможно для этих эксепшнов и не пишется стектрейс

ок, спасибо, посмотрю

у вас есть какой-то фидбек по https://github.com/yandex/ClickHouse/issues/322 ?

Привет. Подскажите что делаю не так. curl 'https://path/to/clickhouse/?max_result_bytes=100000000000&max_execution_time=100000000000&max_result_rows=1000000000000' -H 'cookie: some_cookie=some_value' --data-binary 'select * from some_table' | wc -c Возвращает только гигабайт данных. В табличке больше чем гигабайт данных. Через консольного клиента всё хорошо.

лучше все-таки количеством строк мерять

гигабайты - несколько относительное понятние, как ни странно

А можете подсказать, как в CH можно выделить сессию из кликстрима? Начало новой сессии удалось получить через runningDifference(), а вот как создать столбец с id сессии пока понять не могу.

обычно это зависит от определения "сессии".

┌──────────event_time─┬───diff─┬─is_new─┬─device─┐ │ 2016-12-08 10:35:40 │ 0 │ 1 │ id1 │ │ 2016-12-08 10:35:53 │ 13 │ 0 │ id1 │ │ 2017-01-22 09:02:19 │ 0 │ 1 │ id2 │ │ 2017-01-22 09:02:29 │ 10 │ 0 │ id2 │ │ 2017-01-22 09:03:11 │ 42 │ 0 │ id2 │ │ 2017-01-22 09:03:59 │ 48 │ 0 │ id2 │ │ 2017-01-26 16:57:05 │ 0 │ 1 │ id2 │ │ 2017-01-26 16:57:32 │ 27 │ 0 │ id2 │ вот пример таблицы, которая у меня получилась. пытаюсь сделать так, чтобы для всех is_new=0 бралось значение event_time из первой верхней строки , где is_new=1

в редшифте это можно сделать через оконную функцию

Как лучше сделать: есть таблица с вложенной таблицей. Хочу добавить поля во вложенную таблицу и заполнить их данными (сделать left join). Пока пришла только одна мысли: создать еще одну таблицу с новой структурой и выполнить запрос такого типа: insert into NewTable from (select * from Table array Join Nest ) any left join (select * from Ext) USING (Nest.Id) Все поля основной таблицы(Table) добавить в group by, а для полей вложенной (Nest) таблицы - сделать groupArray(). Но есть сомнение что это прокатит.. Может кто то уже сталкивался с подобной задачей?

лучше все-таки количеством строк мерять

Количество строк: 8332865. А в таблице их около 70 миллионов.

Количество строк: 8332865. А в таблице их около 70 миллионов.

а каким форматом забираете данные? может там переводы строк попадаются и не экранируются?

Который по-умолчанию. TSV видимо. Вряд ли там есть переводы строк, но даже если, что это меняет?

пардон, я прочел как 83 млн, а не как 8.3 :(

Отбой. Кликхаус не при чём. Это наша прокся перед ним обрубает до гигабайта.

вот как раз такая мысль и была что кто-то на пути портит

я может чего-то путаю, но я запускаю docker образ clickhouse-server версии 1.1.54144, но в клиенте у меня пишется другая ClickHouse client version 1.1.54140. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54140.

Это временный баг связанный с изменением релизного процесса.

Всем ночи, после перехода на RPM сборки из гугл-группы, в clickhouse-clieте перестала работать история и подсказки в консоли. Это какой-то глюк сборки или мой глюк?

уже собрали свой билж стенд для кликсауса в RPM, очень удивились, что для сборки 20ГБ диска не хватило :)

отвалился readline ? что сказал cmake ? собирать всё не нужно, хватит make clickhouse

Если есть люди на FOSDEM, то можно встретиться.

Добрый день. А есть кака нибудь инструкция по запуску CH из docker? Помимо того что есть.

Монтируешь дата директорию, все

А есть проблемы?

А есть проблемы?

у меня походу больше проблемы с докером и понимаеи конфигурационного файла

docker-compose юзай

clickhouse: image: yandex/clickhouse-server:latest volumes: - ./etc/clickhouse-server/:/etc/clickhouse-server - ./data/clickhouse:/opt/clickhouse/data

clickhouse: image: yandex/clickhouse-server:latest volumes: - ./etc/clickhouse-server/:/etc/clickhouse-server - ./data/clickhouse:/opt/clickhouse/data

еще бы разобраться со всем этим

Не docker-engine получается ?

а что по поводу оверхеда, не вызывает ли работа в докере деградации производительности?

Нет

В смысле вряд ли заметите

сбили с толку. с docker run вроде бы что-то запускалось. но как-то не очень выходило

docker-compose тебя спасет

:)

ты меня запутал Дим

еще бы разобраться со всем этим

Я скину строку запуска как до компании доберусь

ну то есть несколько процентов, которыми можно пренебречь? насколько я понимаю его дизайн, при маппинег папки там mount —bind, который чуть менее чем без оверхеда.

Я скину строку запуска как до компании доберусь

дак надо еще image слить. ) сейчас врублюсь как. Спасибо

Но вот memory crgoup несколько оверхедистая штука, а у вас куча аллокаций - отсюда и вопрос.

возможно вызывает. серьезных иссплований которые бы это подтверждали/опровергали я не видел. у кликауса много записи с сети. много чтения с диска. вомзожна деградация производительности при использовании неоптимальных драйверов

Больше на сетевой драйвер оверхед идет

Но вот memory crgoup несколько оверхедистая штука, а у вас куча аллокаций - отсюда и вопрос.

линукс сейчас всегда работает внутри какой то cgroup

какие-то не так опасны, как memory :)

я лет 6 активно работал с openvz и очень боюсь теперь "оверхедов" контейнеров, которые могут возникнуть на пустом месте и разнести все вдребезги :)

ну тут либо шашечки, либо ехать

если данных много - в любом случае будут отдельные серверы

вообще докер и базы данных так себе компаньоны. все зависит от нагрузки и возможности потерять часть данных

если на поиграться, то на оверхед пофиг

на прошлой неделе я тестовый набор заливал в CH в докере

1.9 миллиарда записей

пишет примерно 2.5M записей в секунду

в докере

неплохо так!

более чем

спасибо, более менее разобрался, запустить удалось, проверить тоже

https://gist.github.com/Slach/c831c2080f0a67f73ea039ec9df65058 Подскажите пожалуйста почему у меня может не работать TabSeparated Insert через POST запрос?

конфиг для docker версии отличается сильно?