пишет while reading from part /home/clickhouse/data//data/default/uri_stat/20170601_20170622_3028_19744_7/

получается, что размер колонки больше выставленного лимита и он не может его в память загрузить

есть какой-то способ уменьшить размер parts?

Доброе! Когда сделаете курсы по кликхаусу? ))

Доброе! Когда сделаете курсы по кликхаусу? ))

https://www.altinity.com/training/

https://www.altinity.com/training/

For customers ?

А что смущает ?

А что по ценам на курсы и что туда входит? Или лучше им писать? Я просто не уверен, что тут есть представители

Не знаю что по ценам, я так думаю что индивидуально (на сколько раскрутят), можно им написать https://www.altinity.com/contact

! Два Зайцева в одной команде

Товарищи, а кто нибудь работал с apache superset ?

Было дело

Возникает проблема с шардингом Distributed. В структуре таблица с движком Distributed смотрит на два шарда time_application_method_distr. Но при вставке через эту таблицу данные на второй шард не попадают, а накапливаются в «/var/clickhouse/data/default/time_application_method_distr». В логах появляются ошибки: 2017.09.20 09:45:40.325499 [ 257 ] <Error> time_application_method_distr.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: Connection refused: (10.76.94.203:9000), e.what() = DB::NetException, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x28550d6] 1. clickhouse-server(DB::Exception::Exception(std::string const&, std::string const&, int)+0x1f) [0x286436f] 2. clickhouse-server(DB::Connection::connect()+0x98e) [0x2a2a07e] 3. clickhouse-server(DB::Connection::sendQuery(std::string const&, std::string const&, unsigned long, DB::Settings const*, DB::ClientInfo const*, bool)+0x124c) [0x2a2c93c] 4. clickhouse-server(DB::RemoteBlockOutputStream::writePrefix()+0x56) [0x2c49496] 5. clickhouse-server(DB::StorageDistributedDirectoryMonitor::processFile(std::string const&)+0x615) [0x2c16295] 6. clickhouse-server(DB::StorageDistributedDirectoryMonitor::findFiles()+0x10c) [0x2c17c4c] 7. clickhouse-server(DB::StorageDistributedDirectoryMonitor::run()+0x85) [0x2c18135] 8. clickhouse-server() [0x3198baf] 9. /lib64/libpthread.so.0(+0x7dc5) [0x7fc8a7e0bdc5] 10. /lib64/libc.so.6(clone+0x6d) [0x7fc8a56de76d] Помогает перезапуск серверов кликхауса, но спустя какое-то время ошибка повторяется.

Возникает проблема с шардингом Distributed. В структуре таблица с движком Distributed смотрит на два шарда time_application_method_distr. Но при вставке через эту таблицу данные на второй шард не попадают, а накапливаются в «/var/clickhouse/data/default/time_application_method_distr». В логах появляются ошибки: 2017.09.20 09:45:40.325499 [ 257 ] <Error> time_application_method_distr.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: Connection refused: (10.76.94.203:9000), e.what() = DB::NetException, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x28550d6] 1. clickhouse-server(DB::Exception::Exception(std::string const&, std::string const&, int)+0x1f) [0x286436f] 2. clickhouse-server(DB::Connection::connect()+0x98e) [0x2a2a07e] 3. clickhouse-server(DB::Connection::sendQuery(std::string const&, std::string const&, unsigned long, DB::Settings const*, DB::ClientInfo const*, bool)+0x124c) [0x2a2c93c] 4. clickhouse-server(DB::RemoteBlockOutputStream::writePrefix()+0x56) [0x2c49496] 5. clickhouse-server(DB::StorageDistributedDirectoryMonitor::processFile(std::string const&)+0x615) [0x2c16295] 6. clickhouse-server(DB::StorageDistributedDirectoryMonitor::findFiles()+0x10c) [0x2c17c4c] 7. clickhouse-server(DB::StorageDistributedDirectoryMonitor::run()+0x85) [0x2c18135] 8. clickhouse-server() [0x3198baf] 9. /lib64/libpthread.so.0(+0x7dc5) [0x7fc8a7e0bdc5] 10. /lib64/libc.so.6(clone+0x6d) [0x7fc8a56de76d] Помогает перезапуск серверов кликхауса, но спустя какое-то время ошибка повторяется.

есть подозрение, что ошибка может быть связана с тем, что у CH вечный DNS кеш. можете прислать конфигурацию кластера?

есть подозрение, что ошибка может быть связана с тем, что у CH вечный DNS кеш. можете прислать конфигурацию кластера?

<remote_servers> <stats_cloud> <shard> <weight>1</weight> <internal_replication>false</internal_replication> <replica> <host>dev-ch1</host> <port>9000</port> </replica> </shard> <shard> <weight>1</weight> <internal_replication>false</internal_replication> <replica> <host>dev-ch2</host> <port>9000</port> </replica> </shard> </stats_cloud> </remote_servers>

а можно в запросе к MaterializedView использовать условия where? и что будет если запрос вернет пустое множество из-за того что блок данных не прошел условие?

а можно в запросе к MaterializedView использовать условия where? и что будет если запрос вернет пустое множество из-за того что блок данных не прошел условие?

вы имеете в виду можно ли сделать что от вроде: SELECT id FROM MaterializedView_Name WHERE id>100 ?

да

да так можно

извините, я имел ввиду указать условие where при создании view

мы используем что-то типа 'CREATE MATERIALIZED VIEW IF NOT EXISTS x.x ENGINE = ReplicatedReplacingMergeTree() POPULATE AS SELECT * FROM x.y WHERE column > 0' и это работает

т.е create materialized view myview (id Int8, count text String) AS select id, text from t where id > 10;

Evgeniy - то что нужно, спасибо :)

А кто подскажет есть какой либо мануальчик по настройке мониторинга КХ в графане?

А кто подскажет есть какой либо мануальчик по настройке мониторинга КХ в графане?

есть же дашборд целый под CH

есть же дашборд целый под CH

Это понятно ) Он под prometheus, я даже нашел штуку которая данные дергает туда https://github.com/f1yegor/clickhouse_exporter, но только с одного сервера как я понял, еще не успел разобраться

Это понятно ) Он под prometheus, я даже нашел штуку которая данные дергает туда https://github.com/f1yegor/clickhouse_exporter, но только с одного сервера как я понял, еще не успел разобраться

У меня он напрямую с CH берет статистику

У меня он напрямую с CH берет статистику

Можно в личку обращусь с парой вопросов? )

Что бы тут не спамить

подзапросы во вьюхах сознательно не работают?

Commpadres! )) А есть дока как подключить графану или графит, чтобы видеть как сервер работает? спасибо)

в tabix есть, хочется еще что нить сделать )

Кх для этого не нужен

Всем привет. Кто-нибудь использовал движок Merge (не путать с движком MergeTree)? Пробую этот движок, создал Merge таблицу с маской, в которую попадает только одна таблица. Если просто count() без условий выполнять, то одинаковое время выполнения и bytes_read/rows_read. Но если какие-то сложные запросы с условиями выполнять, то работает на 30-50% медленнее, чем если делать селект из основной таблицы. Если смотреть статистику выполнения, то читается болший объем данных bytes_read на 30% больше, при этом rows_read такое же как и при селекте из основной таблицы. Может кто-нибудь знает почему bytes_read отличается, хотя по сути читается та же одна таблица?

Commpadres! )) А есть дока как подключить графану или графит, чтобы видеть как сервер работает? спасибо)

Я вот сегодня только настраивался по этому поводу. Доки никакой нет ) Ставишь в докере Graphana, Prometheus, https://github.com/f1yegor/clickhouse_exporter и закидываешь дашборд в графану, все.

Коллеги, ищу ответ на данный вопрос, автор его тоже не получил. Удаляет ли GraphiteMergeTree данные после окончания срока хранения по retention?

Подскажите по движку GraphiteMergeTree он удаляет старые данные которые по дате больше максимального retension или это руками нужно удалять патриции?

Коллеги, ищу ответ на данный вопрос, автор его тоже не получил. Удаляет ли GraphiteMergeTree данные после окончания срока хранения по retention?

В retention нет параметра "окончание срока хранения". Соответвенно и удалять по нему нельзя

угу... ага.. Спасибо

Всем привет. Проблема с temp табличками. не удается создать TEMP табличку через HTTP интерфейс, с юзера, у которого нет доступа к базе default http://ch0/ ?database=project1 &session_id=152c74ad&user= project1&password=pass POST: CREATE TEMPORARY TABLE temp1 AS SELECT 1 получаем Code: 291, e.displayText() = DB::Exception: Access denied to database default, e.what() = DB::Exception http://ch0/ ?database=project1 &session_id=152c74ad&user= project1&password=pass POST: CREATE TEMPORARY TABLE project1.temp1 AS SELECT 1 Получаем Code: 60, e.displayText() = DB::Exception: Table project1. temp1 doesn't exist., e.what() = DB::Exception

session_id нужен

таки есть &session_id=152c74ad&

после открытия доступа к БД default - все заработало

Такой вопрос -- есть кластер в клихаусе, кликхаусу подсунут один инстанс зукипера в конфиге. Захотели сделать кластер зукипера, пушто под нагрузкой он иногда кидает эксепшоны. Как безопасно мигрировать не протеряв все данные в кликхаусе, есть какой-то мануал/инструкция?

Дак просто завязываете кластер из зк и все. Ставите еще два инстанса и ниче не потеряется.

<remote_servers> <stats_cloud> <shard> <weight>1</weight> <internal_replication>false</internal_replication> <replica> <host>dev-ch1</host> <port>9000</port> </replica> </shard> <shard> <weight>1</weight> <internal_replication>false</internal_replication> <replica> <host>dev-ch2</host> <port>9000</port> </replica> </shard> </stats_cloud> </remote_servers>

ничего хорошего я не придумал, а конфиг кажется правильным. могу только предложить вызывать SYSTEM DROP DNS CACHE при возникновении проблем вместо перезапуска, и посмотреть, ушла ли проблема

Ну вот мы добавили две ноды в зк, зк выбрал лидером другую голую ноду без данных, в итоге восстанавливали данные из зк снапшота, возвращали одну ноду и рестартили кликхаус пушто он начал эксепшоны кидать в цикле, короче что-то пошло не так. Но мы не особо эксперты по зк и в целом могли накосячить

Господа, если есть нюансы с https://github.com/mymarilyn/clickhouse-driver это туда или сюда можно?

5 сек

Господа, если есть нюансы с https://github.com/mymarilyn/clickhouse-driver это туда или сюда можно?

Можете мне в личку, если хотите, я мейнтейнер

Changelog появиться в ближайшее время ?

Да, постараюсь добавить через несколько часов.

Всем привет! А как вы решаете запись событий пользователей, если он был не авторизован, а потом авторизовался. Вот интересно именно вот это сопоставление событий до и после авторизации.

Changelog появиться в ближайшее время ?

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md

Всем привет!

Какой движок лучше выбрать для записи котировок биржи в реальном времени?

Какой тип данных лучше использовать для времени сделки в микросекундах ?

DateTime тут не подходит

опс ссори в миллисекундах

uint64

Один UInt64: unix timestamp * 1000. Или два столбца: DateTime и ещё milliseconds UInt16.

Ок спасибо

Как в SQL формировать запрос по датам в случае Uint64 ?

select * from where <order datetime> > toDateTime(29-10-2017 12:23:00)*1000

toUInt64(toDateTime('2017-10-29 12:23:00'))*1000

или toUnixTimestamp

А обратно toDateTime(UnixTimestampInMillisec/1000) ?

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md

Ох и спасибо таки! Интересный чейнджлог, особенно sumMap

https://github.com/yandex/ClickHouse/blob/master/CHANGELOG_RU.md

Спасибо

Ну вот мы добавили две ноды в зк, зк выбрал лидером другую голую ноду без данных, в итоге восстанавливали данные из зк снапшота, возвращали одну ноду и рестартили кликхаус пушто он начал эксепшоны кидать в цикле, короче что-то пошло не так. Но мы не особо эксперты по зк и в целом могли накосячить

Я находил мануал в инете по скользящей миграции зк. Действовали по ней. К сожалению, перезапустить кликхаус всё равно пришлось

Надо сперва добавить новую ноду с новым номером, запустить её, пока кластер работает. Она скачет все данные. Затем, если надо, добавляете ещё одну, и ещё одну. Главное — следить, чтобы кворум не распался при удалении старых

Добрый день, есть таблица daily_statiscs_replicated её размер очень быстро растёт, там вся информация в построчном виде, не сгрупированная которые потом группируются и сжимаются, и её нужно очищать , но при этом хранить эту инфу за последний месяц, DELETE в click-house нет, подскажите пожалуйста как можно выйти из ситуации.

Добрый день, есть таблица daily_statiscs_replicated её размер очень быстро растёт, там вся информация в построчном виде, не сгрупированная которые потом группируются и сжимаются, и её нужно очищать , но при этом хранить эту инфу за последний месяц, DELETE в click-house нет, подскажите пожалуйста как можно выйти из ситуации.

удалять партиции не вариант?

удалять партиции не вариант?

как это можно сделать?

ALTER TABLE [db.]table DROP PARTITION 'name'

как это можно сделать?

Поискать в документации по слову партиция

ALTER TABLE [db.]table DROP PARTITION 'name'

спасибо, только вопрос как сделать это лучше когда у меня есть мастер и реплика?

на любом

на любом

если я на одном из них это сделаю, я не убью синхронизацию?

нет

более того, вы и писать можете в любой

Спасибо

Господа, а каков таймаут http запроса для получения словарей ?

а подскажите, Nullable что депрекейтнули?

а подскажите, Nullable что депрекейтнули?

его вроде пока не доделали еще

а то в 1.1.54236 таблица с Nullable создавалась а в 1.1.54289 уже не дает

я имею ввиду на create table