Коллеги Вопрос не по CH, а больше пл концепция БД. Так что не кидайте тряпками. Какую БД посоветуете для хранения текстовых конфиг файлов? Нужно сделать распределенную систему выполнения задач, а для каждой задачи нужен уникальный конфиг. Хочу на базе zmq отдавать воркерам key для доступа к db

ElasticSearch

Коллеги Вопрос не по CH, а больше пл концепция БД. Так что не кидайте тряпками. Какую БД посоветуете для хранения текстовых конфиг файлов? Нужно сделать распределенную систему выполнения задач, а для каждой задачи нужен уникальный конфиг. Хочу на базе zmq отдавать воркерам key для доступа к db

Кажется что под такое можно прикрутить zookeeper/etcd/consul

ElasticSearch

Да, уже думал об этом. Но записи с тем же индексом возможно придётся обновлять

Кажется что под такое можно прикрутить zookeeper/etcd/consul

Проще mesos Но ворос доступа воркеров к конфагам он не решает

@mangoat ну я к тому что у означенных выше систем все же какие-то намеки на consistency в отличии от ES. А как часто нужно конфиги менять?

Раз в неделю Раз в месяц

Не часто

Раз в неделю Раз в месяц

а что мешает их раскладывать puppet/salt/chef/ansible'ами всякими?

и генерировать по темплейту

Хочу утилизировать ноды динамический. Чтобы не пропала работа, если нода умрет

Воркер пришёл : отдали запись Он выполнил работу и отчитался

ну короче мне с ходу кажется что либо означенные выше zk/etcd/consul либо configuration management напрягать

Спасибо

Начну все же с мезоса

))

Подскажите, если ограничение на количество которое можно заисертить в ReplacingMereTree ? cтолкнулся с тем что не могу сделать инсерт 668943518 строк из одной базы в другую. вторая соответсвенно ReplacingMereTree вставилось только 35456497 и все. диск с которого идет чтение уходит под 100% утилдизации диск на который пишу, даже не напрягся. один всплеск утилизации только, при чем долгое время команда select insert еще работает, но кол. строк во второй базе не меняется. потом это дело падает. Следует отметить что в данных которые я лью во вторую находится порядка 10млн бублей.

данные вытягиваю из распределенной таблици. выполяню все на одном сервере. ReplacingMereTree таблица лежит на ссд и прокинута через симлинк в каталог кликхауса

собственно ошибка Code: 210. DB::NetException: Connection reset by peer while writing to socket (192.168.1.143:9000) Code: 75. DB::Exception: Cannot write to file (fd = 1), errno: 32, strerror: Broken pipe

Проблема явно в чтении, а не в записи

И нет, в ClickHouse нет ограничения на число передаваемых бублей

разбил инсерт на подинсерты: отдельно инсертиться каждый час дня. и все нормально идет, нагрузка на винт с которого идет чтение в 3 раза меньше. даже в 4 раза.

Добрый день. Есть таблица user_properties с набором полей uuid, createdAt, name, age, region. В эту таблицу вносятся пользователи (их свойства). И вот теперь я хочу извлечь по каждому пользователю последние правки (то есть строку со всеми значениями столбцов, которая добавлялась последней) Хотел попробовать это сделать с использованием limit N by. Написал такой запрос: select uuid, createdAt, name, age, region from user_properties order by createdAt limit 1 by uuid Но при выполнении падает сам сервер БД (докер контейнер останавливается), что как-то странно. В таблице всего 4 строки. ClickHouse server version 1.1.54189

Таблица создавалась таким образом: CREATE TABLE IF NOT EXISTS user_properties ( uuid String, createdAt DateTime, name String, age UInt8, birth DateTime, region String ) ENGINE=File(Native);

Всем привет! Поддерживает ли http-интерфейс запросы без content-length?

Резонный вопрос - с какой целью?

Всем привет! Поддерживает ли http-интерфейс запросы без content-length?

Да, вроде бы все должно работать clickhouse-client -n -q "drop table if exists ui8; create table ui8 (i UInt8) ENGINE = Log" cat /dev/urandom | head -c 500000 | curl --raw -v --request POST --no-buffer --include --header "Transfer-Encoding: chunked" 'http://127.0.0.1:8123/?query=INSERT%20INTO%20ui8%20FORMAT%20RowBinary' --data-binary @- clickhouse-client -q "select count() from ui8"

потоковая отправка?

А как силами PieChart отрисовать вручную заданный SQL запрос к ClickHouse?

через конструктор - вышло, вручную - отвалвиается :( хотя alias указываю верно

Всем привет! А где можно почитать рекомендации по оптимальному железу для кластера CH. К сожалению нет опыта запуска собственных кластеров СУБД - сейчас живет инсталляция AWS Redshift, а там железо предопределено.

https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt

Спасибо Правильно понимаю что для малой интенсивности select (сотни в час) можно использовать 32 Gb ram а не 128 как в рекомендации?

Память связана обычно не с интенсивностью, а с запросами и ожидаемым временем выполнения

1. Память отжирается самим запросом - скажем, если есть group by по ключу высокой кардинальности

2. Память используется файловой системой под кэш, это влияет на скорость ответа по активно запрашиваемым/записываемым данным

То есть, в зависимости от задачи, 32 Gb может быть вполне достаточно.

да, все верно, в примерах нет обработки ошибок, например https://github.com/kshvakov/clickhouse/blob/master/examples/simple.go#L42 , если Prepare вернет ошибку, то и statement будет nil и Exec/Query будут падать при обращении к нему. Чуть позже добавлю обработку ошибок в примеры чтоб небыло подобных проблем

Кирилл, добавьте, пожалуйста, работу с условиями вида ()?():(), если это еще не исправлено

А вот https://events.yandex.ru/events/meetings/13-apr-2017/

Кирилл, добавьте, пожалуйста, работу с условиями вида ()?():(), если это еще не исправлено

ok, на днях постараюсь исправить

всем привет! подскажите, а есть аналог DATE_TRUNC ?

https://clickhouse.yandex/reference_en.html#toStartOfDay отсюда и ниже

toRelativeWeekNum - что имеется в виду под "from a certain fixed point in the past" ? както задается точка отсчета?

toRelativeWeekNum - что имеется в виду под "from a certain fixed point in the past" ? както задается точка отсчета?

номер недели с 1 января 1970 года

спасибо!

Добрый день! Возникла проблема с Nullable столбцом. SELECT count(*) FROM ( SELECT page_content_id, session_id FROM test.events WHERE (name = 'impression') AND (initiator = 'page') AND (page_type = 'content') AND (page_content_id != NULL) ) ANY LEFT JOIN ( SELECT page_content_id, session_id FROM test.events WHERE (name = 'impression') AND (initiator = 'section') AND (section_type = 'description') AND (page_content_id != NULL) ) USING (page_content_id, session_id) Received exception from server: Code: 68. DB::Exception: Received from localhost:9001, ::1. DB::Exception: Cannot get sizeOfField() for column ColumnNullable(ColumnVector<Int32>). 0 rows in set. Elapsed: 0.031 sec. page_content_id - это Nullable(Uint32) . Использую replacingMergeTree. Можете подсказать возможные решения? Может быть можно привести к UInt32

Добрый день! Возникла проблема с Nullable столбцом. SELECT count(*) FROM ( SELECT page_content_id, session_id FROM test.events WHERE (name = 'impression') AND (initiator = 'page') AND (page_type = 'content') AND (page_content_id != NULL) ) ANY LEFT JOIN ( SELECT page_content_id, session_id FROM test.events WHERE (name = 'impression') AND (initiator = 'section') AND (section_type = 'description') AND (page_content_id != NULL) ) USING (page_content_id, session_id) Received exception from server: Code: 68. DB::Exception: Received from localhost:9001, ::1. DB::Exception: Cannot get sizeOfField() for column ColumnNullable(ColumnVector<Int32>). 0 rows in set. Elapsed: 0.031 sec. page_content_id - это Nullable(Uint32) . Использую replacingMergeTree. Можете подсказать возможные решения? Может быть можно привести к UInt32

Работа JOIN для Nullable столбцов не реализована. Если интересно - я её добавил как раз вчера. Чтобы обойти сейчас, попробуйте в подзапросах написать ifNull(page_content_id, 0) AS page_content_id, ifNull(session_id, 0) AS session_id Во вторых замечу, что писать x != NULL не имеет смысла. Надо x IS NOT NULL.

Алексей, большое спасибо!

Вопрос, а джоин будет в следующей версии работать только между двумя Nullable или между Nullable(<Type>) и <Type> тоже?

Добрый день. Есть таблица user_properties с набором полей uuid, createdAt, name, age, region. В эту таблицу вносятся пользователи (их свойства). И вот теперь я хочу извлечь по каждому пользователю последние правки (то есть строку со всеми значениями столбцов, которая добавлялась последней) Хотел попробовать это сделать с использованием limit N by. Написал такой запрос: select uuid, createdAt, name, age, region from user_properties order by createdAt limit 1 by uuid Но при выполнении падает сам сервер БД (докер контейнер останавливается), что как-то странно. В таблице всего 4 строки. ClickHouse server version 1.1.54189

Нет group by?

Вопрос, а джоин будет в следующей версии работать только между двумя Nullable или между Nullable(<Type>) и <Type> тоже?

Будет и так и так.

Нет group by?

Всё равно должно работать. Надо посмотреть логи сервера.

Работа JOIN для Nullable столбцов не реализована. Если интересно - я её добавил как раз вчера. Чтобы обойти сейчас, попробуйте в подзапросах написать ifNull(page_content_id, 0) AS page_content_id, ifNull(session_id, 0) AS session_id Во вторых замечу, что писать x != NULL не имеет смысла. Надо x IS NOT NULL.

К сожадению ifNull(page_content_id, 0) AS page_content_id - не сработало. Видимо т.к. к другому типу не приводится. Сработал быдло-хак с преобразованием к String и фильтрацией по isNotNull, но видимо он не очень оптимально работает внутри движка

а функция rowNumberInAllBlocks, возвращает номер строки во всех "прочитаннах" блоках или же во всех, что есть в таблице?

по результату выполнения кажется, что во всех прочитанных. и вопрос, почему если что-то указать в where то rowNumberInAllBlocks() вернет занчения начиная с единицы, а если ничего не указывать, то начиная с 0.

При вставке в формате JSONEachRow теряются значения обрамленные в <> пробовал экранировать: \<value\> - не помогает INSERT INTO table FORMAT JSONEachRow {"date":"2017-02-22","subject":"value1 <value2>","customFields":["List-Unsubscribe:<http://www.domain.com?u=blabla>","X-Mailer-SID:2007"]} в subject будет только value1 в customFields будет: List-Unsubscribe:,X-Mailer-SID:2007

При вставке в формате JSONEachRow теряются значения обрамленные в <> пробовал экранировать: \<value\> - не помогает INSERT INTO table FORMAT JSONEachRow {"date":"2017-02-22","subject":"value1 <value2>","customFields":["List-Unsubscribe:<http://www.domain.com?u=blabla>","X-Mailer-SID:2007"]} в subject будет только value1 в customFields будет: List-Unsubscribe:,X-Mailer-SID:2007

Отвечаю сам себе, может еще кто на такое наткнется. Проблема оказалась в http://guiclickhouse.smi2.ru/, в самом клиенте все отлично.

Добрый день, подскажите пожалуйста есть статистика на 40 млн записей. каждый месяц растет на 10-15 млн. в будущем может достичь до 100 млн в месяц. До текущего времени мы использовали MySql выбирали только группировали определенные данные и записывали в кеш память, но запись стала очень медленной до 5 мин. ну и дальше все будет хуже. выбрали clickhouse. Какой лучше engine использовать для хранения такой статистики? (в mysql мы его прошардировали по месяцам - статистика за каждый месяц)

mergetree

mergetree

а почему не Distributed ?

mergetree

нам надо распределенно обрабатывать запросы

а потому что > Движок Distributed не хранит данные самостоятельно, ... Движок Distributed принимает параметры: имя кластера в конфигурационном файле сервера, имя удалённой базы данных, имя удалённой таблицы

а потому что > Движок Distributed не хранит данные самостоятельно, ... Движок Distributed принимает параметры: имя кластера в конфигурационном файле сервера, имя удалённой базы данных, имя удалённой таблицы

я про этот engine не особо понял принцип его работы. select будем делать постоянно и вставку новых данных тоже

а данные храниться будут как раз в *MergeTree-таблицах. Можно ReplicatedMergeTree.

а данные храниться будут как раз в *MergeTree-таблицах. Можно ReplicatedMergeTree.

а как распределить запросы в mergtree таблицы? или это настройка самого кликхауса?

а как распределить запросы в mergtree таблицы? или это настройка самого кликхауса?

Создаешь Distributed таблицу, которая ссылается на все эти MergeTree-таблицы, все insert/select будут автоматически распределяться на нужные тачки

в смысле - распределить? делаете mergetree таблицу на сервере1, делаете mergetree таблицу на сервере2 делаете distributed таблицу на сервере0, которая будет смотреть на таблицы выше делаете запросы в distributed-таблицу на сервере0 вес шардов можно указать в конфиге

насчет INSERTов - можно делать инсерты напрямую в mergetree таблицы (надо будет разруливать самим, че куда запишется) можно инсертить сразу в distributed, тогда КХ будет разруливать сам, какие данные куда запишутся

Ребяты, кто-нибудь сталкивался с такой ошибкой: есть 100+ словарей, часть прогружается, а на остальные такая ошибка Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = No thread available, e.what() = No thread available Залез в код, написано 16 потоков в тредпуле доступно, но можно пул расширять вроде как, но как и почему это не делается внутренними средствами - хз

а данные храниться будут как раз в *MergeTree-таблицах. Можно ReplicatedMergeTree.

наша статистика сейчас разбита на 5 таблиц по месяцам статистики. общее кол. записей около 40 млн где-то. стоит ли это класть в одну таблицу? если каждый месяц +10-50 млн будет дописываться. Пока мы проводим эксперемент и у нас пока 1 сервер на amazon. на одном сервере не получится настроить распределенние запросов?

а вам шардирование прям очень нужно? вроде масштабы не такие большие, сделайте реплики и норм

всё в одну таблицу, конечно

Отвечаю сам себе, может еще кто на такое наткнется. Проблема оказалась в http://guiclickhouse.smi2.ru/, в самом клиенте все отлично.

Попробуйте в новой версии Tabix.io , если проблема сохранится, поставьте issue , поправлю

вообще, distributed для такого не нужен; если вам хочется разбивать данные на разные таблицы, можно движком Merge (не MergeTree) воспользоваться, он просто локально будет склеивать данные из нескольких таблиц а на одном сервере будет достаточно одной MergeTree таблицы и всё

У MergeTree обязательно должен быть столбец с датой, данные разбиваются по месяцам этой даты как раз

вообще, distributed для такого не нужен; если вам хочется разбивать данные на разные таблицы, можно движком Merge (не MergeTree) воспользоваться, он просто локально будет склеивать данные из нескольких таблиц а на одном сервере будет достаточно одной MergeTree таблицы и всё

100 млн записей в месяц. если предположить.. 1.2 млрд в год одна таблица это норм?

Ребяты, кто-нибудь сталкивался с такой ошибкой: есть 100+ словарей, часть прогружается, а на остальные такая ошибка Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = No thread available, e.what() = No thread available Залез в код, написано 16 потоков в тредпуле доступно, но можно пул расширять вроде как, но как и почему это не делается внутренними средствами - хз

Можно попробовать увеличить пул потоков в настройках. Сейчас это не очень удобно делается, в default профиле. <yandex> <!-- Profiles of settings. --> <profiles> <!-- Default settings. --> <default> <background_pool_size>25</background_pool_size> ...

100 млн записей в месяц. если предположить.. 1.2 млрд в год одна таблица это норм?

Это очень мало для КХ

100 млн записей в месяц. если предположить.. 1.2 млрд в год одна таблица это норм?

ваще фигня

за 1 сек выборка через group by where выполнится?

вернее не так. sum(clicks) group by field where in (пару айдишек)

если индекс есть по field то да

понял. окей, а если понадобится распределенно запросы выполнять потом это добавить быстро ?

да

Можно попробовать увеличить пул потоков в настройках. Сейчас это не очень удобно делается, в default профиле. <yandex> <!-- Profiles of settings. --> <profiles> <!-- Default settings. --> <default> <background_pool_size>25</background_pool_size> ...

Спасибо, Дмитрий! Попробую

то есть просто создаю таблицу statistics с engine mergeTree

дя

создаю схему. пишу скриптик который перегонит из mysql в clickhouse по открытому http

и все вроде

? )

дя

если нет столбца "даты" в мускульных данных, так или иначе придется создать можете заполнять дату из скриптика, можете повесить это на кликхаус, пофигу. если решите повесить на кликхаус, то в схеме помимо столбца с датой-временем (типа такого:) timestamp DateTime создайте столбец date Date DEFAULT toDate(timestamp) а когда скриптиком будете данные вставлять, делайте инсерт, не указывая вообще столбец date. тогда он заполнится сам на основе значения из столбца timestamp

хотел бы еще поинтерисоваться читаю доку не могу понять данного набора полей MergeTree(EventDate, intHash32(UserID), (CounterID, EventDate, intHash32(UserID)), 8192) у меня в таблице уже есть поле date в виде timestamp 1) оно может быть использовано в качестве обяз. поля EventDate ? 2) UserID это для чего ?