я сейчас костылю свою балалайку

по мотивам sqitch на базе ansible

но есть ощущение, что что зря так сделал

надо будет выносить на что-то более независимое

по мотивам sqitch на базе ansible

удобная штука

в логах множество записей вида: 2017.05.08 18:52:27.437686 [ 52 ] <Warning> mprobe.sccp_msu_sharded (StorageReplicatedMergeTree, CleanupThread): Couldn't remove 20170508_20170508_4220883_4220883_0 from ZooKeeper: no node Есть предположение от чего такое? что нужно с этим делать?

>а java разрабы не будет ставить себе php им нужен какой-то инструмент чтобы накатить и откатиь миграции так может они его сделают?

>а java разрабы не будет ставить себе php им нужен какой-то инструмент чтобы накатить и откатиь миграции так может они его сделают?

смысл в том чтобы наши миграции были единные. они захотели удалить поле - взяли миграцию создали запушили. мы её взяли и забрали и тоже выполнили на своей базы + своя миграция. единная миграционная система двух команд

ну можно CLI-утилитку на том же пхп сделать, вон phabricator (arcanist) как-то же используется непхпшниками

хз. буду думать

Ох, https://www.mapd.com/blog/2017/05/08/mapd-open-sources-gpu-powered-database/

Ох, https://www.mapd.com/blog/2017/05/08/mapd-open-sources-gpu-powered-database/

это реклама новой базы данных?) или что это - можно кратко посмотрел не понял

@milovidov_an Добрый вечер. Я вижу, Вы смотрели pull request. Там все нормально ?

Это просто mapd, оно действительно очень быстрое, но довольно узкоспециализированно.

Это просто mapd, оно действительно очень быстрое, но довольно узкоспециализированно.

быстрее чем кх ? )

Конечно, оно даже быстрее kdb

быстрее чем кх ? )

http://tech.marksblogg.com/benchmarks.html

http://tech.marksblogg.com/benchmarks.html

не успели с кх поработать а тут уже MapD ))

Только хотел эту ссылку :) по мне так кажется, что дотянуть КХ до схожих порядков можно создав engine с индексами в памяти. О чем я чуть выше писал.

Сейчас придут ребята с яндекс и забанят всех ))

не успели с кх поработать а тут уже MapD ))

Mapd это не новая технология. Ничего удивительного нет, если хранить данные в памяти gpu.

круто. но мы только вот вот переезжаем на прод кликхаус пока переписывали часть функционала

а вы тут со своим mapd )) может когда нибудь )))

я так понимаю через GPU это нехилые сервера нужны

Для gpu не нужны нехилые сервера.

я в плане дороговизны обработки через gpu

такие машинки не дешевые

Для gpu не нужны нехилые сервера.

для них нужны гпу по цене нехилых серверов)

Gpu не особо дорогие вроде. Около 4к.

намного дороже чисто процессорной обработки

если уже и переходить то из-за безысходности

осталось еще сюда цену mapd прибавить

и скалируется гораздо сложнее, но зато можно майнить битки во время простоя

и там он на теслах гоняет

которые по 800 тысяч руб стоят

за карточку

400-800

тесла за 800k всяк дешевле 20 лишних серверов

так у него там не одна карточка

если что )

и?

а 8

Ну xeon топовый вроде тоже под 3k.

энергетика тоже денег стоит

подозреваю что цена мапд

будет как 20 серверов )

как я понимаю mapd distributed вообще только появился (3.0) ? т.е. до этого было single machine

и вообще доступен только в их enterprise версии

But having said that, Mostak was willing to put some error bars on the top-end price. On a system with eight Tesla K80s, which might cost somewhere between $60,000 to $70,000, the license for the MapD stack would be “a small multiple” of this hardware cost.

Если посмотреть на тот блог, то видно, что в тесте после gpu идёт база на cpu с несильно отстающими результами.

а он с юмором

и скалируется гораздо сложнее, но зато можно майнить битки во время простоя

ыыыыы, звучит как отличный бизнес-план!

смысл в том чтобы наши миграции были единные. они захотели удалить поле - взяли миграцию создали запушили. мы её взяли и забрали и тоже выполнили на своей базы + своя миграция. единная миграционная система двух команд

Я в статье описал концепцию с миграциями, и открыл наш тулл для миграции - он не доделан но вполне рабочий... мы им пользуемся в проде. Он очень похож на анзибл и д.р инструменты, знаний php там не требуется, в git лежат правила. Каждое правило состоит из sql's которые накатываем и с список которые откатываем. php самый минимум в правилах/рецептах. Сейчас доработка не планируется - т.к ждем из коробки решения в самом CH

@milovidov_an Добрый вечер. Я вижу, Вы смотрели pull request. Там все нормально ?

Только 5 минут посмотрел. Всё ок, но нужна пара мелких исправлений. Наверное сам доведу, или коллега, на которого это назначено.

Hey

но у меня все равно возникает ошибка There is no column with name name_in_insert_table.

что-то не работает и по-разному, когда я переставляю колонки. в старой версии.

1.1.54159

DB::Exception: There is no column with name user_agent_device. There are columns: ts, event_id, event_type, ..., user_agent_browser, user_agent_browser_version, user_agent_device, user_agent_os

т.е. поиском в этом же сообщеини я ее нахожу

всем привет объясните за тему макросов?? https://clickhouse.yandex/reference_ru.html#Creating%20replicated%20tables ? можно ли все таки вместо имени реплики и id шарда что то использовать кроме как определять macros в каждом отдельном конфиге для каждого сервера?

Использовать макросы необязательно - можно просто писать ReplicatedMergeTree('/clickhouse/tables/table', 'replica1', ...). Даже zk-путь таблицы в принципе может быть любой (префикс /clickhouse/tables это соглашение).

Преимущество макросов в том, что DDL получается одинаковым на всех серверах.

уточню вопрос, то что хочется уникальный путь в пределах шарда, это понятно но может просто можно этот самый {shard} не из макросов брать? а через какой нибудь запрос из SELECT shard_id FROM system.clusters ??

Всё равно же придётся на основании чего-то вычислять номер шарда для конкретного хоста. Можно например на основании хостнейма. То есть получается что-то вроде ReplicatedMergeTree(concat('/clickhouse/tables/', someFunction(hostName()), '/table'), ...). Вы о таком говорите?

Уточню - сейчас так сделать нельзя :)

да, я об этом говорю

а нельзя как то macros.xml например сделать шаблоном? чтобы можно было например там значения переменных окружения использовать?? очень не хочется городить свой docker образ поверх стандартного

Алекс =) кстати мы с вами будет похоже вместе на clickhouse вопросы на stackoverflow отвечать =) я там подписался, чтобы доку чаще перечитывать, отвечая людям

Да, stackoverflow отличная платформа, надо нам активнее там отвечать.

С docker можно вот так поступить - замапить директорию с хост-системы в /etc/clickhouse-server/config.d/, и положить туда macros.xml каким-нибудь ansible-ом. Немного отходит от идеологии контейнеризации, ну да ладно.

а у вас там просто свой тег или отдельно как-то под проект получили свое место там?

Просто тег, насколько я знаю

https://stackoverflow.com/tags/clickhouse

странно а почему не работают подстановки? в /etc/clickhouse-server/config.xml стоит <macros incl="macros" optional="true"/> делаю /etc/clickhouse-server/macros.xml <?xml version="1.0"?><macros><shard>ru</shard><replica>clickhouse-ru-1.local</replica></macros> а в config-preprocessed.xml получаю вместо macros пустоту почему?

Подстановки выполняются из /etc/metrika.xml, а дополнительные файлики надо класть в /etc/clickhouse-server/config.d/

спасибо заработало но почему то падает при создании таблицы clickhouse-us-1.local_1 | 2017.05.09 13:34:59.661461 [ 5 ] <Debug> ga2clickhouse.hits_replicated (StorageReplicatedMergeTree): Creating table /clickhouse/tables/us/hits clickhouse-us-1.local_1 | /home/robot-metrika-test/jenkins/workspace/clickhouse-packages-build@2/sources/contrib/libtcmalloc/src/tcmalloc.cc:286] Attempt to free invalid pointer 0x7f127c972b60 clickhouse-us-1.local_1 | 2017.05.09 13:34:59.665835 [ 9 ] <Error> BaseDaemon: ######################################## clickhouse-us-1.local_1 | 2017.05.09 13:34:59.666192 [ 9 ] <Error> BaseDaemon: (from thread 8) Received signal Aborted (6). clickhouse-us-1.local_1 | 2017.05.09 13:34:59.668073 [ 9 ] <Error> BaseDaemon: 1. /lib/x86_64-linux-gnu/libc.so.6(gsignal+0x38) [0x7f127ee0e428] clickhouse-us-1.local_1 | 2017.05.09 13:34:59.668207 [ 9 ] <Error> BaseDaemon: 2. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0xa5) [0x33fb245] clickhouse-us-1.local_1 | 2017.05.09 13:34:59.668220 [ 9 ] <Error> BaseDaemon: 3. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f127f8be6ba] clickhouse-us-1.local_1 | 2017.05.09 13:34:59.668224 [ 9 ] <Error> BaseDaemon: 4. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f127eedf82d] clickhouse-us-1.local_1 | Aborted (core dumped)

ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/hits', '{replica}', date, cityHash64( userId), (trackerId, date, cityHash64(userId), timestamp), 8192) вот такое пытался создать

1.1.54198 версия сервера

Ужас какой. А так падает только при создании replicated таблиц с макросами/любых replicated таблиц/любых merge tree таблиц? Образ - официальный yandex/clickhouse-server? Ещё интересен конфиг docker-compose (через него же запускаете?) и полный CREATE TABLE. Ещё круто было бы достать core-файл и снять с него бэктрейс.

Можем переместиться в github issues, чтобы тут не флудить :)

Да сейчас попробую все достать и сделать issue

Возможно памяти не хватает в докере просто там 8 контейнеров в 2gb

Ну и я это дело пытаюсь с zetcd запустить вместо zookeeper

Вопрос: вопрос производительности buffer - хочется попытаться положить realtime данные через buffer без предварительной буферизации. Вопрос: где узкое место при таком подходе будет - парсинг? Может надо какой-то специфичный format указать?

всем привет подскажите, может у кого-либо есть опыт использования Druid в продакшене? Интересует сравнение с CH на маштабе 200 млрд событий/сутки, примерно. Либо может где-то уже есть сравнения, а я просто не могу найти?

всем привет подскажите, может у кого-либо есть опыт использования Druid в продакшене? Интересует сравнение с CH на маштабе 200 млрд событий/сутки, примерно. Либо может где-то уже есть сравнения, а я просто не могу найти?

Кажется что оно про разное совсем. Друид это в основном агрегатор, притом с отвратительным сообществом

А кликхаус - база данных для аналитики

ну не совсем про разное, на мой взгляд

Самолёт с картошкой тоже можно конечно сравнить, но смысл?

точных цифер не скажу, но я друид до прода не довел. было все слишком сложно и медленно(в сравнении с кх)

ну не совсем про разное, на мой взгляд

Совсем

Друид не предназначен для хранения сырых данных

А кх заточен под аналитику по сырым данным

Это разные подходы со своими особенностями

Всем привет! Подскажите, пожалуйста - а КХ читает все колонки, которые в подзапросе указаны? К примеру, select date,event,count() from (select date,event,url) as t group by date,event; В данном случае колонка url не нужна, будет ли она все-таки прочитана? Судя по тестам - да, она читается. Хотелось бы просто уточнить этот момент. Благодарю.