сейчас насколько я понимаю, кликхаусу нельзя скормить 24 3Тб жестких диска, чтобы он самостоятельно разместил данные на них равномерно.

сейчас насколько я понимаю, кликхаусу нельзя скормить 24 3Тб жестких диска, чтобы он самостоятельно разместил данные на них равномерно.

а чем аналог из md не устроит?

кажется использовать зфс чтобы объединить диски это оверкилл

всем привет. полечите по фотографии пожалуйста. КХ жрёт проц как не в себя, в show processlist висят инсёрты, приложение легло. Как понять, почему инсёрты висят?

в логах что-то непонятное, щас на пастебин выложу

место на диске есть

https://pastebin.ca/3828789

sudo perf top что показывает?

в логах ошибки просто означают, что селекты тормозят и не укладываются во временной лимит

есть какой-нибудь аналог эксплэйна мускулевского?

Неким аналогом является то, что в логе после <Debug> executeQuery: Query pipeline:. Но эта информация обычно имеет мало ценности, потому что запрос почти однозначно преобразуется в план.

сейчас насколько я понимаю, кликхаусу нельзя скормить 24 3Тб жестких диска, чтобы он самостоятельно разместил данные на них равномерно.

md в этом месте кажется более удачным решением. В десятку его со sparse 2 — и красота

нуда 32 харда в рейд 10. мистер бесконечные деньги:)

Кто-нибудь использовал Clickhouse в Laravel5? Как поступили с миграциями?

Мы напилили свой элоквент билдер и свой клиент. Могу на гитхаб вывалить. Для миграций простой query runner через artisan. Список серверов настраивается через конфиг. Не стали мудрить с грамматикой и прочим в их схеме с миграциями.

всем привет, собираю стату по кликам, нужно пометить через некоторое время конверсионный, по сути нужен апдейт по номеру клика одного поля как тут лучше быть?

выше спрашивал почему зфс

а не md или что-то еще

основная проблема не отсуствие возможности объединенное блочное устройство сделать, для этого есть lvm, dm, md и аппаратные рейды

скорее вопрос в том, какую файловую систему ставить поверх этого 10-60 терабайтного блочного устройства

ext4 и прочие - идут мимо. был приятный опыт недельного fsck в оффлайн режиме на 20тб, больше не хочется :)

а ZFS On Linux с центосом 6 и 7м прекррасно хранил по 60 тб без единой проблемы почти 3 года, но это были бэкапы с довольно своеобразным паттерном записи (в основном последовательная)

отсюда и вопрос, был у кого опыт или нету)

Могу соврать, но у нас на сколько я помню часто ставят xfs на дисковые полки. Но это не для КХ.

вполне возможно, но все равно на таких объемах файловую систему без self-healing как зфс страшно :(

XFS я как-то совершенно упустил из практики, лет 7 назад были потери данных, а после этого "осадок остался" и везде был экст3 ну и потом экст4, с сопутствующим им приколами

вот никак не могу найти ответ в мануале: а почему count() возвращается в json как строка?

uint64/int64 по умолчанию сериализуется в json как строка чтобы не ломаться у людей без целых 64-битных типов. отключается настройкой output_format_json_quote_64bit_integers

Мы напилили свой элоквент билдер и свой клиент. Могу на гитхаб вывалить. Для миграций простой query runner через artisan. Список серверов настраивается через конфиг. Не стали мудрить с грамматикой и прочим в их схеме с миграциями.

Выложите пожалуйста

Выложите пожалуйста

Сегодня точно выложу клиент, который можно использовать отдельно. Пока там нет поддержки —external файла для использования в условиях where in / not in, но в ближайшие пару дней добавим. Билдер элоквента сегодня в течение дня постараемся покрыть тестами и тоже выложить на гитхаб.

Всем привет! Не появился еще odbc под windows?

сейчас постоянно сыпит такое в лог: 2017.06.07 11:19:08.089529 [ 13 ] <Error> mprobe.sccp_msu_sharded (StorageReplicatedMergeTree): checkPartAndAddToZooKeeper: node /clickhouse/tables/s3_r2_03/mprobe/sccp_msu_sharded/replicas/xdray-9/parts/20170607_20170607_3608084_3614891_1627 already exists 2017.06.07 11:19:08.096770 [ 13 ] <Error> DB::StorageReplicatedMergeTree::queueTask()::<lambda(DB::StorageReplicatedMergeTree::LogEntryPtr&)>: Code: 235, e.displayText() = DB::Exception: Part 20170607_20170607_3608084_3614891_1627 already exists, e.what() = DB::Exception, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x27a44c6] 1. clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x1f) [0xfe082f] 2. clickhouse-server(DB::MergeTreeData::renameTempPartAndReplace(std::shared_ptr<DB::MergeTreeDataPart>&, SimpleIncrement*, DB::MergeTreeData::Transaction*)+0xee3) [0x28cee63] 3. clickhouse-server(DB::StorageReplicatedMergeTree::fetchPart(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, bool, unsigned long)+0x3a3) [0x288ee83] 4. clickhouse-server(DB::StorageReplicatedMergeTree::executeLogEntry(DB::ReplicatedMergeTreeLogEntry const&)+0x7b7) [0x28903a7] 5. clickhouse-server() [0x289362e] 6. clickhouse-server(DB::ReplicatedMergeTreeQueue::processEntry(std::function<std::shared_ptr<zkutil::ZooKeeper> ()>, std::shared_ptr<DB::ReplicatedMergeTreeLogEntry>&, std::function<bool (std::shared_ptr<DB::ReplicatedMergeTreeLogEntry>&)>)+0x3b) [0x293e08b] 7. clickhouse-server(DB::StorageReplicatedMergeTree::queueTask()+0x132) [0x28735d2] 8. clickhouse-server(DB::BackgroundProcessingPool::threadFunction()+0x3cc) [0x28b9b9c] 9. clickhouse-server() [0x3174adf] 10. /lib64/libpthread.so.0(+0x7dc5) [0x7f083e96bdc5] 11. /lib64/libc.so.6(clone+0x6d) [0x7f083c23d21d] При этом данные вроде доступны. Есть идеи что с этим делать?

привет! нужно округление времени до границы в 20 минут (как timeSlot, только 20 минут) (и за этот интервал буду брать среднее значение value) intDiv(ts, 1200) будет прекрасно работать или у timeSlot есть какая-то дополнительная магия (типа преагрегации)?

Коллеги, а что обычно делают, когда на двух репликах получилось разное кол-во строк

ну и сыпится постоянно вот та ошибка, что выше приведена?

привет. столкнулся со странной ошибкой. запрос такой: SELECT screen_name, count(*) FROM ( SELECT screen_name, session_id, event_time FROM analytics.apps_clickstream LIMIT 2 BY session_id ) GROUP BY screen_name LIMIT 50 фейлится с ошибкой DB::Exception: Not found column session_id in block. There are only columns: screen_name, e.what() = DB::Exception подзапрос при этом выполняется и отображает все колонки.

можешь по-другому это сделать:

select screen_name, uniqExact((session_id, event_time)) from analytics.apps_clickstream group by screen_name

так не лучше?

так не лучше?

да это я для примера такой запрос сделал, чтобы показать проблему. изначальная задача вообще определить второй экран в сессии. )

Кстати в КХ есть неприятный баг, который неправильно оптимизирует запрос и выкидывает какие то блоки данных

Мне из-за этого пришлось считать среднеквадратичное отклонение на прикладном уровне блин...а там бывает по 100 000 строк в результате запроса

Кстати в КХ есть неприятный баг, который неправильно оптимизирует запрос и выкидывает какие то блоки данных

а ты уже создал issue на github для этого?

Нет еще, руки не дошли, но в гугл группах мне кто-то из команды КХ подсказал как этот баг обойти, но этот костыль не всегда работает

Нет еще, руки не дошли, но в гугл группах мне кто-то из команды КХ подсказал как этот баг обойти, но этот костыль не всегда работает

так все-таки пусть руки дойдут ? Просто наверняка многие с этим столкнуться/сталкивались.

Да, я думаю многие, но никто еще не написал ) В течение пары часов постараюсь добраться и описать баг

Да, я думаю многие, но никто еще не написал ) В течение пары часов постараюсь добраться и описать баг

Спасибо!

Кстати в КХ есть неприятный баг, который неправильно оптимизирует запрос и выкидывает какие то блоки данных

Речь про Float в первичном ключе или что-то другое?

Нет, есть у меня запрос в котором есть несколько вложенных подзапросов. И поверх всех типа select * from (куча подзапросов вложенных). Дак вот самый верхний ругается мол "column learnerHash not found in block"

Хотя если сделать select *, count(learnerHash) from (куча подзапросов вложенных), то все ок

а джойнов нет? звездочка только по левой таблице столбцы выбирает

Речь про Float в первичном ключе или что-то другое?

https://groups.google.com/d/msg/clickhouse/tzLZG-FWbvE/siX-Df9tBAAJ вот тут я описывал проблему

а джойнов нет? звездочка только по левой таблице столбцы выбирает

Есть и джоины. Про звездочку не знал, но там не в это дело. learnerHash изначально имеется в левой таблице

а. хм. прикольно

Например даже если я делаю select median(duration) from (куча подзапросов вложенных) то валится ошибка

А если к медиане припишу еще count(learnerHash), то все ок работает )

Речь про Float в первичном ключе или что-то другое?

Мне там Николай Кочетов ответил как решить проблему, но это решение не всегда работает и не всегда удобно его использовать в запросах

Ребят, а есть простой способ пронумеровать строки в выводе?

rowNumberInAllBlocks() только лучше основной запрос обернуть в подзапрос (а эту функцию запихнуть снаружи) и ORDER BY timestamp какой-нибудь в подзапросе указать, но могу ошибаться

Всем привет! Не появился еще odbc под windows?

https://github.com/yandex/clickhouse-odbc/releases

rowNumberInAllBlocks() только лучше основной запрос обернуть в подзапрос (а эту функцию запихнуть снаружи) и ORDER BY timestamp какой-нибудь в подзапросе указать, но могу ошибаться

спасибо! то что нужно

rowNumberInAllBlocks() только лучше основной запрос обернуть в подзапрос (а эту функцию запихнуть снаружи) и ORDER BY timestamp какой-нибудь в подзапросе указать, но могу ошибаться

это же не будет нумерацией строк в выводе. в CH аналога оконной row_number() over () нет, насколько я помню

Добавил презентацию с РИТ++: https://github.com/yandex/clickhouse-presentations/tree/master/rit2017

Для опытных пользователей нового мало, но есть красивые схемки

это же не будет нумерацией строк в выводе. в CH аналога оконной row_number() over () нет, насколько я помню

сорри, перепроверил с подзапросом. действительно, работает.

combot.org/chat/-1001080295593

Ребят, подскажите, пожалуйста, где почитать как развернуть свой tabix proxy

Добавил презентацию с РИТ++: https://github.com/yandex/clickhouse-presentations/tree/master/rit2017

Запостил issue в гитхаб по поводу бага с которым я столкнулся https://github.com/yandex/ClickHouse/issues/859

Всё-таки не блоки, а столбцы :)

Если бы ещё и строки выкидывались, это гораздо серьёзнее баг

Ребят, подскажите, пожалуйста, где почитать как развернуть свой tabix proxy

https://tabix.io/doc/Install/

https://tabix.io/doc/Install/

клиент - tabix - ch без прямого коннекта к ch не работает

вкладка tabix.server интересует

в данном клиенте. Она работает через tabix.proxy

а доков по нему нет, не официальных, не подпольных. Ни кто не задавался вопросом? Чтобы не открывать порты clickhouse наружу

Tabix.Server - это закрытая пока разработка, она не в паблике и сильно не доделана Если нужно прикрыть СH могу посоветовать nginx в котором proxypass на ch. но сам такое не использовал еще

у нас такое используется примерно так

location /api/v666 { proxy_pass http://localhost:8123; proxy_redirect off; proxy_set_header Host $host; proxy_set_header Authorization "Basic tralala"; }

tabix на location можно посадить или обязательно с отдельным server_name?

нужно пробовать, я использую ui.tabix.io )

tabix на location можно посадить или обязательно с отдельным server_name?

Без разницы. Главное скопировать с архива папку с сайтом tabix. Там все достаточно просто

Вывалил на github клиент для CH на PHP. https://github.com/the-tinderbox/ClickhouseClient

тру!

Планировал сегодня выложить билдер запросов в CH для Laravel/Lumen, но к сожалению нам не удалось завершить его сегодня. Полагаю до конца недели мы с ним закончим и выложу на гитхаб.