а чтобы партиции из MV удалить нужно использовать в запросе имя inner таблицы или можно напрямую через MV ?

Всем привет, а почему иногда возникает ошибка EOF при вставке и как ее можно избежать?

Вставка из файла?

Через http интерфейс?

Из go-клиента по http

Вставляете в каком формате? Values или CSV|TSV?

Вообще вот таким образом через либу - https://github.com/roistat/go-clickhouse/blob/master/helpers.go#L44

Vladimir мне больше нравится https://github.com/kshvakov/clickhouse/ эта либа, она на нативном интерфейсе

и немного более понятная

в работе

Да, вот уже переезжаем на нее. Я думал может это проблема с другим связана.

у меня http интерфейс довольно стабильно работал, но я им пользовался только в 1 проекте и напрямую

Извините за оффтоп. Может кто-то в курсе от чего яндекс метрика упала?

Такое же было! Периодически терялся коннект и выкидывалась ошибка EOF. По логам клика будто запроса и не было, поэтому решили ретраить такие запросы и всё стало ок.

Такое же было! Периодически терялся коннект и выкидывалась ошибка EOF. По логам клика будто запроса и не было, поэтому решили ретраить такие запросы и всё стало ок.

Да, отправляем заново конечно данные на вставку, но все же, ошибка смущает)

Да, отправляем заново конечно данные на вставку, но все же, ошибка смущает)

а сеть смотрели?

а что с ней может быть не так на протяжении всего времени?

а что с ней может быть не так на протяжении всего времени?

ну если это арендованная виртуалка где нибудь за границей, то вполне могут быть и потери пакетов и все прелести

ну если это арендованная виртуалка где нибудь за границей, то вполне могут быть и потери пакетов и все прелести

AWS classic load balancer стоит. От клиента до базы потерь не было при тестах. Ок, если что посмотрим в эту сторону тоже

AWS classic load balancer стоит. От клиента до базы потерь не было при тестах. Ок, если что посмотрим в эту сторону тоже

Ситуацию легко воспроизвести?

Она периодически появляется. А в чем еще может быть проблема, что вставка происходит секунд 15-20? Вставка чаще чем 1rps.

Она периодически появляется. А в чем еще может быть проблема, что вставка происходит секунд 15-20? Вставка чаще чем 1rps.

как себя сервер чувствует? Возможно идет очень много мержей

так вот, про план. Его от хорошей жизни не начинают искать. есть два простых запроса, которые процессят разное кол-во строк: select * from table where timestamp >= toDateTime('2017-07-03 18:21:55') -- Processed 2.49 million rows select * from (select * from table) where timestamp >= toDateTime('2017-07-03 18:21:55') -- Processed 4.97 million rows фильтр времени для экспериментов выбран примерно на avg(timestamp) если не срезать вложенные запросы каким-нибудь фильтром заранее, начинает процесситься вся таблица, и от этого становится больно использовать огромные сложные вьюхи, т.к. окончательные фильтры обычно попадают в конец запроса. Есть Issue на эту тему, или какой-нибудь способ сделать кликхаус быстрым снова?

filter pushdown все хотят.

filter pushdown все хотят.

Очень

где можно лайк за эту фичу поставить?

как себя сервер чувствует? Возможно идет очень много мержей

2017.07.04 12:28:15.101874 [ 2149277 ] <Error> db.track_sharded (Merger): Part 20170618_20170619_263693_359362_3578 intersects previous part 20170605_20170618_200_272963_2057 Да, вот такие ошибки сыпятся.

Попробуйте писать в буферную таблицу

Такая проблема была в старых версиях с таблицами типа MergeTree, при частых INSERT-ах. В новых версиях проблема исправлена. Тем не менее, если раньше возникла ситуация "... intersects previous part", то она останется и после обновления. Исправить до конца можно путём пересоздания таблицы и INSERT SELECT в неё.

а какая новая версия? Как узнать в какой было исправлено? Просто у нас есть и новые таблицы с такими же ошибками

2017.07.04 12:40:00.854739 [ 2149477 ] <Warning> statistics_939.track_sharded (StorageReplicatedMergeTree, CleanupThread): Couldn't remove 20170704_20170704_68927_68927_0 from ZooKeeper: no node 2017.07.04 12:40:00.862021 [ 2149477 ] <Warning> statistics_939.track_sharded (StorageReplicatedMergeTree, CleanupThread): Couldn't remove 20170704_20170704_68925_68925_0 from ZooKeeper: no node 2017.07.04 12:40:00.865726 [ 2149477 ] <Warning> statistics_939.track_sharded (StorageReplicatedMergeTree, CleanupThread): Couldn't remove 20170704_20170704_68923_68923_0 from ZooKeeper: no node 2017.07.04 12:40:01.200600 [ 1651 ] <Error> track.Distributed.DirectoryMonitor: Code: 210, e.displayText() = DB::NetException: I/O error: Broken pipe: while reading from socket (172.33.90.30:9000), e.what() = DB::NetException, Stack trace: 0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x2969826] 1. clickhouse-server(DB::WriteBufferFromPocoSocket::nextImpl()+0x5ad) [0x297de7d] 2. clickhouse-server(DB::Connection::sendData(DB::Block const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0xe5) [0x2b6f365] 3. clickhouse-server(DB::Connection::sendQuery(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, unsigned long, DB::Settings const*, DB::ClientInfo const*, bool)+0xc35) [0x2b709b5] 4. clickhouse-server(DB::RemoteBlockOutputStream::writePrefix()+0x6a) [0x2c25eda] 5. clickhouse-server(DB::StorageDistributedDirectoryMonitor::processFile(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)+0x6f9) [0x2aa4cf9] 6. clickhouse-server(DB::StorageDistributedDirectoryMonitor::findFiles()+0x14c) [0x2aa680c] 7. clickhouse-server(DB::StorageDistributedDirectoryMonitor::run()+0xc5) [0x2aa6d05] 8. clickhouse-server() [0x36744ef] 9. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f03a5da46ba] 10. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f03a53c53dd] 2017.07.04 12:40:02.187307 [ 2149362 ] <Error> statistics_44.track_sharded (Merger): Part 20170531_20170531_3696841_3710521_192 intersects previous part 20170530_20170531_3539831_3697925_986 куча ошибок вот такого плана. Может есть предположения, что может идти не так? Что еще возможно нужно предоставить?

всем привет, а может кто объяснить причину такого поведения?

я так понимаю, что 7 возращается из-за arrayJoin

но может кто-то рассказать или сказать где можно почитать про порядок выполнения функций? хочется понять причину

и вообще правильно ли это или баг? :)

а что вы ожидали

сначала join потом count

4

тогда вам может был нужен avgArray

просто две отдельные агрегатные функции, поэтому ожидал 4

который внутрь массивов смотрит

у arrayJoin есть свой момент в выполнении запроса, когда он размножает строки и итерируется по массиву, если вам нужно что-то агрегировать по массивам, джойнить для этого не обязательно.

я понял, спасибо.

я немного упростил пример, на самом деле изначально было что-то типа

в avgArray можно и transform передать. а зачем условие на длину?

transform как-то пропустил, спасибо попробую заюзать!

а условия на длину нужно в свзяи со спецификой хранения данных

это просто урезанный пример привел

поигрался с tranform и понял, что он работает только с одинарными значениями, а не с массивами, поэтому для данного случая не подойдет

я к тому, что если у вас в массивах числа, и вам нужно среднее значение этих чисел, то пустые массивы не добавляют ни сумму ни количество.

это хорошее замечание, спасибо

SELECT sum(notEmpty(c1)), avgArray(arrayMap(x -> transform(x, [1, 2, 3], [15, 17, 19], 25), c2)) AS v2 ┌─sum(notEmpty(c1))─┬─────────────────v2─┐ │ 4 │ 18.428571428571427 │ └───────────────────┴────────────────────┘

да-да, спасибо, сам только дописал такой вариант :)

спасибо за помощь

для точного понимания: если появляется arrayJoin в запросе, то сначало идет размножение, а потом выполняются остальные функции, так?

если появляется arrayJoin, то дальже жизнь становится прекрасна и удивительна. SELECT count() FROM system.one ARRAY JOIN range(3) AS r ┌─count()─┐ │ 3 │ └─────────┘ SELECT count(), arrayJoin(range(3)) FROM system.one ┌─count()─┬─arrayJoin(range(3))─┐ │ 1 │ 0 │ │ 1 │ 1 │ │ 1 │ 2 │ └─────────┴─────────────────────┘для начала лучше не делать его вообще. если надо делать, то лучше делать from table array join col.

люблю прекрасную и удивительную жизнь ) спасибо за подсказки

Кто подскажет требования для ZK сервера? Толстый нужен или нет?

нужно три

А по требованиям к железке?

Пишут про 2GB of RAM, and 80GB IDE hard drives. Этого достаточно будет? )

ide hard drive это сильно

ide hard drive это сильно

:)

решил завести feature request для in-mem данных https://github.com/yandex/ClickHouse/issues/948

Здравствуйте, не подскажете что с такой ошибкой делать? DB::Exception: Received from clickhouse3:9000, 192.168.231.7. DB::Exception: Unknown compression method: 255: (while reading column ClientIp): (while reading from part /opt/clickhouse/data/metrika/access_log_part/20170704_20170704_158542_158578_2/ from mark 0 to 8)

Версия 1.1.54236

помог рестарт КХ на указанной ноде

Ещё стоит до последнего стейбл обновится

а вроде вот в понедельник делал обновление

apt-get update & apt-get upgrade КХ прилетал

а вроде вот в понедельник делал обновление

Тем не менее стейбл - 42ой

Ребят, кто настраивал кластер с ZK? Не могу разобраться с макросом. В документации написано ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/hits', '{replica}', EventDate, intHash32(UserID), (CounterID, EventDate, intHash32(UserID), EventTime), 8192) Где {replica} - это просто произвольное значение или адрес хоста на котором собственно реплика лежит?

Добрый день, коллеги! Нужно периодически забирать данные из ClickHouse в табличную модель ssas. SSAS умеет подключаться через ODBC, но драйвер, который на GitHub не заработал: Visual Studio вылетает при тесте соединения. Может, кто-нибудь знает, как можно работающее соединение на ODBC сделать?

Ребят, кто настраивал кластер с ZK? Не могу разобраться с макросом. В документации написано ReplicatedMergeTree('/clickhouse/tables/{layer}-{shard}/hits', '{replica}', EventDate, intHash32(UserID), (CounterID, EventDate, intHash32(UserID), EventTime), 8192) Где {replica} - это просто произвольное значение или адрес хоста на котором собственно реплика лежит?

я делал так mkdir -p /etc/clickhouse-server/conf.d/ && echo "<?xml version=\"1.0\"?><yandex><macros><shard>${CLICKHOUSE_SHARD}</shard><replica>${CLICKHOUSE_REPLICA}</replica></macros></yandex>" > /etc/clickhouse-server/conf.d/macros.xml```и выставлял переменные ```CLICKHOUSE_SHARD: 1 CLICKHOUSE_REPLICA: clickhouse-host```а при создании базы указывал ключ ZKENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/hits_replicated', '{replica}' ... ``` hits_replicated это просто ключ в ZK ;) желательно чтобы он совпадал с именем таблицы

Добрый день, коллеги! Нужно периодически забирать данные из ClickHouse в табличную модель ssas. SSAS умеет подключаться через ODBC, но драйвер, который на GitHub не заработал: Visual Studio вылетает при тесте соединения. Может, кто-нибудь знает, как можно работающее соединение на ODBC сделать?

разобраться в чем именно ошибка в ODBC драйвере и засабмитить issue на github разработчики вполне отзывчивые

я делал так mkdir -p /etc/clickhouse-server/conf.d/ && echo "<?xml version=\"1.0\"?><yandex><macros><shard>${CLICKHOUSE_SHARD}</shard><replica>${CLICKHOUSE_REPLICA}</replica></macros></yandex>" > /etc/clickhouse-server/conf.d/macros.xml```и выставлял переменные ```CLICKHOUSE_SHARD: 1 CLICKHOUSE_REPLICA: clickhouse-host```а при создании базы указывал ключ ZKENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/hits_replicated', '{replica}' ... ``` hits_replicated это просто ключ в ZK ;) желательно чтобы он совпадал с именем таблицы

Спасибо! Сейчас попробую )

я делал так mkdir -p /etc/clickhouse-server/conf.d/ && echo "<?xml version=\"1.0\"?><yandex><macros><shard>${CLICKHOUSE_SHARD}</shard><replica>${CLICKHOUSE_REPLICA}</replica></macros></yandex>" > /etc/clickhouse-server/conf.d/macros.xml```и выставлял переменные ```CLICKHOUSE_SHARD: 1 CLICKHOUSE_REPLICA: clickhouse-host```а при создании базы указывал ключ ZKENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/hits_replicated', '{replica}' ... ``` hits_replicated это просто ключ в ZK ;) желательно чтобы он совпадал с именем таблицы

Пока ZK поднял чуть в ногу не выстрелил. Никаких логов, verbose mode? Не, просто ошибка из серии "grep: file not found" ))

я ZK поднимал только на стенде в докере...

разобраться в чем именно ошибка в ODBC драйвере и засабмитить issue на github разработчики вполне отзывчивые

вот такая ошибка (выше)

разобраться в чем именно ошибка в ODBC драйвере и засабмитить issue на github разработчики вполне отзывчивые

а как разобраться?

сначала нажать View problem details скопировать и потом нажать debug the program

сначала нажать View problem details скопировать и потом нажать debug the program

спасибо, сейчас попробуем

А это нормально что при записи в реплицируемую таблицу двух строк с одинаковыми значениями - вторая не пишется? ) Движок ReplicatedMergeTree

Всем привет. Написали статью про работу с CH и настройку пайплайна реалтайм обработки данных для Рамблер/топ-100. Буду рад комментам и вопросам – https://habrahabr.ru/company/rambler-co/blog/332202/

А это нормально что при записи в реплицируемую таблицу двух строк с одинаковыми значениями - вторая не пишется? ) Движок ReplicatedMergeTree

дедубликация блока же

сначала нажать View problem details скопировать и потом нажать debug the program

Problem detail такие: Problem signature: Problem Event Name: BEX Application Name: devenv.exe Application Version: 14.0.25420.1 Application Timestamp: 57685d85 Fault Module Name: ODBC32.dll Fault Module Version: 6.3.9600.17415 Fault Module Timestamp: 545046b6 Exception Offset: 00076051 Exception Code: c0000409 Exception Data: 00000002 OS Version: 6.3.9600.2.0.0.16.7 Locale ID: 1049 Additional Information 1: 4df3 Additional Information 2: 4df3f3134502cdd8f0201ea0e58fbfb9 Additional Information 3: 0d10 Additional Information 4: 0d10de8a9ed5d00e8e5ce3ccf51eda35 Read our privacy statement online: http://go.microsoft.com/fwlink/?linkid=280262 If the online privacy statement is not available, please read our privacy statement offline: C:\Windows\system32\en-US\erofflps.txt А отладка не запускается devenv.exe' (Win32): Loaded 'C:\Program Files (x86)\ClickHouse ODBC\clickhouseodbcw.dll'. Cannot find or open the PDB file. 'devenv.exe' (Win32): Loaded 'C:\Program Files (x86)\ClickHouse ODBC\PocoFoundation.dll'. Module was built without symbols. 'devenv.exe' (Win32): Loaded 'C:\Program Files (x86)\ClickHouse ODBC\PocoNet.dll'. Module was built without symbols. Как думаете, можно эту информацию запостить на github? Хотя тут нет информации о точке возникновения ошибки...

Problem detail такие: Problem signature: Problem Event Name: BEX Application Name: devenv.exe Application Version: 14.0.25420.1 Application Timestamp: 57685d85 Fault Module Name: ODBC32.dll Fault Module Version: 6.3.9600.17415 Fault Module Timestamp: 545046b6 Exception Offset: 00076051 Exception Code: c0000409 Exception Data: 00000002 OS Version: 6.3.9600.2.0.0.16.7 Locale ID: 1049 Additional Information 1: 4df3 Additional Information 2: 4df3f3134502cdd8f0201ea0e58fbfb9 Additional Information 3: 0d10 Additional Information 4: 0d10de8a9ed5d00e8e5ce3ccf51eda35 Read our privacy statement online: http://go.microsoft.com/fwlink/?linkid=280262 If the online privacy statement is not available, please read our privacy statement offline: C:\Windows\system32\en-US\erofflps.txt А отладка не запускается devenv.exe' (Win32): Loaded 'C:\Program Files (x86)\ClickHouse ODBC\clickhouseodbcw.dll'. Cannot find or open the PDB file. 'devenv.exe' (Win32): Loaded 'C:\Program Files (x86)\ClickHouse ODBC\PocoFoundation.dll'. Module was built without symbols. 'devenv.exe' (Win32): Loaded 'C:\Program Files (x86)\ClickHouse ODBC\PocoNet.dll'. Module was built without symbols. Как думаете, можно эту информацию запостить на github? Хотя тут нет информации о точке возникновения ошибки...

не, похоже это бесполезно а причем тут SSAS ?? и Visual Studio это же разные продукты видимо SSAS как то пытается по хитрому ODBC заюзать попросите в github собрать вам с debug символами

issue на github все равно лучше запостить

Всем привет. Написали статью про работу с CH и настройку пайплайна реалтайм обработки данных для Рамблер/топ-100. Буду рад комментам и вопросам – https://habrahabr.ru/company/rambler-co/blog/332202/

Через что общаетесь между pyspark и ClickHouse? HTTP REST API?

не, похоже это бесполезно а причем тут SSAS ?? и Visual Studio это же разные продукты видимо SSAS как то пытается по хитрому ODBC заюзать попросите в github собрать вам с debug символами

Мы используем SSAS tabular (у нас там BI-модель создана, в ней все данные для анализа), теперь в модель потребовалось загрузить еще и данные из ClickHouse, а подключение не можем сделать. Соответственно, забрать данные тоже.

не, похоже это бесполезно а причем тут SSAS ?? и Visual Studio это же разные продукты видимо SSAS как то пытается по хитрому ODBC заюзать попросите в github собрать вам с debug символами

Модель ssas tabular разрабатываем в Visual Studio