ну я лично пока с обновлениями проблем не имел , ченджлог вроде тоже почитать не сложно, бывают конечно проблемы в каких то случаях, но я бы не сказал чтобы они были чаще чем в любом другом софте который я использую

с 1.1.54342 до 18.6.0 всё норм обновлюсь? )

скорее всего да

ну я лично пока с обновлениями проблем не имел , ченджлог вроде тоже почитать не сложно, бывают конечно проблемы в каких то случаях, но я бы не сказал чтобы они были чаще чем в любом другом софте который я использую

+1. Пока все обновления вплоть до текущей версии проходили штатно

с 1.1.54342 до 18.6.0 всё норм обновлюсь? )

отпишись

с 1.1.54342 до 18.6.0 всё норм обновлюсь? )

ODBC поломан в 18.6, у нас словари отвалились

хрен бы с ними со словарями, но если есть таблицы с engine=dictionary - то сервер не стартует. приходится руками ему помогать

с 1.1.54342 до 18.6.0 всё норм обновлюсь? )

вы тестили? У меня примерно 6 ишью при таком переходе, вплоть до не старта КХ, лечится, но все равно.

Кстати сегодня доразнес кластер зукипера из семи штук по разным датацентрам и провайдерам в Европе, пока 20 минут полет нормальный. Как то момент геораспределенности очень плохо описан в интернете либо же все пишут что так делать не надо

нет, не тестили, вот только собираюсь

Мы вчера на 6.0 обновились, с 1.0, всё прошло хорошо, нареканий нет

Кстати сегодня доразнес кластер зукипера из семи штук по разным датацентрам и провайдерам в Европе, пока 20 минут полет нормальный. Как то момент геораспределенности очень плохо описан в интернете либо же все пишут что так делать не надо

Поделитесь "подводными камнями"

Ну их не было

Переживаю только за связность сети и способность кластера зукипера собираться после развала

Кстати сегодня доразнес кластер зукипера из семи штук по разным датацентрам и провайдерам в Европе, пока 20 минут полет нормальный. Как то момент геораспределенности очень плохо описан в интернете либо же все пишут что так делать не надо

конечно не надо, больше 3 зукиперов и если летенси между ними больше 50мс, это просто палки в колесах. Каждый инсерт ждет согласовния и тормозов семи нод.

Ну посмотрим

похоже нашли проблему дублей - internal_replication параметр

Ну там в целом меньше 50мс везде

отпишись

одну ноду обновил, вроде всё ок

одну ноду обновил, вроде всё ок

обновлялся с 1.1.54318

не завелось

я хочу потесить КХ, какую версию порекомендуете, вот читаю, что словари поломаны в 18.6, мне они вроде не нужны - стоит ее брать?

Последнюю

Ребята смотрю скоро будут множественные джойны, а как скоро?)

Ребята смотрю скоро будут множественные джойны, а как скоро?)

множественные джойны??? а откуда инфа? сами очень ждем

Так Алексей писал, что для Replicated уже чтоль готовы, для обычного MergeTree осталось запилить

множественные джойны??? а откуда инфа? сами очень ждем

Roadmap на Q3 2018 написано

Или q4

ох скорей бы, скорей

у нас запросы генерятся из интерфейса таблицы с фильтрами, через вложенные подзапросы и лапша жесть получается

у нас запросы генерятся из интерфейса таблицы с фильтрами, через вложенные подзапросы и лапша жесть получается

Аналогичная лапша. Тоже ждём с нетерпением

у нас запросы генерятся из интерфейса таблицы с фильтрами, через вложенные подзапросы и лапша жесть получается

Да....

А еще в роадмапе были DROP для GDPR, это еще в процессе

?

А еще в роадмапе были DROP для GDPR, это еще в процессе

https://clickhouse.yandex/docs/ru/query_language/alter/#_4

alter delete работает, я уже на проде 700млн. строк (залитых по ошибке) удалил (18.5.1), (два часа удалялось)

Еще такой вопрос - в кубере на АВС КХ запускается? Я видел офиц докер image

для знктоков CH+Supeset: можно ли меять client timeZone при коннекте?

чтоб в superset показывать данные в другой timezone

Обновился до последней версии и теперь пишет 2018.08.10 01:40:11.116978 [ 1 ] <Error> Application: Net Exception: Address already in use: [::1]:8123 2018.08.10 01:40:11.117101 [ 1 ] <Information> Application: shutting down 2018.08.10 01:40:11.117183 [ 1 ] <Debug> Application: Uninitializing subsystem: Logging Subsystem 2018.08.10 01:40:11.117321 [ 6 ] <Information> BaseDaemon: Stop SignalListener thread ничего не помогает(

порт свободен

Обновился до последней версии и теперь пишет 2018.08.10 01:40:11.116978 [ 1 ] <Error> Application: Net Exception: Address already in use: [::1]:8123 2018.08.10 01:40:11.117101 [ 1 ] <Information> Application: shutting down 2018.08.10 01:40:11.117183 [ 1 ] <Debug> Application: Uninitializing subsystem: Logging Subsystem 2018.08.10 01:40:11.117321 [ 6 ] <Information> BaseDaemon: Stop SignalListener thread ничего не помогает(

даже reboot?

даже рибут(

даже рибут(

а возврат старого бинарника помогает?

еще не пробовал ...

а что еще пишет ?

полный лог можно ?

/etc/clickhouse-server# sudo service clickhouse-server start /etc/clickhouse-server# sudo service clickhouse-server status ● clickhouse-server.service - ClickHouse Server (analytic DBMS for big data) Loaded: loaded (/lib/systemd/system/clickhouse-server.service; disabled; vendor preset: enabled) Active: activating (auto-restart) (Result: exit-code) since Thu 2018-08-09 22:49:32 UTC; 1s ago Process: 1820 ExecStart=/usr/bin/clickhouse-server --config=/etc/clickhouse-server/config.xml (code=exited, status=70) Process: 1814 ExecStartPre=/bin/chown clickhouse:clickhouse -R /etc/clickhouse-server (code=exited, status=0/SUCCESS) Process: 1813 ExecStartPre=/usr/bin/chown clickhouse:clickhouse -R /etc/clickhouse-server (code=exited, status=203/EXEC) Main PID: 1820 (code=exited, status=70) CPU: 204ms Aug 09 22:49:32 ubuntu-2gb-fra1-01 systemd[1]: clickhouse-server.service: Failed with result 'exit-code'.

в логах пусто

если запускать так clickhouse-server --config-file=/etc/clickhouse-server/config.xml 2018.08.10 01:50:30.903804 [ 1 ] <Debug> Application: Loaded metadata. 2018.08.10 01:50:30.904167 [ 1 ] <Information> Application: Listening http://[::]:8123 2018.08.10 01:50:30.904248 [ 1 ] <Information> Application: Listening tcp: [::]:9000 2018.08.10 01:50:30.904311 [ 1 ] <Information> Application: Listening interserver http: [::]:9009 2018.08.10 01:50:30.904589 [ 1 ] <Information> Application: Shutting down storages. 2018.08.10 01:50:30.907096 [ 1 ] <Debug> Application: Shutted down storages. 2018.08.10 01:50:31.688774 [ 1 ] <Debug> Application: Destroyed global context. 2018.08.10 01:50:31.689365 [ 1 ] <Error> Application: Net Exception: Address already in use: 127.0.0.1:8123 2018.08.10 01:50:31.689395 [ 1 ] <Information> Application: shutting down 2018.08.10 01:50:31.689412 [ 1 ] <Debug> Application: Uninitializing subsystem: Logging Subsystem 2018.08.10 01:50:31.689523 [ 4 ] <Information> BaseDaemon: Stop SignalListener thread

убрать из listen_host все кроме ::

спасибо!)

убрать из listen_host все кроме ::

вот такой вопрос - я пытаюсь заимпортить New York Taxi data по гайду https://clickhouse.yandex/docs/en/getting_started/example_datasets/nyc_taxi/

можно ли мне просто обработать строки sed'ом и time clickhouse-client --query="INSERT INTO trips FORMAT CSV" < data/yellow_tripdata_2010-03.csv

в гайде описан шаг с импортом в PG потом выгрузка оттуда в TabSeparated и загрузка TabSeparated в КХ

/stat@combot

combot.org/c/-1001080295593

подскажите по архитектуре схемы: есть распределенная табилца с шардами. Как лучше сделать materilized view на эти распределенные данные? можно сделать на распределенную таблицу, а можно на локальную и сделпть поверх этого distributed.

+ продублирую вопрос: для знатоков CH+Superset: можно ли меять client timeZone при коннекте? чтоб в superset показывать данные в другой timezone

конечно не надо, больше 3 зукиперов и если летенси между ними больше 50мс, это просто палки в колесах. Каждый инсерт ждет согласовния и тормозов семи нод.

прочекал пинги вчера самый большой 15 мс , полет пока нормальный

подскажите по архитектуре схемы: есть распределенная табилца с шардами. Как лучше сделать materilized view на эти распределенные данные? можно сделать на распределенную таблицу, а можно на локальную и сделпть поверх этого distributed.

Да, лучше всего сделать реплцированные MV на локальные таблы на всех репликах, поверх MV Distributed, так работает нормально

можно ли мне просто обработать строки sed'ом и time clickhouse-client --query="INSERT INTO trips FORMAT CSV" < data/yellow_tripdata_2010-03.csv

Судя по этому, нет: Then the data must be pre-processed in PostgreSQL. This will create selections of points in the polygons (to match points on the map with the boroughs of New York City) and combine all the data into a single denormalized flat table by using a JOIN. To do this, you will need to install PostgreSQL with PostGIS support.

подскажите, можно ли массивы использовать в словарях?

Всем привет, вопрос про функции работы с временем которые поддерживают таймзоны. Насколько я вижу по ошибкам параметр таймзоны должен быть константой, можно ли это как-то обойти? У меня в запросе таймзона всегда одна в рамках запроса но она должна браться из словаря. Пока что решил это тем что делаю два запроса со стороны приложения, сначала достаю таймзону а потом во второй запрос подставляю.

Всем привет! Пробую тут обновить кластер и после перезагрузки ноды начинают сыпаться такие исключения DB::Exception: Received from clickhouse9:9000, 192.168.231.101. DB::Exception: Table is in readonly mode. Stack trace

Что это значит?

привет. а насколько нормально создавать MATERIALIZED VIEW от Replicated* таблицы? Создал distributed, которая смотрит на вьюхи, и каждый запрос получаю разные значения.

Всем привет! Пробую тут обновить кластер и после перезагрузки ноды начинают сыпаться такие исключения DB::Exception: Received from clickhouse9:9000, 192.168.231.101. DB::Exception: Table is in readonly mode. Stack trace

обычно это случается когда отвалился зукипер

Ну с зукипером вроде всё ок

ну у меня таблица в риадонли уходила только когда нет зукипера , возможно есть другие причины для этого, надо болльше строк смотреть в ерорлоге кх

2018.08.10 10:31:33.137838 [ 38 ] <Error> executeQuery: Code: 242, e.displayText() = DB::Exception: Table is in readonly mode, e.what() = DB::Exception (from [::ffff:192.168.231.104]:58274) (in query: INSERT INTO metrika.productsites_log_local (Timestamp, Method, HttpStatus, HostName, UriPath, UriParam, Referer, RawUserAgent, ClientIp, PortalUserId, PortalSessionId, RequestLength, BytesSent, UpstreamResponseTime, EventDate, NgToken) FORMAT Values), Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x16) [0x56d1436] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x22) [0x2db80f2] 2. /usr/bin/clickhouse-server(DB::StorageReplicatedMergeTree::assertNotReadonly() const+0x72) [0x4fc9332] 3. /usr/bin/clickhouse-server(DB::StorageReplicatedMergeTree::write(std::shared_ptr<DB::IAST> const&, DB::Settings const&)+0x25) [0x4fc93b5] 4. /usr/bin/clickhouse-server(DB::PushingToViewsBlockOutputStream::PushingToViewsBlockOutputStream(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, std::shared_ptr<DB::IStorage> const&, DB::Context const&, std::shared_ptr<DB::IAST> const&, bool)+0x718) [0x520c138] 5. /usr/bin/clickhouse-server(DB::InterpreterInsertQuery::execute()+0x23a) [0x4e6440a] 6. /usr/bin/clickhouse-server() [0x4ef181b] 7. /usr/bin/clickhouse-server(DB::executeQuery(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, DB::Context&, bool, DB::QueryProcessingStage::Enum)+0x8a) [0x4ef283a] 8. /usr/bin/clickhouse-server(DB::TCPHandler::runImpl()+0x3d7) [0x2dc4c27] 9. /usr/bin/clickhouse-server(DB::TCPHandler::run()+0x2b) [0x2dc5acb] 10. /usr/bin/clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x58c56af] 11. /usr/bin/clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x16a) [0x58c5a8a] 12. /usr/bin/clickhouse-server(Poco::PooledThread::run()+0x77) [0x5966e97] 13. /usr/bin/clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x38) [0x5962d58] 14. /usr/bin/clickhouse-server() [0x938cc0f] 15. /lib/x86_64-linux-gnu/libpthread.so.0(+0x76ba) [0x7f00806586ba] 16. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f007fe8141d]

ну должен быть еще же контекст выше и ниже

а место на диске случаем не закончилось ?

Может и прадва зукипер. У меня секция zookeeper-servers была в файле, вместе с секцией clickhouse_remote_servers. Я перенёс zookeeper-servers в отдельный файл, сделал инклуд и оно похоже не завелось из-за этого

Я не понимаю

ну верни как было

какой смысл менять конфиг и при этом еще и обновлять кх

Коллеги, а привычный sql join on в 18.6 должен уже работать или все еще немного свой синтаксис?

Коллеги, а привычный sql join on в 18.6 должен уже работать или все еще немного свой синтаксис?

недавно появилась ограниченная поддержка ON, но это ещё не всё, что запланировано в данном направлении

Извиняюсь за вопрос не в тему кликхауса, но может кто подскажет куда копать. Пытаюсь скомпилировать с++ библиотеку GMP под win7-64, в оболочке MSYS. Выдает такую ошибку во время сборки: Error: unknown pseudo-op: `.hidden'

Добрый день! Подскажите, пожалуйста, как настроить проверку переполнения при insert. В конфигурации Кликхауса по умолчанию такая вставка проходит без ошибок: CREATE TABLE default.test ( i32 UInt32 ) ENGINE = Memory; INSERT INTO default.test (i32) VALUES (123456789012345); (проверял также для MergeTree - поведение такое же)

Коллеги, добрый день! Никто не сталкивался с таким явлением с матвью. Есть два идентичных по результату запроса: один к таблице с детальными данными, второй к матвью. Запрос к таблице с детальными данными отрабатывает быстрее чем к матвью. Это первое. И второе. В обоих запросах использутеся функция toStartOfFifteenMinutes. Так вот, запрос к детальным данным возвращает одно количество строк, а запрос к матвью в 10 раз меньше. Т.е. второй запрос пропускает какие-то времена. Хотя общие итоги совпадают. Я перестал что-то понимать в матвью. У кого-то было что-то подобное? П.С. Матвью создавалось на рабочей боевой таблице с ключевым словом populate. Т.е. во время работы команды CREATE MATERIALIZED VIEW... данные понемногу загружались в таблицу с детальными данными небольшими порциями (сотни-несколько тысяч записей в минуту, записываются не непрерывно, а квантами). Про то что таблицу надо "останавливать" для CREATE в курсе. Но в итоге общие count и uniq на таблице с детальными данными и матвью совпадают, потому сделал вывод, что рабочий процесс по загрузке данных не повлиял на матвью и данные не потерялись.

Доброго дня. Никто не подскажет со следующей проблемой: Есть слежующее железо: Dell PowerEdge T610 (http://www.dell.com/ru/business/p/poweredge-t610/pd) Как носители информации используются обычные HDD, памяти ОЗУ тоже не сильно много, около 16Гб. Нужно работать с большими выборками, при крупных запросах и операциях добавления данных сервер фризит. Может ли решить проблему установка SSD, или же проблема скорее суммарно в слабом железе?

Извиняюсь за вопрос не в тему кликхауса, но может кто подскажет куда копать. Пытаюсь скомпилировать с++ библиотеку GMP под win7-64, в оболочке MSYS. Выдает такую ошибку во время сборки: Error: unknown pseudo-op: `.hidden'

https://github.com/LuaJIT/LuaJIT/issues/373 не ваш случай?

подскажите, можно ли массивы использовать в словарях?

насколько я знаю - нет