мы заливаем свежие данные почти сразу

но при обновлении у нас меняются логики вычисления полей

добавляются столбцы

В свете последних новостей (блокировка Телеграма) вот годный VPN-чик полностью не за деньги, есть под все платформы. https://psiphon.ca/ru/download.html Но я бы socks - сервак поднял)

лучше бы ссылку на программу эмиграции)

Почитайте про Blue card

И про условия эмиграции в Канаду - довольно несложные

в канаду усложнили

года 2-3 назад

в канаду усложнили

вроде вот только опять упростили

вроде ничего с 2015 года не поменялось

нужен контракт с работодателем

но с контрактом и в сша можно ехать

Да может перепутал я чего

В Германию ок, blue card несложно получить

blue card тоже надо контракт

с контрактом можно почти в любую страну

blue card больше флексибл, привязка к работодателю минимальная, сроки маленькие, никаких проверок положения дел с безработицей или чего-то типа

ну вот я ищу себе пограммистов в UK

даже визу сделать готовы тут за сотни нефти

blue card, бесспорно, лучше

даже визу сделать готовы тут за сотни нефти

совсем плохо все с кадрами?

но фашисты есть фашисты - английский все-таки тут родной

да, все плохо

Где именно к UK так? И какого рода погроммисты?

London: C, Lua, возможно, Perl

работать над Rspamd

но фашисты есть фашисты - английский все-таки тут родной

Мда, вам с такими мыслями по скорее бы на родину вернутся, в глубинку желательно, там то точно все родное и на русском. Позор, приезжая в другую страну вы обязаны принять её законы и язык. И да, и не флудить тут например

спасибо за ценные советы, но меня и здесь неплохо кормят

Мда, вам с такими мыслями по скорее бы на родину вернутся, в глубинку желательно, там то точно все родное и на русском. Позор, приезжая в другую страну вы обязаны принять её законы и язык. И да, и не флудить тут например

))) скажите это Парижу)) ну и всей Германии приютившей братьев наших меньших... Ах да. Извините за флуд)

Настоящими. Но не мгновенными. Если очень примерно, что можно будет указать, какие данные и с какими условиями должны быть удалены, а далее в фоне это изменение будет постепенно применяться к кускам. Примерно как мержи. Опять же, возможно я где-то ошибаюсь :)

А есть где-то публичная ветка, например на GitHub ?

А есть где-то публичная ветка, например на GitHub ?

кажется, здесь что-то похожее: https://github.com/yandex/ClickHouse/commits/mergetree-mutations2 может быть есть еще

кажется, здесь что-то похожее: https://github.com/yandex/ClickHouse/commits/mergetree-mutations2 может быть есть еще

Спасибо

Подскажите, пожалуйста, как в jdbc запихать array в CH через подстановку :value?

Именованные подстановки не реализованы. Сейчас есть только ?

combot.org/chat/-1001080295593

Добрый день! Кто графаной пользуется с плагином для КХ, подскажите, пожалуйста, как побороть проблему автоподстановки "default." перед названиями таблиц. В табиксе оно как-то решено само. В графане пытаюсь выполнить запрос вроде: SELECT t, groupArray((channel, c)) as groupArr FROM ( SELECT (intDiv(timestamp, 216000) * 216000) * 1000 as t, channel, count() c FROM mydatabase.transactions ANY LEFT JOIN mydatabase.dict_channel USING merch_name WHERE event_date >= toDate(1491559351) AND timestamp >= 1491559351 GROUP BY t, channel ORDER BY t, channel ) GROUP BY t ORDER BY t Графана транслирует ошибку от кх: Code: 60, e.displayText() = DB::Exception: Table default.mydatabase.dict_channel doesn't exist., e.what() = DB::Exception В редакторе запросов выбрана явно нужная база. Так же пробовал различные комбинации. Если убрать вообще префикс с базой из запроса, то ругается вот так Code: 60, e.displayText() = DB::Exception: Table default.dict_channel doesn't exist., e.what() = DB::Exception

Графана 5 и плагин последней версии - не замечено такого поведения. Были другие проблемы с плагином от того, что он сам меняет запрос, но автор исправил не так давно.

Кстати, интересно, зачем плагин сам меняет что-то в запросе? Почему не передавать в CH исходный запрос? На гитхабе там последних пара issue по этому поводу есть.

Андрей, а версия КХ какая?

Старенькая. 1.1.54304.

Графана 5.0.3 и плагин 1.4.1.

Добрый день! Кто графаной пользуется с плагином для КХ, подскажите, пожалуйста, как побороть проблему автоподстановки "default." перед названиями таблиц. В табиксе оно как-то решено само. В графане пытаюсь выполнить запрос вроде: SELECT t, groupArray((channel, c)) as groupArr FROM ( SELECT (intDiv(timestamp, 216000) * 216000) * 1000 as t, channel, count() c FROM mydatabase.transactions ANY LEFT JOIN mydatabase.dict_channel USING merch_name WHERE event_date >= toDate(1491559351) AND timestamp >= 1491559351 GROUP BY t, channel ORDER BY t, channel ) GROUP BY t ORDER BY t Графана транслирует ошибку от кх: Code: 60, e.displayText() = DB::Exception: Table default.mydatabase.dict_channel doesn't exist., e.what() = DB::Exception В редакторе запросов выбрана явно нужная база. Так же пробовал различные комбинации. Если убрать вообще префикс с базой из запроса, то ругается вот так Code: 60, e.displayText() = DB::Exception: Table default.dict_channel doesn't exist., e.what() = DB::Exception

У вас таблица с данными случаем не в бд отличной от той где лежит distributed

Ну или справочник тот же

Нет, обе таблицы не distributed и на одном сервере

И в одной бд?

ага

то же самое выполняю в табиксе и в консоли кх - работает нормально

Версия кх - 1.1.54236 Графана 5.0.3, плагин 1.4.1.

Господа, а можно для log_queries задать время хранения?

Что бы, скажем, данные больше месяца сами удалялись или перезаписывались?

Ну или справочник тот же

похоже, что это проблема кх. Воспроизвел так: на версии 1.1.54236 в консоли кх выполнил запрос НЕ делая USE перед этим (именно так ведь работают запросы через HTTP): Code: 60, e.displayText() = DB::Exception: Table default.mydatabase.dict_channel doesn't exist., e.what() = DB::Exception А на версии 1.1.54343 все то же самое отработало корректно. Не в курсе, может такое поведение - это отключаемая фича?)

похоже, что это проблема кх. Воспроизвел так: на версии 1.1.54236 в консоли кх выполнил запрос НЕ делая USE перед этим (именно так ведь работают запросы через HTTP): Code: 60, e.displayText() = DB::Exception: Table default.mydatabase.dict_channel doesn't exist., e.what() = DB::Exception А на версии 1.1.54343 все то же самое отработало корректно. Не в курсе, может такое поведение - это отключаемая фича?)

Может у вас дефолтные базы разные на разных серверах?

а clickhouse-client умеет в построчный вывод столбцов? как \G у mysql и \x у psql

воу. оказывается он как раз \G и умеет

Можете попробовать ещё разные форматы, просто добавьте в конце запроса, например, `format Vertical`. В документации есть полный список

во, так нативнее, спасибо)

подвисают намертво запросы по distributed таблице, когда сервер упирается в max_concurrent_queries через kill query не убиваются, помогает только рестарт сервера... кто-нибудь сталкивался?

вопрос про то, произойдет ли это на server-side или client-side сам умеет увидеть что таблица distributed и получить адреса шардов откуда-нибудь?

OMFG! да я просто люблю этих ребят! https://github.com/Vertamedia/chproxy#spread-inserts-among-cluster-shards

гм, но оно таки тоже не умеет понимать куда данные слать, просто какой-то свой load balancing делает :-/

Господа, а можно для log_queries задать время хранения?

Нет, КХ сам не чистит партиции, но для query_log можно задать произвольный ключ партиционирования чтоб можно было удалять не по месяцам

Приветстую. А какие параметры КХ можете посоветовать для построения графиков в системе мониторига? Я хочу, скажем в заббикс добавить мониторинг КХ, чтобы в случае сбоя можно было по графикам быстро понять из-за чего это произошло? Ну или оповещения настроить при достижении определенных значений.

Порты , логин , зукипер, количество записей

Порты , логин , зукипер, количество записей

а какие-нибудь параметры из таблиц system.metrics system.asynchronous_metrics system.events нет необходимости?

Ну смотря какие падения вы хотите мониторить , в целом мне хватает мониторинга процессора, памяти и места на диске

иногда стоит ещё rps, возможно даже с инсертами отдельно

в графане это выглядит вот так https://grafana.com/dashboards?search=clickhouse

внезапно, ни одного graphite'ного дашборда для стандартных метрик которые отправляются clickhouse'ом через carbon?

(v1.1.54327.) случилось странное. У сервера 64ГБ, oom начал прибивать КХ (BackgrProcPool). Добавил своп 64ГБ, и вот теперь я увидел что clickhouse-server скушал всю память и своп VIRT 170GB/ RES 61GB. Идет мердж: elapsed: 2233 progress: 0.00140 num_parts: 13 total_size_bytes_compressed: 148508434057 total_size_marks: 20606 bytes_read_uncompressed: 95158253980 rows_read: 237568 bytes_written_uncompressed: 9574550341 rows_written: 131072 memory_usage: 179221182948 Подозреваю, что в той таблице появились строки размером до 4МБ, которые очень хорошо жмутся в пару КБ. Может это причина? Никогда такого не было, и что делать теперь?

В общем поменял max_bytes_to_merge_at_max_space_in_pool с 200Г на 50Г, видимо КХ мержить эти парты уже не будет.

а можно ли как-то в кх сделать такую штуку: SELECT f1, f2, uniq(f3), count(*).... GROUP BY f1, f2 и вот вместо uniq(f3) - вывести не число уникальных значений в этой группировке, а сами эти уникальные значения? как-то в массив, например, объединить?

можно – groupUniqArray

кх не только не тормозит, но и ?

кх не только не тормозит, но и ?

Сервера теперь горят?

работа

Привет всем, подскажите новичку. есть таблица с движком MergeTree. при импорте данных часть данных экспортировалась несколько раз и в таблице образовались дубли. как быть, как он них можно проще избавиться?

Проще заново залить данные без дублей

при условии что данные эти существуют, правда ведь?

можно помудрить с генерацией уникального id на основе cityHash64(*)

но в случае коллизий могут быть потери

я почему-то ожидал от КХ что понятие первыичный ключ будет гарантировать защиту от дублей. но нет....

так первичный ключ есть?

есть

это же обязательное поле

он уникальный?

в данных

да

попробуйте SELECT *, max(uniqID) FROM table GROUP BY * если не получится тогда придется все поля перечислять - по идее должно уникальные строки выбрать. их уже в отдельную таблицу загнать.

Insert into ваша_тэйбл_temp select <без дублей>

Потом пересоздать и обратно

щас попробую

Если вы точно знаете, по какому полю дубли, группирните по нему

похоже это из-за того что дубли попали в разные месяца?