↓ Progress: 12.04 billion rows, 336.98 GB (287.62 million rows/s., 8.05 GB/s.) Received exception from server (version 1.1.54388): Code: 1001. DB::Exception: Received from localhost:9000, ::1. DB::Exception: Resource temporarily unavailable. 42.069

запросики идентичные только цифры меняются

select 1705 rule, ts, c1, c2 from ( select toStartOfMinute(toDateTime(t1)) ts, count() c1, countIf(t1 - t0 > 900) c2 from ( select b>0?b:(b+901) t1, a t0 from (select sid, anyIf(ts,cc=11078065251486343680) a, anyIf(ts,cc=10964831536725407699) b from tmp0.`t_2018-07-04 10:00:00_c6eeccb44e75416b8ff51fa8e7b26e52_d` where ts >= toUInt32(toDateTime('2018-07-04 10:00:00', 'UTC')) -1021 AND ts <= toUInt32(toDateTime('2018-07-04 10:00:00', 'UTC')) and cc in (11078065251486343680,10964831536725407699) group by sid) WHERE a >= toUInt32( toDateTime('2018-07-04 10:00:00','UTC')) - 1021 ) where t1 > 0 group by ts ) where ts>=toStartOfMinute(toDateTime('2018-07-04 10:00:00','UTC') - 120)

Создаю таблицу create table x (a Int64) Engine=MergeTree Partition by tuple() order by tuple() settings max_bytes_to_merge_at_max_space_in_pool = 214748364800 А как потом поменять max_bytes_to_merge_at_max_space_in_pool? alter ... detach поправить x.sql attach какой легальный путь вообще? таблица репликейтид

гм, а как из всех этих вот разрозненных вкладок таббикса сделать бы какую-то аналитическую морду (типа кибаны)? или я многого хочу?

гм, а как из всех этих вот разрозненных вкладок таббикса сделать бы какую-то аналитическую морду (типа кибаны)? или я многого хочу?

В будущих версиях это будет, сейчас никак(

гм, а как из всех этих вот разрозненных вкладок таббикса сделать бы какую-то аналитическую морду (типа кибаны)? или я многого хочу?

Посмотрите в сторону redash. Он умеет с кликхаусом работать.

за деньги я и сам, что нужно, напишу, но спасибо

за деньги я и сам, что нужно, напишу, но спасибо

Вы про redash? Он абсолютно бесплатен хостить у себя. Опенсорсный, есть докер компоуз.

ох, тогда я сильно проглядел это, спасибо еще раз

Посмотрите в сторону redash. Он умеет с кликхаусом работать.

У меня так и не получилось увеличить встроеный в redash таймаут на 30 секунд. Причем запрос выполняется 1 секунду, а redash тупит 30 секунд и всё

У меня так и не получилось увеличить встроеный в redash таймаут на 30 секунд. Причем запрос выполняется 1 секунду, а redash тупит 30 секунд и всё

Хм, не сталкивался. А у вас точно все нормально поднялось? У редаш там сложная архитектура, постгря, мессадж сервис, экзекьютор... Нужно что бы все друг друга видели. Пробовали свежие версии?

Хм, не сталкивался. А у вас точно все нормально поднялось? У редаш там сложная архитектура, постгря, мессадж сервис, экзекьютор... Нужно что бы все друг друга видели. Пробовали свежие версии?

Пробовал в докере, пару месяцев назад. Простой запрос типа count проходит, просто в консоле запрос за десятую секунды выполняется. А в редаш полминуты непонятно-что делается

Ещё superset слышал что хвалили

Zeppelin тоже без особых проблем можно подружить с КХ

Ещё superset слышал что хвалили

superset с последней версией КХ не работает https://github.com/cloudflare/sqlalchemy-clickhouse/issues/23

Пробовал в докере, пару месяцев назад. Простой запрос типа count проходит, просто в консоле запрос за десятую секунды выполняется. А в редаш полминуты непонятно-что делается

именно на Executing query висит или другое сообщение? пользуемся redash+clickhouse почти два года, такого не замечали. могу посмотреть, если опишете подробнее

superset с последней версией КХ не работает https://github.com/cloudflare/sqlalchemy-clickhouse/issues/23

А что этот патч? Не помогает?

А что этот патч? Не помогает?

еще не пробывал, хочется конечно чтобы все работало из коробки?

еще не пробывал, хочется конечно чтобы все работало из коробки?

+1. Пока табикс стабильнее всего

Да, но там с интерфейсом не ок)

Да, но там с интерфейсом не ок)

А что не нравится? Что не устраевает? Я сейчас как раз полностью переписываю на 100% весь код

ого

может это только у меня конечно беда, 4к монитор и браузер эдж

даже и не знал о таком, в текущей не поправлю - т.к все больше обновлять эту версию не буду ) а в новой может само исправится

может это только у меня конечно беда, 4к монитор и браузер эдж

в edge вообще не должен он работать)

я даже и не знал что он в нем работает)

А что не нравится? Что не устраевает? Я сейчас как раз полностью переписываю на 100% весь код

То что он лучше всего остального - факт. Но есть проблемы. Баги, неудобный скрол результатов, непонятные подсказки

я думаю это проблема с маштабированием, если ставлю дпай как у всех становится один скрол, но разглядеть тогда уже не реально)

То что он лучше всего остального - факт. Но есть проблемы. Баги, неудобный скрол результатов, непонятные подсказки

Скроллы в новой версии будут другие - т.к компоненты совсем "другие") а про подсказки заведите issue - обсудим что не нравится

В текущем скролле мне не нравится что для горизонтальной прокрутки надо крутить пару экранов вниз

я думаю это проблема с маштабированием, если ставлю дпай как у всех становится один скрол, но разглядеть тогда уже не реально)

попробуйте chrome/firefox - может лучше будет, под edge честно даже не планировал поддержку (

И очень не хватает нормального хелпа по горячим клавишам

В текущем скролле мне не нравится что для горизонтальной прокрутки надо крутить пару экранов вниз

о я даже не знал что он есть) жал стрелки

А вообще хорошо иметь возможность выразить лично благодарность за классный ui :)

В текущем скролле мне не нравится что для горизонтальной прокрутки надо крутить пару экранов вниз

да есть такое, у меня magicmouse - там это проще

поставлю обычную мышку попробую - спасибо за замечание

А не было идеи сделать переименование используемого поля или переменной везде где она используется?

И очень не хватает нормального хелпа по горячим клавишам

да мое упущение -- добавлю в доку хот кеи

Спасибо большое!

попробуйте chrome/firefox - может лучше будет, под edge честно даже не планировал поддержку (

очень не хочется ставить лишнего в систему когда встроенное работает, если новая версия не заведется то тогда уж да, а пока я к этом интерфейсу привык)

А вообще хорошо иметь возможность выразить лично благодарность за классный ui :)

Присоединяюсь, респект!

А не было идеи сделать переименование используемого поля или переменной везде где она используется?

не понял, можно пример , есть простые переменные, но они криво реализованы в плане ui

Спасибо большое!

Нзч)

не понял, можно пример , есть простые переменные, но они криво реализованы в плане ui

что-то типа такого - иннплейс рефакторинг. Ну, вдруг https://www.youtube.com/watch?v=RExpDf3xG4Y

что-то типа такого - иннплейс рефакторинг. Ну, вдруг https://www.youtube.com/watch?v=RExpDf3xG4Y

подумаю - но это не просто реплейс, с "заковыркой")

И очень не хватает нормального хелпа по горячим клавишам

Я начал писать статью, и бросил т.к в том виде табикса больше не будет) Список хот кеев https://github.com/tabixio/tabix.docs/blob/master/articles/article01.md

да, он еще в контексте смотрит, то есть не затрагивает другие област видимости. но я так подумал, кажется что это далеко не самый частый юзкейс

присоединяюсь к благодарностям за табикс. а когда новый можно будет пощупать? )

да, он еще в контексте смотрит, то есть не затрагивает другие област видимости. но я так подумал, кажется что это далеко не самый частый юзкейс

Ctrl-H или Command-Option-F replace

присоединяюсь к благодарностям за табикс. а когда новый можно будет пощупать? )

сейчас очень активно пилится, и появился отдельный dev) я думаю к "осеннему" митапу будет stable((( пощупать надеюсь к концу августа(((

здорово, ждем

А митапы в Германии раз в год только бывают, кстати?

А митапы в Германии раз в год только бывают, кстати?

Пока невозможно сказать, насколько часто они бывают. Изначально планировали проводить европейские митапы примерно 1-2 раза в год, в разных местах. Последний митап организовывала компания DeliveryHero: когда есть готовая площадка и организация - то всё упрощается, и можно проводить мероприятия чаще.

сейчас очень активно пилится, и появился отдельный dev) я думаю к "осеннему" митапу будет stable((( пощупать надеюсь к концу августа(((

Скинь ссылку на репу, если есть

Скинь ссылку на репу, если есть

github.com/tabixio/tabix/tree/alpha?files=1

github.com/tabixio/tabix/tree/alpha?files=1

Спасибо

привет. есть проблема с взрывным ростом потребления памяти, непонятно чем вызванным. http://joxi.ru/823jnOahJPEl5m https://pastebin.com/1tmB76Ga в еррор-логе с этого момента, но это наверное следствие, а не причина

количество бэкграунд-воркеров снизил с 16 до 8, потом до 6. разницы нет

@garikanet Игорь, подскажите пожалуйста, а вы для вывода таблиц таких универсальных какой-то собственный компонент используете или это что-то опенсорсное?

привет. есть проблема с взрывным ростом потребления памяти, непонятно чем вызванным. http://joxi.ru/823jnOahJPEl5m https://pastebin.com/1tmB76Ga в еррор-логе с этого момента, но это наверное следствие, а не причина

Включите query_log, посмотрите - возможно какие запросы съедают память.

@garikanet Игорь, подскажите пожалуйста, а вы для вывода таблиц таких универсальных какой-то собственный компонент используете или это что-то опенсорсное?

handsontable.com

Подскажите, почему запрос с GLOBAL IN может выводить данные с одного узла, а не со всех? т.е. запрос: SELECT * FROM tbl preWHERE EntityID GLOBAL IN ( SELECT EntityID FROM tbl preWHERE EntityID = 'value' ) показывает меньше данные чем запрос SELECT * FROM tbl preWHERE EntityID = 'value'

Подскажите, почему запрос с GLOBAL IN может выводить данные с одного узла, а не со всех? т.е. запрос: SELECT * FROM tbl preWHERE EntityID GLOBAL IN ( SELECT EntityID FROM tbl preWHERE EntityID = 'value' ) показывает меньше данные чем запрос SELECT * FROM tbl preWHERE EntityID = 'value'

Уточнение по вопросу: CH развёрнут на 3-х шардах: 1, 2, 3. На каждой есть копия таблички со своими данными + представление, выводящее данные со всех шард. Я подключаюсь к шарду 1, выполняю запрос к представлению, и из результатов выпдают данные с шарда 1. Что не так с настройками или запросом?

Подскажите, почему запрос с GLOBAL IN может выводить данные с одного узла, а не со всех? т.е. запрос: SELECT * FROM tbl preWHERE EntityID GLOBAL IN ( SELECT EntityID FROM tbl preWHERE EntityID = 'value' ) показывает меньше данные чем запрос SELECT * FROM tbl preWHERE EntityID = 'value'

Задал вопрос: https://stackoverflow.com/questions/51237599/global-in-dont-return-results-from-all-nodes

А что происходит с MATERIALIZED views когда исходная таблица из запроса меняется?

Уточнение по вопросу: CH развёрнут на 3-х шардах: 1, 2, 3. На каждой есть копия таблички со своими данными + представление, выводящее данные со всех шард. Я подключаюсь к шарду 1, выполняю запрос к представлению, и из результатов выпдают данные с шарда 1. Что не так с настройками или запросом?

дайте CREATE TABLE всех таблиц и представлений, тогда будет понятней

через pastebin какой-нибудь

> We don't recommend using POPULATE, since data inserted in the table during the view creation will not be inserted in it. А как лучше всего достигать consistent views, если POPULATE не позволяет этого, а без него только новые данные попадают в view?

останавливать запись в таблицу при POPULATE

а это можно сделать в СН?

а это можно сделать в СН?

Мы изначально приняли решение, что все записи идут через кафку с одним универсальным сервисом-консюмером, который пишет в кх, и я с тех пор только радуюсь этому - подобные ситуации вообще не составляют проблемы. Рекомендую

В смысле, мы просто останавливаем консюмер, делаем мейнтенанс и дальше продолжаем

так а если этот 1 сервис не справится?

Консюмеры масштабируются горизонтально

@milovidov_an а какой юзкейс многоуровневого шардирования?

так всё-таки масштабируются, а не один

Мы изначально приняли решение, что все записи идут через кафку с одним универсальным сервисом-консюмером, который пишет в кх, и я с тех пор только радуюсь этому - подобные ситуации вообще не составляют проблемы. Рекомендую

у нас так же, но тогда нужен глобальный лок для всех consumer-ов. Так же, views создаются вне consumer-ов, аналитиками

@Imaskar имеется в виду сервис как логическая единица. Нет других источников трафика в кх, кроме кафка-консюмеров.

@bsideup в смысле лок? Между консюмерами одной группы записи раунд-робинятся

Можно аналитикам выдать строго контролируемую кнопку “остановить запись” (со всеми предосторожностями), которая будет их всех останавливать. Хотя, наверное, создание вью - не такая уж и частая операция, можно по договоренности это делать.

люди а подскажите оптимальную последовательность полей в индексе. Если было бы строгое равенство при поиске то все понятно но тут и диапазоны итд, нужно минимизировать индекс скан. условие where такое: WHERE event_date IN (constDate1, constDate2) and event_datetime >= constDateTime1 and event_datetime<=constDateTime2 and event_name in (constString1, constString2)

по "обычным" реляционкам и если бы не было event_date я бы сделал event_name первым, выполнял бы 2 запроса со строгим равенством event_name и собирал бы их через union all т.е.: where event_name=const1 and eventr_datetime between .... UNION ALL ... where event_name=const2 and eventr_datetime between ....

по "обычным" реляционкам и если бы не было event_date я бы сделал event_name первым, выполнял бы 2 запроса со строгим равенством event_name и собирал бы их через union all т.е.: where event_name=const1 and eventr_datetime between .... UNION ALL ... where event_name=const2 and eventr_datetime between ....

Здесь достаточно хорошо расписана логика работы индексов https://groups.google.com/forum/#!searchin/clickhouse/%D0%B8%D0%BD%D0%B4%D0%B5%D0%BA%D1%81%7Csort:relevance/clickhouse/eUrsP30VtSU/p4-pxgdXAgAJ

Всем привет! Кто-нибудь подскажет, почему некорректно totals считаются? SELECT uniqExact(visit_id) AS visits, domain(page) FROM my_big_table SAMPLE 100 ARRAY JOIN page WHERE (project_id = 1337) AND (dt <= toDate('2018-03-31')) AND (dt >= toDate('2018-03-01')) GROUP BY page WITH TOTALS ORDER BY visits DESC ┌─visits─┬─domain(page)────────────┐ │ 2 │ news.yandex.ru │ │ 1 │ music.yandex.ru │ │ 1 │ mail.yandex.ru │ │ 1 │ news.yandex.ru │ │ 1 │ music.yandex.ru │ └────────┴─────────────────────────┘ Totals: ┌─visits─┬─domain(external_links)─┐ │ 4 │ │ └────────┴────────────────────────┘

а что именно некорректно?

По идее totals же должно быть суммой visits?

почему?