Добрый день, Пишем в лог таблицу пустое значение в поле (string), которое затем перетекает в другую таблицу в виде Nullable(UInt8). При Insert Select идет проверка исходного поля. SELECT a FROM test ┌─a─┐ │ │ └───┘ Insert into test1 (b) select a=''?NULL:a from test; Attempt to read after eof: Cannot parse UInt8 from String, because value is too short. А вот когда делаем: Insert into test1 (b) select a!=NULL?a:NULL from test; работает. SELECT b FROM test1 ┌──b─┐ │ \N │ └────┘ Подскажите, в чем тут дело? Спасибо

дело в том, что вы пытаетесь вставить строку в числовую колонку

а clickhouse по сравнению с обычным sql несколько более строго типизирован.

когда вы явным образом что-то преобразуете, то есть немного больше уверенности в том, что получится то что вы ожидаете, а не "что-то". также например интересно, вот у вас a!=null ? a : null выдал null. на пустой строке, видимо. он ведь у вас вообще на любой строке это выдает? потому что с null не так надо сравнивать.

Спасибо, просто смутило то, что при a=''?NULL:a ClickHouse не обнаружил пустое значение в поле, хотя оно там есть (по крайней мере визуально, вместо \N).

действительно. скорее всего это объясняется еще одной особенностью поведения clickhouse, он вычисляет обе ветки if

Спасибо, будем знать

https://clickhouse.yandex/presentations/uwdc/#29

Спасибо!

Коллеги, привет! Подскажите, пожалуйста, есть ли где -то сравнение кликхауса с BigQuery?

есть вот такой набор сравнений http://tech.marksblogg.com/benchmarks.html

sad

есть вот такой набор сравнений http://tech.marksblogg.com/benchmarks.html

насколько показательно сравнение из этой статьи?

насколько показательно сравнение из этой статьи?

ну он там подробно методологию и шаги описывает по каждому тесту чтоб было понятно

просто в одном месте кластер, в другом видеокарта, а потом обычный проц

MergeTree(pickup_date, pickup_datetime, 8192) SELECT cab_type, count(*) FROM trips_mergetree GROUP BY cab_type SELECT passenger_count, avg(total_amount) FROM trips_mergetree GROUP BY passenger_count SELECT passenger_count, toYear(pickup_date) AS year, count(*) FROM trips_mergetree GROUP BY passenger_count, year SELECT passenger_count, toYear(pickup_date) AS year, round(trip_distance) AS distance, count(*) FROM trips_mergetree GROUP BY passenger_count, year, distance ORDER BY year, count(*) DESC

как сравнить bigQuery и запрос на Intel Core i5 4670K конечно, не очень понятно

структура таблицы малость не подходит под запросы

ClickHouse C++ Meetup https://events.yandex.ru/events/meetings/16-May-2018/

Опубликовано видео с мероприятия "Субботник по базам данных": https://events.yandex.ru/events/yasubbotnik/31-march-2018/

спасибо за видео ?

ClickHouse C++ Meetup https://events.yandex.ru/events/meetings/16-May-2018/

Руководитель группы Алексей Миловидной  ошибка?

Какой сейчас статус по update/delete?

Ребят подскажите пожалуйста, как добиться от семплирования равномерного распределения результата? Возможно ли это? Какой у SAMPLE алгоритм?

алгоритм у sample такой. условие sample 0.x равносилен условию sample_expr < 0.x*max_value(typeof(expr))

Ребят подскажите пожалуйста, как добиться от семплирования равномерного распределения результата? Возможно ли это? Какой у SAMPLE алгоритм?

а вам нужно равномерное распределение чего

результата который возвращает select с семплированием, но понимаю он не о том

необходимо иметь возможность получить значения через равные промежутки времени, управляя размером промежутка. на входе данные с гранулярностью 1sec

и как вы хотите сделать это с помощью семплирования?

уже получается никак

select from table sample 1sec действительно не работает. а какие вам нужны значения, может просто погруппировать по секунде?

значения нужны разные в зависимости от запроса. сбор например идет каждую сукунду но нужно иметь возможность получить значения с разными интервалами (5s, 10s, 30s, 60s, 1800s ... -> строить графики). подумал может это както на стороне базы можно решить не созраняя в отдельных таблицах

а как вы это делаете в любой другой базе?

group by time

но что-то тут в доке не могу найти как это сделать

для некоторых гранулярностей есть toStartOf фунции, для остальных можно поделить на нужный шаг

ага выглядит как то что нужно, благодарю

Руководитель группы Алексей Миловидной  ошибка?

Спасибо! Говорят, у них спелл-чекер меня не узнаёт. Исправили.

Где можно почитать по тем метрикам, что КХ отправляет в графит?

Сейчас документации по этим метрикам нет.

Печаль

yandex/ClickHouse was tagged: v1.1.54378-stable Link: https://github.comhttps://github.com/yandex/ClickHouse/releases/tag/v1.1.54378-stable Release notes: v1.1.54378-stable

@clickhouse_ru

есть ли в клике функция или метод, которые позволяют быстро определить принадлежит ли тот или иной ipv4/6 набору подсетей?

Нет.

Впрочем, можно использовать словари типа trie.

Они позволяют классифицировать IP адреса по подсетям, как например, для geoip задачи.

Впрочем, можно использовать словари типа trie.

Спасибо, будем смотреть

есть ли в клике функция или метод, которые позволяют быстро определить принадлежит ли тот или иной ipv4/6 набору подсетей?

Вы случаем не в Роскомнадзоре работаете?)

Вы случаем не в Роскомнадзоре работаете?)

?????

лол

??

?

?????

есть ли в клике функция или метод, которые позволяют быстро определить принадлежит ли тот или иной ipv4/6 набору подсетей?

слышал это вы заблокировали 600к айпишников в амазоне

Интересно, какого это работать на Роскомнадзор... Наверное, потом ночью кошмары снятся)

есть ли в клике функция или метод, которые позволяют быстро определить принадлежит ли тот или иной ipv4/6 набору подсетей?

Может быть подойдет: >IPv4NumToStringClassC(ipv4) IN ('123.123.123.xxx', '123.123.124.xxx', '123.123.125.xxx', ...)

минуту назад пришло письмо [members-discuss] Russian government blocked 2mln IPs at 16/04/2018 Умоляю остановитесь.

На Хабре уже разразились статьёй: https://habrahabr.ru/post/353630/

толку то, право голоса свое прокакали 18го, теперь 6 лет будте добры хавайте что дают

есть ли в клике функция или метод, которые позволяют быстро определить принадлежит ли тот или иной ipv4/6 набору подсетей?

можно приводить ip к подсети SELECT IPv4NumToString(bitAnd(IPv4StringToNum('127.0.0.100'), IPv4StringToNum('255.255.255.0'))) IPv4StringToNum - переводим в int bitAnd - накладываем битовую маску на ip IPv4NumToString - обратное преобразование int -> ip

т.е. применяя bitAnd с ip и маской всегда получается адрес подсети

если адрес подсети совпадает это значит, что ip входит в сеть

Ip_trie словарь со списком всех интернет сетей и автономок, connection_log на несколько миллиардов строк, и запрос с группировкой и сортировкой по номеру автономки отрабатывает за разумное количество секунд.

Товарищи, есть таблица table, примерно 10 Гб (Engine=Log). Пытаюсь выполнить пободный запрос: CREATE TABLE new_table Engine=Log AS SELECT id, argMin(A, id), argMin(B, id), argMin(C, id), argMin(D, id), argMin(E, id), argMin(F, id) FROM table GROUP BY id Запрос требует около 30 Гб. Есть ли способ уменьшить память для выполнения запроса?

Товарищи, есть таблица table, примерно 10 Гб (Engine=Log). Пытаюсь выполнить пободный запрос: CREATE TABLE new_table Engine=Log AS SELECT id, argMin(A, id), argMin(B, id), argMin(C, id), argMin(D, id), argMin(E, id), argMin(F, id) FROM table GROUP BY id Запрос требует около 30 Гб. Есть ли способ уменьшить память для выполнения запроса?

Да, есть. Нужно выставить max_bytes_before_external_group_by в нужное вам значение

Ну у вас там таблица наверно на тридцать гигов получается, уберите группировку и по идее должно полегчать, так как чтобы отсортировать ему нужна полность таблица

Да, есть. Нужно выставить max_bytes_before_external_group_by в нужное вам значение

Спасибо, понимал, что должен быть параметр, но не увидел его

Ребят, как лечить ошибку "502 Bad Gateway" выходит при создании таблицы

отказаться от нгинкса

Ребят, как лечить ошибку "502 Bad Gateway" выходит при создании таблицы

Таймауты покрутить

Таймауты покрутить

504 это timeout а тут похоже кто-то обрывает соединение с nginx до получения ответа

или просто proxy_pass на nginx не на тот IP настроен

спасибо, nginx гляну

504 это timeout а тут похоже кто-то обрывает соединение с nginx до получения ответа

Точно )

О, группа за 1.5к перешагнула :)

Ребят, как лечить ошибку "502 Bad Gateway" выходит при создании таблицы

Обычно такое когда nginx не может подсоединиться к апстриму. Кх в докере? Порт наружу проброшен?

Обычно такое когда nginx не может подсоединиться к апстриму. Кх в докере? Порт наружу проброшен?

КХ не в докере, порт проброшен.

КХ не в докере, порт проброшен.

Тогда в логах nginx должна быть информация что не так с апстримом.

Тогда в логах nginx должна быть информация что не так с апстримом.

хорошо, гляну, еще не заглядывал. спасибо

@milovidov_an а почему не взяли нормальные trie из rbldnsd?

судя по коду btrie, там наивный алгоритм без сжатия

@milovidov_an а почему не взяли нормальные trie из rbldnsd?

Marek Vavruša в английском чатике может сказать почему, т.к. он словарь делал

ну, мне не очень-то интересно, просто сам долго искал хорошую реализацию, даже одно время сам сочинил path compression алгоритм

но в итоге остановился на level compressed trie от rbldnsd, тупо потому что лукапы в 10 раз быстрее

даже на v4, не говоря уж о v6

Я думаю Marek'у это будет интересно, им в Cloudflare обычно важна производительность

Добрый день, поднял старые бекапы. Но выборки перестали работать. Запрос падает с DB::Exception: Size of filter doesn't match size of column. Версия 1.1.54370. Подскажите, что можно сделать? Кастование полей к их типу поможет? Думается мне что в той партиции были альтеры по ресайзу колонки в большую сторону.. но точно сказать не могу

Проблема ушла с новым релизом! Спасиб

@kshvakov Кирилл, добрый день. Скажите, пожалуйста, планируется ли в будущем прикручивать возможность подключения справочников из postgresql, а так же будет ли возможность хранить пользователей в какой-либо внешней базе, вместо прописывания в xml файле?