в сообщении выше видимо имеется в виду что к любому *MergeTree можно дописать Replicated, и получить название движка который поддерживает репликацию.

все *MergeTree реплицируются

Ну тогда и потестируем скорость, плюсом плюшка на будущее - репликация. Никто не спорит об оценки целесообразности репликации, но если есть возможность сделать базовое в среде которая в дальнейшем позволит перейти достаточно быстро и просто на репликацию, то некотрыми вещами можно и пожертвовать.

Выложено видео с последнего митапа: https://events.yandex.ru/events/meetings/12-dec-2017/ Все 7 докладов.

Нет, для нескольких одновременных запросов - не оптимизирует.

а можно что-то придумать? ну или может пнуть меня в нужном направлении, для графаны? суть такая: есть дцать серверов, на каждом по дцать дисков. хочется в графане получить дашборд в котором на каждый сервер по ROW и в row некторая статистика по всем дискам одного сервера. если так сделать тупо -- то графана отправит в кликхаус дцать отдельных запросов (по каждому серверу отдельный), что очевидно более чем неэффективно и будет тормозить адски, скорее всего. меня, впрочем. устроит и двойная группировка на одном графике, если одним кликом можно будет менять сервер, но кажется графана такого не умеет.

Графана умеет выбирать одним запросом несколько графиков. В частности, в плагине - это макрос $columns.

я говрил про другое.

Пффф...тогда не вижу проблемы написать прослойку, которая будет хранить прежнее состояние в redis (но fault tolerant) и дописывать в КХ уже новое состояние и тут же складывать его в redis.

Redis... fault tolerant... lol...

Redis... fault tolerant... lol...

Имелось ввиду так, что бы если редис брякнется, то ничего страшного не произошло

Аля, если дропнуть кеш в редисе, то ниче не помрет

Ок... Т.е. "сохраняем в редисе то, без чего можем прожить, а fault tolerant сохраним еще где-нибудь" Простите, у меня ни чем не обоснованная аллергия на редис :-(

Ок... Т.е. "сохраняем в редисе то, без чего можем прожить, а fault tolerant сохраним еще где-нибудь" Простите, у меня ни чем не обоснованная аллергия на редис :-(

Понимаю :)

На самом деле у нас редис падал один раз за год ) И то...случайно натолкали больше чем он может на диск сбросить. Это больше косяк был со стороны администрирования.

Начал ругаться, что не может дампнуть снепшот и поэтому "извините, я на запись ничего не принимаю"

я говрил про другое.

Есть довольно большая задача на похожую тему - чтобы одни выполняющиеся запросы могли брать промежуточные результаты обработки из конвейера других запросов. Но сейчас эта задача не делается.

тут мне кажется даже сложнее

@milovidov_an ping

@milovidov_an ping

Не смотрел. А можете переслать пример в личку? (а то трудно найти)

Не смотрел. А можете переслать пример в личку? (а то трудно найти)

пример там же сразу в следующем сообщшени, но могу и переслать

Вижу. Посмотрим...

Посмотрел видео с митапа с @alexanderzaitsev, у меня вопрос меркантильного характера: вдруг мы захотим выйти на Российский рынок консалтинга по КХ, что нас ждет, а на европейский ?

В копилку цитат Алексея: Хочу обрадовать - теперь этим не занимается никто :))

о )) Я не один тут туплю в монитор ))

В копилку цитат Алексея: Хочу обрадовать - теперь этим не занимается никто :))

Ситуация изменилась - сейчас занимается @proller

Я так и думал, что это Вы, Алексей (тот кто в 5 утра сидит у компа)

Вот отличная фраза: Вы можете доверять нам, но не нужно это делать на 100%. В точку!

Посмотрел видео с митапа с @alexanderzaitsev, у меня вопрос меркантильного характера: вдруг мы захотим выйти на Российский рынок консалтинга по КХ, что нас ждет, а на европейский ?

Спрашивайте, расскажу )

Всем предновогоднего настроения ))) Спасите, не могу мозг перевести в состояние Новогодний Релакс. Есть табличка в ней 100млн точек с gps координатами IdTochki, lon, lat. Необходимо с помощью CH создать табличку где будет поле с количеством соседей в радиусе 799 метров. Для вычесленя количества соседей для одной точки в радиусе 799метров использую запрос: select count(1) from gpstable where (pow(lon - 37.621837, 2) + pow(lat - 55.750213, 2)) < pow(180*799/(6371*1000*pi()), 2);

в кх есть какие-то недокументированные функции для проверки координат внутри круга

поищите в истории сообщений здесь

не нашел к сожалению, как не искал. Повторюсь из таблички IdTochki, lon, lat надо сделать IdTochki, lon, lat, CountSosedi

в кх есть какие-то недокументированные функции для проверки координат внутри круга

Да и запрос который есть рабочий, вопрос как для каждой записи просчитать количество соседей

SELECT * FROM system.functions WHERE name LIKE 'point%' ORDER BY name ASC

┌─name───────────────────┬─is_aggregate─┐ │ pointInEllipses │ 0 │ │ pointInPolygon │ 0 │ │ pointInPolygonCrossing │ 0 │ │ pointInPolygonFranklin │ 0 │ │ pointInPolygonWinding │ 0 │ └────────────────────────┴──────────────┘

@SergeyK007

чего-то я уже не соображаю, а что есть pow(180*799/(6371*1000*pi()), 2)?

я не знаю ответа на вопрос, сейчас пытаюсь сам разобраться. есть пример https://github.com/yandex/ClickHouse/blob/35215d077ee65d1ab13c0e91972679b0f7b46a63/dbms/tests/queries/0_stateless/00429_point_in_ellipses.sql

R = 6371 // radius of the earth in km

ага, уже заметил https://en.wikipedia.org/wiki/Great-circle_distance

https://carto.com/blog/inside/geospatial-processing-with-clickhouse/

можно конечно и на nodejs сделать, но запрос на нахождение соседей одной точки используя вышеописанные селект занимает 2 секунды (пока не оптимизировано) * 100милл и целой жизни не хватит ))

а если сделать как они описывают - индекс по тайлам quadkey

думаю уже об этом, но понятия не имею как тайлы создать в этой табличке

думаю можно найти где-то формулу расчета тайла, и потом создать новую колонку с дефаултом = этой формуле?

да

тогда потом построив индекс по тайлам можно будет находить соседей в пределах квадратной окрестности и дальше считать радиусное расстояние до соседей?

В принципе подходит искать количество соседей в заданном размере тайла - думаю будет существенно быстрее, не так точно конечно - но для моих задач вполне подходит

возможно это конечно легче на ЯП написать, но все-равно придется строить какой-то индекс по локальности точек, иначе это O(n**2)?

тут вопрос не легче ))) а вопрос времени )))

400 лет как то ждать не хочется )))

ну в смысле надо локальность точек примерную знать, иначе это перебор On**2

тут вроде есть математика(ссылка из начальной статьи) https://msdn.microsoft.com/en-us/library/bb259689.aspx

?

ну в смысле надо локальность точек примерную знать, иначе это перебор On**2

???

не силет в этом ((

задача такая - понять где находится точка. Грубо - в густонаселенной местности или в поле.

Подскажите, а можно ли как-то отфильтровать элементы массива? Мне нужно оставить только элементы, которые like '%user%'

Удивительно, что кто-то сейчас онлайн :)

Подскажите, а можно ли как-то отфильтровать элементы массива? Мне нужно оставить только элементы, которые like '%user%'

посмотрите в сторону функции has

посмотрите в сторону функции has

Не совсме то, во первых, мне нужно на выходе получить опять же массив, но содержащий только элементы нужные элементы. А во-вторых has ищет по точному соответствию, а мне нужно по содержанию.

Подскажите, а можно ли как-то отфильтровать элементы массива? Мне нужно оставить только элементы, которые like '%user%'

arrayFilter

arrayFilter

Спасибо большое! То, что нужно! А неизменность последовательности гарантируется?

Да, отфильтрованные элементы будут в том же порядке.

У кого есть желание отпраздновать НГ в ресторане в центре Москвы? Собственно, вышло так, что я остался наедине со своим пластиком и макбуком. Если есть среди присутствующих ещё иллитка в такой же ситуации, предлагаю отпраздновать вместе. Предполагаемое метро: Третьяковская, т.к. там всегда много жрален на любой вкус. P.S. Нищебродов, которые не могут себе даже ресторан позволить, прошу не беспокоить. :)

У кого есть желание отпраздновать НГ в ресторане в центре Москвы? Собственно, вышло так, что я остался наедине со своим пластиком и макбуком. Если есть среди присутствующих ещё иллитка в такой же ситуации, предлагаю отпраздновать вместе. Предполагаемое метро: Третьяковская, т.к. там всегда много жрален на любой вкус. P.S. Нищебродов, которые не могут себе даже ресторан позволить, прошу не беспокоить. :)

)) нищебродов которые не могут себе нормальный семейный праздник позволить...

Желание есть но мне до Москвы часа 4 ехать )

Тут люди юзают опенсорс, мы все нищеброды, короче сообщение явно не нашло целевую аудиторию

мы по-нищебродски, но зато не в одиночестве. Повод задуматься)))

Илитные проблемы))

Могу сдать в аренду жену, она за хорошую плату знатно испоганит Новый год)

)))

???

Дедушка мороз. Положи под ёлку апдейты в кх))

У кого есть желание отпраздновать НГ в ресторане в центре Москвы? Собственно, вышло так, что я остался наедине со своим пластиком и макбуком. Если есть среди присутствующих ещё иллитка в такой же ситуации, предлагаю отпраздновать вместе. Предполагаемое метро: Третьяковская, т.к. там всегда много жрален на любой вкус. P.S. Нищебродов, которые не могут себе даже ресторан позволить, прошу не беспокоить. :)

Пафосная сучка.

У кого есть желание отпраздновать НГ в ресторане в центре Москвы? Собственно, вышло так, что я остался наедине со своим пластиком и макбуком. Если есть среди присутствующих ещё иллитка в такой же ситуации, предлагаю отпраздновать вместе. Предполагаемое метро: Третьяковская, т.к. там всегда много жрален на любой вкус. P.S. Нищебродов, которые не могут себе даже ресторан позволить, прошу не беспокоить. :)

Забавы ради, скинь потом название ресторана где отдыхал .;)

а мне понравилось, все по делу. ТЗ норм.

а мне понравилось, все по делу. ТЗ норм.

Если это тз,то оплачивает заказчик

вот поэтому я и нищебро ?

С новым годом!!! Ура!!!!

Как мило☺️

а как кто с датами борется при использовании JDBC?

я имею в виду, что если записать unix timestamp 0, база возвращает 0000-00-00 00:00:00, и на выхлопе jdbc получается непонятно что

на ум приходит разве что toUInt64(days), где days Date, и потом что-то с этим делать локально

мне одному кажется ™©, что система типов КХ не очень ложится на jdbc?

//inb4 jdbc отстой, а что делать.

Коллеги, а HTTP source в dictionary не поддерживает следование 302 редиректам? Или какая то крутилка есть?

Добрый день! Подскажите, пожалуйста такой момент. Из документаци https://clickhouse.yandex/docs/en/table_engines/kafka.html - есть возможность publish\subscribe для kafka. Я вижу пример как читать из топика, а есть ли пример как писать в топик?

можете посмотреть запросы или примеры среди тестов в каталоге репозитория

но если что, интеграция с кафкой сделана, ЕМНИП, сообществом, а точнее, одной зарубежной компанией, и ей, в основном, и поддерживается