чем отличается?

если у меня нет нутаникса, то нет, другая.

я как пример привел

что в виртуалках, что в докере -- состояние базы надо скидывать на shared storage

1. если репликация не синхронная, автоматом перезапускать нельзя. Потому что ты кладёшь на оркестратор бизнес-решение - ок или не ок потерять данные

тут не в докере дело

что в виртуалках, что в докере -- состояние базы надо скидывать на shared storage

нет, про докер точно неверное утверждение.

для докера volume - внешнее состояние

тут не в докере дело

да, дело в оркестраторе.

тогда при чем тут докер

:)

этак и ESXi может сдуру на другой хост все потянуть

тогда при чем тут докер

ну, если читать всю дискуссию, то есть мнение (не моё), что докер без оркестраторов не нужен. И, в принципе, оно не то, чтобы безосновательное

пакетный менеджер - тоже не нужен

Вот что точно не нужно - так это использование докера как пакетного менеджера

пакет - более мелкий элемент

вот не хочется право же с ним работать

иначе потом для инсталляции приходится адские playbook'и городить

когда своих сервисов с пару десятков, и еще чужих десяток нужен

и все это должно работать на основных дистрах линукса и на фре до кучи

docker image можно собирать из пакетов, если хочется

фрю в 2016 году пора бы уже закопать

пользователям это раскажите :)

пакетные менеджеры пора бы закопать

во всем их многообразии

Будущее - за менеджерами пакетов контейнеров

подскажите, почему count может вызывать ошибку? SELECT COUNT(date) FROM test Received exception from server: Code: 42. DB::Exception: Received from localhost:9000, 127.0.0.1. DB::Exception: Passed 1 arguments to nullary aggregate function count.

count() вызывается без аргументов

если надо посчитать уникальное кол-во дат, есть, например, uniqExact(date) и более быстрая/менее точная uniq(date)

а чего? есть в чатеге те кто юзают nutanix активно?

count() вызывается без аргументов

ясно, спасибо

кстати, интересно, а после того, как добавят NULLы, появится count(expr)?

наверное, оно не надо, если все равно есть countIf()

А есть какой-нибудь механизм сделать бекап на уровне бд аналогично alter table freeze partition, но чтобы в одном каталоге в shadow получить бекап всех таблиц сразу, а не по одной на каталог?

Для всех таблиц сразу такого нет.

Мы уже месяцев 5 используем без проблем

коллеги, привет. У наших админов возник вопрос - является ли хорошей практикой запускать кликхаус в докере?

Это было про докер

кто-нибудь юзает кликхауз на google cloud? я тут делаю бенчмарк и получаю странные результаты: селекты с сервера, на который не идут инсерты - X queries per second селекты с сервера, на который идут инсерты пачками по 5к строк (3-4 в секунду) - X + 20% queries per second с чем это может быть связанно?

c удачными последовательными чтением-записью на жесткий диск?

но ведь логично предположить, что сервер, на который нет записи будет выдавать как минимум ту же производительность?

ох, сории > селекты с сервера, на который идут селекты пачками по 5к строк (3-4 в секунду) - X + 20% queries per second *на который идут инсерты

тот же самый бенчмарк на выделенном сервере дает ожидаемый результат - производительность селектов при инсертах падает

Там есть задержка во времени между сбросом данных на диск и последующей их компрессией - возможно в этом все дело. Если лить гигабайты и следить за объемом базы - это очень хорошо заметно.

А скажите, есть ли в CH возможность делать массивы, например, Array(String) внутри Nested-структур?

:) CREATE TABLE arrstr (arrays Nested(s1 Array(String), s2 Array(FixedString(8)))) ENGINE = Memory; Ok. 0 rows in set. Elapsed: 0.114 sec. :) INSERT INTO arrstr (arrays.s1, arrays.s2) VALUES ([['s1n11', 's1n12'], ['s1n21', 's1n22']], [['s2n11', 's2n12'], [ 's2n21', 's2n22']]); Ok. 0 rows in set. Elapsed: 0.007 sec. :) SELECT * FROM arrstr; ┌─arrays.s1─────────────────────────────┬─arrays.s2─────────────────────────────────────────────────────┐ │ [['s1n11','s1n12'],['s1n21','s1n22']] │ [['s2n11\0\0\0','s2n12\0\0\0'],['s2n21\0\0\0','s2n22\0\0\0']] │ └───────────────────────────────────────┴───────────────────────────────────────────────────────────────┘ Ok. 1 row in set. Elapsed: 0.009 sec.

memory не всегда работает так же, как Log/Merge*

Кажется, что да. Но в моём лично кейсе вставка завершается успешно, и всё дальше хорошо, пока не пытаешься сделать select этого поля со вложенным массивом. Вот тогда сервер падает

Я использую CollapsingMergeTree

*сделать select этого поля

и правда. на mergetree воспроизводится. прии селекте эксепшн Received exception from server: Cannot read all marks from file /local/clickhouse/data/default/arrstr/19700101_19700101_2_2_0/arrays.size1.mrk

ЮХУ!

Только у меня он просто подвисает, а потом падает, без таких трейсов

а, я дурак, date забыл вставить

Короче, инсерт успешный, а селект из этого поля рушит сервер

где-то в доке было написано, что вложенные массивы работают только в Memory

может nested работает так же, как массив

А у вас воспроизводится на не-in-memory таблице?

у меня только эксепшн выше вопроизводится

а можно как-нибудь bar'у скормить максимальное значение через агрегатную функцию max() хотя бы через подзапрос? SELECT date, type, count() cnt, bar(cnt, 0, max(cnt), 50) FROM event GROUP BY date, type; думал как-то через массивы сделать, но туплю что-то а, нет, похоже нельзя, раз оно константное должно быть :(

никто еще не делал сравнения с эластиком случайно? интересно скорость и объемы сравнить

никто еще не делал сравнения с эластиком случайно? интересно скорость и объемы сравнить

Ниши кликхауса и эластика практически не пересекаются. Это как сравнивать яблоко и чай

мы делаем аналитику по кликам на еластике щас

вполне себе очень хорошо

объемы ~ярд за месяц

Разработчикам КХ на заметку — пора уже использовать в качестве основной характеристики их продукта "цену запроса", имеется в виду цену в $$$ :) Потому что про "scales to petabytes" и про "queries in milliseconds" пишет разработчик любой современной базы и поискового движка. Поэтому выбирать наверное уже нужно не просто по производительности, а по цене которой эта производительность достигается.

Кстати, из чистого любопытства — этого зверька кто-нибудь пробовал https://eventql.io/?

@roman_kolchin я думаю посмотреть на него если кликхаус под графит будет слишком сложен.

но под графит

меня смущает в первую очередь что у них нет биндингов для бинарного протокола под какие либо языки

только описалово

и протокол сложнее чем у кликхауса

Интересно на ком ребята его обкатывали или обкатывают.

А насколько надежен сам КХ и стабилен по сравнению с тем же эвент кью эль?

А насколько надежен сам КХ и стабилен по сравнению с тем же эвент кью эль?

ну кликхаус в продакшене в метрике яндексовой с 2013 года что ли

то есть тот сабсет что используется в метрике очень стабилен должен быть

А насколько надежен сам КХ и стабилен по сравнению с тем же эвент кью эль?

О! А это вторая киллер фича, которую нужно максимальным кеглем прибить на лендинг — со слов Виктора Тарнавского, КХ у них уже несколько лет в аптайме с каким-то диким кол-вом девяток.

а если вернуться к CH и TSDB. Кто какую схему бы можно было замутить в CH для того, чтоб хранить там метрики в стиле http://metrics20.org/?

@roman_kolchin я думаю посмотреть на него если кликхаус под графит будет слишком сложен.

у вас настолько большой графит?

у вас настолько большой графит?

2 с лишним миллиона метрик в секунду и 130ТБ виспер файликов без учета отказоустойчивости

что-то вроде Nested в Array обернуть? Как хорошо в этом случае будет фильтрация и поиск осуществляться?

а вы их умышленно в секунды перевели или вы правда их раз в секунду шлете?

а вы их умышленно в секунды перевели или вы правда их раз в секунду шлете?

это усредненно конечно

потому что я не представляю как посчитать отдельно по каждому ретеншену

2 с лишним миллиона метрик в секунду и 130ТБ виспер файликов без учета отказоустойчивости

у вас очень большой графит :)

у вас очень большой графит :)

возможно у кого-то есть больше, но они не признаются (есть подозрение что такого же масштаба в mail.ru и у гитхаба)

мы пишем 2 миллиона в _минуту_ на ноду, но оно в page cache сыплется, так что это мухлеж

а в виспере с какой детализацией храниться? секунда?

и на каком кластере у вас такое крутится?

а в виспере с какой детализацией храниться? секунда?

разной. Есть посекундные, по 10сек, по 60сек, по 5 минут, по 10, по часу, по дню

если виспер подкрутить чтобы оно не читал хидер перед каджой записью - вообще хорошо жить можно

но не на 2М в секунду :)

и на каком кластере у вас такое крутится?

м... ну мы написали маленькую софтинку на Го которая файлики читает и отает по протобуфу, еще одну софтинку на Го, которая спрашивает сервера и склеивает метрики со всех серверов в один ответ и еще на Го есть переписанный graphite-api