Во-вторых, в статье ничего нет про поддержку стартапов

Я ничего не знаю про поддержку стартапов Яндексом и ни разу такого не встречал, кроме Startup Camp

который закопали

А кто-нибудь знает когда будет готов issue с решардингом? https://github.com/yandex/ClickHouse/issues/198 Хотя б приблизительно)

кстати, для форматов тоже алиасы было бы удобно :-[ "TSV" вместо "TabSeparated", например

Можешь добавить уже сейчас, см. FormatFactory.cpp. Только напиши в коментариях, что это синоним, чтобы потом никто не запутался.

ну как минимум происходит вот так: clickhouse-client —host=my_server ClickHouse client version 1.1.54046. Connecting to my_server:9000. Connected to ClickHouse server version 1.1.54080. :)

Если клиент/сервер собирали сами, то может быть проблема с номером версии. Можно обновить клиент до последней версии и посмотреть, что всё будет Ок.

Можешь добавить уже сейчас, см. FormatFactory.cpp. Только напиши в коментариях, что это синоним, чтобы потом никто не запутался.

супер, спасибо! "BlockTabSeparated" -> "BlockTSV" или "TSVBlock"? мне кажется, второе логичнее

потому что уже есть TSVWithNames, TSVRaw и т.д.

супер, спасибо! "BlockTabSeparated" -> "BlockTSV" или "TSVBlock"? мне кажется, второе логичнее

Давай для Block - ничего не добавлять.

Дело в том, что этот формат сделан давно в тестовых целях (проверить, как отличается коэффициент сжатия) и вообще всерьёз не используется.

ребят, а у кого слайды под рукой есть с предыдущего митапа ? -) на роадмап хочется еще разок глянуть

В настройках чата - Photos and Videos

/stat@combot

=(

Добавьте @combot. Он статистику по сообщениям показывает)

Подскажите пожалуйста насчет toStringCutToZero. в доке написано, что она "возвращает String, удаляя нулевые байты с конца строки." Но toStringCutToZero('\0test\0') возвращает в итоге пустую строку, удаляя, судя по всему, всё после первого же встретившегося NUL-байта. я надеялся получить '\0test' на выходе, с честным отрезанием подряд идущих \0 только с правой части строки.

я просто заметил, что у меня некорректно работает проверка на пустой UUID, который так получилось, что начинался с '\0', а проверялся на пустоту (16 NUL-байт подряд) с помощью toStringCutToZero(uuid) = '' как раз :(

это бага или некорректное описание в доке?

Описание корректное но неполное. Концом z-строки очевидно считается первый встретившийся \0

ну это просто странно, с учетом того, что в FixedString могут храниться бинарные данные, ipv6 или uuid тот же :\

У бинарных данных обычно не требуется преобразовывать Z-string в string

справедливо %)

И если вы с бинарными данными работаете как с z-string - кто-то сам себе злобный буратино

ОКОК, меня значит просто смутила дока фразой "с конца строки"

а CutToZero не смутила? :)

смущала первое время, да :(

Hello! Combot is a service for community analytics. It will gather chat statistics, rate users for their activities and help admins in group management. I can share statistics link for this chat via /stat command. Link is always the same. Here's link for your chat.

/stat@combot

combot.org/chat/-1001080295593

интересно, что у них в качестве базы.

NaN%

Кстати об аналитике. Тут проскакивало про поддержку clickhouse в redash. Кто-нить пробовал? Я попробовал кучу разных ревизий (после той, в которой вмерджили КХ). Везде все разломано (ошибки js, неработающий функционал и тд.). Может только у меня такие проблемы?

Добрый день. Вопрос по INSERT (не нашёл ответа в мануле): если идёт вставка батчем и в процессе вставки происходит сбой, что произойдёт со вставляемыми данными? Вставится часть батча или ничего не вставится?

ну там всего два дня назад последник комит по кликсахус в redash был =) там автор пуллреквеста парень из Sports.ru попробуй у него спросить что и как?

Ничего, Андрей

Спасибо

запустил таки redash. взял последнюю стабильную версию (v0.12.0.b2449) и натянул на нее кликхаус. так работает вроде

redash это наподобие zeppelin?

redash это вроде aribnb superset или вроде metabase

superset вроде только в друид ходить умеет.

это же просто переименованный caravel ?

superset - переименованный caravel

он научился SQL делать а не только druid

через presto ?

друзья, привет!

намучались с ELK для логов и ивентов всяких. стоит пробовать кликхаус?

ага. а с чем намучались-то?

у нас пока немного данных и ивентов, но уже сейчас тяжело это всё мейнтейнить

ну, эластик плох как база

+ в него не вмещается много данных, приходится удалять старые индексы, либо переносить их на другие ноды, либо просто закрывать

хз, может мы его готовим просто плохо, но пока что от него столько боли. И так понятно, что у больших ребят для наших целей (логи + бизнес-ивенты, которые плохо кладутся в rdbms) kafka + че-нить с хадупом или кассандрой какой

на хайлоаде был на докладе про кликхаус, вот думаю попробовать

(у меня сейчас кластер yellow просто, сил нет больше)

а какие объемы в терабайтах и записях?

немного совсем, мы далеко не всё собиарем, что можем. у нас нет терабайтов)

записей немного, 300-400 документов в секунду

но нам бы хотелось больше

А что такое "документ" в вашем случае?

json документик с информацией: логом, ивентом

но мы быстро растем, примерно в 3 раза за год

ну как быстро, скорее, прогнозируемо :)

так же у нас в пейлоаде могут быть стектрейсы, например

кликхаус лучше себя ведет в том случае, когда этот документ имеет фиксированную типизированную структуру, которую перед заливкой распарсили и разложили в отдельные колонки.

из кликхауса так себе документоориентированная бд )

кликхаус лучше себя ведет в том случае, когда этот документ имеет фиксированную типизированную структуру, которую перед заливкой распарсили и разложили в отдельные колонки.

ну кстати парсить может даже необязательно, благо JSONEachRow есть

кликхаус лучше себя ведет в том случае, когда этот документ имеет фиксированную типизированную структуру, которую перед заливкой распарсили и разложили в отдельные колонки.

мы и в ELK так льём пока.

он тоже так лучше переваривает всё

а кстати к logstash никто плагин для кликхауса не пишет?

да, у нас есть часть строк типизированных, согласен

но если эксепшен, то там лютый стектрейс может быть

а если их много, то ухх

ну можно его в String хранить

я вот думаю, может велосипед не изобретать, а просто все ивенты аккуратно класть в mysql какой-нибудь, мы пока по нагрузке точно влезем в одну машину

а потом в эластик забирать и там уже копать логи

тут вопрос в том, использовать ли mysql или сразу тяжелой артиллерией - кассандрой какой или кликхаусом

А если отделить мух от котлет? логи отдельно, трейсы отдельно?

это надо всю систему переписать тогда. в принципе, норм идея тоже

еще у меня плохо сделано то, что данные льются прямо в эластик, а он крайне плох в этом плане

щас обновимся на es 5.1, сделаю две ingest ноды

селектов много или в основном инсерты?

инсерты; селекты тока от людей, их немного

и мониторинга

мускуль как промежуточная стораж?

да. просто в эластике данные хранить очень больно

мы сейчас переходим со связки mysql + elasticsearch на clickhouse идея была такая-же - первичку пишем в mysql (к elasticsearch нет доверия в качетсве первичного хранилища), там селектов не делаем, только перекладываем в elastic батчами. а вот elastic используем только для аналитических выборок но даже для этого с ним возникают регулярные проблемы (сейчас статус кластера - red). причем у нас тоже не очень большие объемы (50gb данных, причем оно живет на машинке с 64 гб оперативки). возможно мы его не умеем нормально готовить, но по ощущениям - очень капризный продукт

о, обнимемся, друг!!

а 64гб как распределены? хип у эластика 31гб?

у вас дефолт или вы настраивали? для одной машины можно убрать реплика шарды

но вообще зависит от количества шардов на эти 50гб

у нас дефолт. но там хип по-моему больше, в районе 40-50, не помню точно

на одной машине держать его это антипаттерн, кстати. а на трёх это БОЛЬ

но это в общем-то неважно пока то что clickhouse показывает на наших данных - это просто сказка. в использовании на порядок удобнее эластика (прежде всего из-за того что sql для выборок)

хип нельзя ставить больше 31, иначе оно переходит на неправильные поинтеры : D

:)) ну вот может сейчас статус тоже до yellow снизим )

так, отлично, вот хорошо, что я к вам пришел