Народ, а где core dumps для КХ создаются?

Я в статье описал концепцию с миграциями, и открыл наш тулл для миграции - он не доделан но вполне рабочий... мы им пользуемся в проде. Он очень похож на анзибл и д.р инструменты, знаний php там не требуется, в git лежат правила. Каждое правило состоит из sql's которые накатываем и с список которые откатываем. php самый минимум в правилах/рецептах. Сейчас доработка не планируется - т.к ждем из коробки решения в самом CH

Спасибо будем думать

Народ, а где core dumps для КХ создаются?

Это зависит от настроек ядра - понять можно командой cat /proc/sys/kernel/core_pattern

|/usr/share/apport/apport %p %s %c %P и куда смотреть?

Хм. Вот тут пишут, что core_pattern на контейнер установить нельзя: http://stackoverflow.com/questions/39136601/changing-proc-sys-kernel-core-pattern-file-inside-docker-container Соответственно он взялся из хост-системы. Такой паттерн значит, что запускается программа apport и core-файл отправляется на её стандартный вход. Поскольку в контейнере она не установлена, видимо core-файл потерян.

а я сейчас попробую это сейчас исправить так, обычные MergeTree создаются нормально падает только на ReplicatedMergeTree ... сейчас попробую запрос упростить как можно сильнее

а я сейчас попробую это сейчас исправить

так дело точно не в кол-ве свободной памяти

щас попробую zetcd на zookeper заменить

всем привет подскажите, может у кого-либо есть опыт использования Druid в продакшене? Интересует сравнение с CH на маштабе 200 млрд событий/сутки, примерно. Либо может где-то уже есть сравнения, а я просто не могу найти?

Я в статье коротко описал сравнение https://m.habrahabr.ru/company/smi2/blog/314558/

да, проблема в zetcd =( рано я вчера порадовался

:(

щас посмотрим что там по сети ходит... интересно же никто случайно для wireshark не подскажет нормального анализитора пакетов для zookeeper protocol ??

сходу такой не гуглится можно исходники клиентов посмотреть http://www.arinkverma.in/2013/05/understanding-zookeeper-protocols.html вот обзорная статья какая-то нашлась

https://github.com/twitter/zktraffic щас это попробую как то прикрутить

хмм... я не знаю что я сделал но оно заработало <Debug> zetcd_test.test_replicated (StorageReplicatedMergeTree, RestartingThread): Activating replica.

https://github.com/Slach/clickhouse-zetcd

если у кого то есть время поиграться со стендом ... сообщите результаты в личку пожалуйста?

=(( ай блин это все стандартный zookeeper

https://github.com/yandex/ClickHouse/issues/777 в общем ребята, посмотрите если не сложно стенд который я собрал на досуге

Добрый день! коллеги а никто не сравнивал производительность КХ с СУБД на ГПУ (типа MAPD)?...

Aleksey была статья выше

с обсуждением

в районе 9го мая

с обсуждением

спсб видел... но там скажем так заинтересованное лицо было (ибо железо странное в тестах...)... а независимые (ну или условно независимые) тесты никто не делал? и что сами ребята из яндекса по поводу такого движка как ГПУ думают? не спрашивали в кулуарах?

если я правильно понял, то результаты заоблачные в mapd получаются тогда, когда данные в памяти GPU размещаются

Это же сколько надо видях воткнуть чтобы 1 тб прогрузить?

если я правильно понял, то результаты заоблачные в mapd получаются тогда, когда данные в памяти GPU размещаются

Как я понял в этом и заключается логика работы всего софта работающего с gpu

кстати, кликвью тоже все в памяти хранит )

те кому нужны эти микросекунды, те готовы приобретать такое оборудование

т.е. это достаточно нишевый продукт получается

Угу

В обалке эти теслы стоят космических денег

может какой-то микротрейдинг с реалтайм аналитикой и подобное

Ребят а вообще существует драйвер java для clickhouse чтобы его внедрить в какую нибудь migrate tool ?

Ребят а вообще существует драйвер java для clickhouse чтобы его внедрить в какую нибудь migrate tool ?

в поиске по чату. Несколько раз точно говорили

Ребят а вообще существует драйвер java для clickhouse чтобы его внедрить в какую нибудь migrate tool ?

https://clickhouse.yandex/reference_ru.html#JDBC%20драйвер

https://clickhouse.yandex/reference_ru.html#JDBC%20драйвер

есть мысль подключить драйвер для liquebase. это как реально ?

Я там ваше кидал

цитату овнера

mapd

But having said that, Mostak was willing to put some error bars on the top-end price. On a system with eight Tesla K80s, which might cost somewhere between $60,000 to $70,000, the license for the MapD stack would be “a small multiple” of this hardware cost.

причем тут mapD ?

см выше

там про мапд

спрашивали

а сори

Это же сколько надо видях воткнуть чтобы 1 тб прогрузить?

40 видюх где-то )

кошмар ваще

Ребята подскажите, есть запрос который возвращает аггрегат avg(score). Можно ли как то воспользоватся полученным и вычислить min и max от avg с наименьшим ресурсопотреблением? ну то есть min (avg (score)) и включить в общий вывод

Vladimir SELECT min(avg_score) FROM ( SELECT avg(score) FROM ... GROUP BY .. ) t ?

Vladimir SELECT min(avg_score) FROM ( SELECT avg(score) FROM ... GROUP BY .. ) t ?

и включить в общий вывод

Ребята подскажите, есть запрос который возвращает аггрегат avg(score). Можно ли как то воспользоватся полученным и вычислить min и max от avg с наименьшим ресурсопотреблением? ну то есть min (avg (score)) и включить в общий вывод

https://clickhouse.yandex/reference_ru.html#%D0%AD%D0%BA%D1%81%D1%82%D1%80%D0%B5%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5%20%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F

https://clickhouse.yandex/reference_ru.html#%D0%AD%D0%BA%D1%81%D1%82%D1%80%D0%B5%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5%20%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F

Спасибо! Гляну. Просто не хотелось бы два раза селектить и потом join

https://clickhouse.yandex/reference_ru.html#%D0%AD%D0%BA%D1%81%D1%82%D1%80%D0%B5%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5%20%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F

почти то что надо но не то, так в формате JSON еще можно понять где экстремы. В остальных форматах название столбца для экстремума тоже что название столбца(ов). Как получить значения в той же wso2 большая загадка - так как 1. запрос идет через драйвер и наверное extremes надо выставлять глобально, что неудобно 2. Необходимо промаппить результат по полям которые одинаковые))

в стандартные возможности это вряд ли укладывается, т.к. с точки зрения реляционной алгебры максимумы минимумы - это такая функция из отношения в отношние (из одной строки и 2n столбцов), и добавление их к основному ответу превращает обычный прямоугольный ответ в объединение цифр с некоторым соглашением про их смысл. в json их можно выдать, т.к. он поддерживает произвольную структуру, в tsv например начинаются неоднозначности.

поэтому либо plain old sql несколько раз, либо какие-то расширенные флажки и форматы. а как вы такие вещи делаете не в clickhouse?

в стандартные возможности это вряд ли укладывается, т.к. с точки зрения реляционной алгебры максимумы минимумы - это такая функция из отношения в отношние (из одной строки и 2n столбцов), и добавление их к основному ответу превращает обычный прямоугольный ответ в объединение цифр с некоторым соглашением про их смысл. в json их можно выдать, т.к. он поддерживает произвольную структуру, в tsv например начинаются неоднозначности.

Это все ясно. Просто можно давать в качестве ответа хотя бы max(название столбца) или min (название) .

и размножать одно значение для каждой строки?

и размножать одно значение для каждой строки?

да.

и размножать одно значение для каждой строки?

если идет выборка по небольшому количеству столбцов (как говорится логика работы КХ) то это не так ресурсоемко

@ztlpn возможнов в таблицу system.dictionaries стоит добавить колонку обновления конфига?

Было бы шикарно

Пытаюсь скрещивать между собой Ch и pentaho DI. Наткнулся на такую неприятную багу: 2017/05/10 14:09:45 - Table input.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException: 2017/05/10 14:09:45 - Table input.0 - Couldn't get row from result set 2017/05/10 14:09:45 - Table input.0 - java.text.ParseException: Unparseable date: "2016-05-18" т.е. столбцы с датой парсятся некорректно. Есть идеи как это побороть?

Пытаюсь скрещивать между собой Ch и pentaho DI. Наткнулся на такую неприятную багу: 2017/05/10 14:09:45 - Table input.0 - ERROR (version 7.0.0.0-25, build 1 from 2016-11-05 15.35.36 by buildguy) : org.pentaho.di.core.exception.KettleDatabaseException: 2017/05/10 14:09:45 - Table input.0 - Couldn't get row from result set 2017/05/10 14:09:45 - Table input.0 - java.text.ParseException: Unparseable date: "2016-05-18" т.е. столбцы с датой парсятся некорректно. Есть идеи как это побороть?

Если только начинаете и не работает, то можете попробовать Talend, по нему мы можем подсказать :)

Не, Talend не хотелось бы)

ибо а) pentaho-server б) интерфейс у talend-а рисовали какие-то инопланетяне

Сам по себе pentaho работает - не работает table input из ClickHouse для столбцов с датами

toString() как бы спасает, но хотелось бы более прямого способа

а какой формат дат у pentaho?

YYYY/MM/DD

https://xkcd.com/1179/

поэтому либо plain old sql несколько раз, либо какие-то расширенные флажки и форматы. а как вы такие вещи делаете не в clickhouse?

Кстати если б была функция runningMax или тп наподобие runningdifferencs то было б неплохо

Кстати если б была функция runningMax или тп наподобие runningdifferencs то было б неплохо

соглашусь, хотелось бы побольше running-функций, особенно runningSum

https://xkcd.com/1179/

Там все малость сложнее. DateTime обрабатывается корректно. в любом формате. проблема именно с Date. и мне пока не ясно кто тут крайний - pentaho или сама жаба

Доброго времени суток, может кто то соорентировать что будет быстрее: Изходя из того что данных в кликхаусе 10ТБ вариант первый: CPU 8 Потоков RAM 8 1ТБ RAID-1 replication factor 2 всего 20 Серверов Вариант второй CPU 16 потоков RAM 8 2ТБ RADI-1 replication factor 2 всего 10 Серверов

по теме не отвечу, но бросается в глаза то, что сервера вроде неслабые, а памяти с гулькины слезы

как-то не по современому

Доброго времени суток, может кто то соорентировать что будет быстрее: Изходя из того что данных в кликхаусе 10ТБ вариант первый: CPU 8 Потоков RAM 8 1ТБ RAID-1 replication factor 2 всего 20 Серверов Вариант второй CPU 16 потоков RAM 8 2ТБ RADI-1 replication factor 2 всего 10 Серверов

все сильно зависит от того как именно вы их будете нагружать

по памяти скажу так, что надо много памяти там где делаются запросы. на тех серверах что не обрабатввают запросы память практически не расходуется. по крайней мере заметил такое на нашей конфигурации

постоянная запись. и редкое чтение

возможно вы и правы

но это уже тонкое понимание вашей конфигурации

по памти планирую два сервера с 64ГБ памяти под запросы

вопрос что лучше концептуально - много маленьких или поменьше но чуть жирных, из ходя из того что дисковая подсистема это RAID1 и для маленьких и для жирненьких. это вероятно уже медленно на наше время но все же.

если диски одинаковые, если сеть одинаковая (1Gb) и ваш коммутатор держит общую возможную нагрузку, то выходит 20 серверов лучше масштабируются по сетевому IO

при всяких ребалансировках и, наверное, некоторых запросах надо будет передавать меньшее кол-во данных через сеть с одного сервера

Добрый день! коллеги а никто не сравнивал производительность КХ с СУБД на ГПУ (типа MAPD)?...

Почему-то упоминаются только крайности. Хотя есть промежуточный вариант :)

проблема ALTER TABLE <table> ADD COLUMN <new> String DEFAULT <old> AFTER <old>;

https://clickhouse.yandex/reference_ru.html#%D0%AD%D0%BA%D1%81%D1%82%D1%80%D0%B5%D0%BC%D0%B0%D0%BB%D1%8C%D0%BD%D1%8B%D0%B5%20%D0%B7%D0%BD%D0%B0%D1%87%D0%B5%D0%BD%D0%B8%D1%8F

вопрос по extremes - можно ли его задать для пользователя, для jdbc драйвера?

в профиле по-моему можно, для драйвера - это как? ClickHouseQueryParam такой есть, в ClickHouseProperties можно задать.

в профиле по-моему можно, для драйвера - это как? ClickHouseQueryParam такой есть, в ClickHouseProperties можно задать.

Задал в профиле не сработало... Задал в драйвере - тоже. Просто хотел взглянуть что отдается если делать запрос не клиентом кх. Не судьба.