@milovidov_an не хватает тестов физической железки в ряду =(

И контейнеров! :)

какой instance предпочтитетльнее для работы КХ?

железный :)

из списка который есть

это очень мало

надо апгрейдить виртуалку

она съела все кредиты

почитай что это такое

да я почитал

я создаю c4.xlarge инстанс

думаю он спасет)

и еще одна проблема мы используем gp2 диск на 100 гигов. а это всего 300 IOPS что может тормозить дополнительно

кликхаус создан чтобы работать на не очень быстрых дисках

ничего себе не на быстрых. по 5 тыс IOPS

обычная сата - это от силы 200-300 IOPS

и клихаусу вполне хватает

в общем наша ошибка была в том что мы взяли T2 инстанс под кх. он съедал кредиты цпу мигом и потом тормозил

Кто-то может подсказать как можно в КХ просуммировать по следующей логике. Есть вот такой результат https://img.facedsid.ru/6e9wq.jpg Суммировать нужно все, что между строками у которых skip = 1 :) При этом еще как то умудриться выдернуть первый eventTime который лежит в промежутках между skip = 1 и собственно на выходе должно получиться что-то вроде: 2016-11-09 18:43:08 - 29 2016-11-09 19:52:08 - 1318 и т.д.

Суммировать нужно колонку duration )

в общем наша ошибка была в том что мы взяли T2 инстанс под кх. он съедал кредиты цпу мигом и потом тормозил

ну т2 надо понимать зачем использовать, так то это отличная штука

ну т2 надо понимать зачем использовать, так то это отличная штука

да согласен переборщили отдав такой инстанс на кх

@maksim_melnichuk я бы сказал, что это хорошая идея (и по бюджету и в целом) вынести DWH за пределы Amazon'а. Под DWH я понимаю все что хранить данные которые нужны для анализа вашими аналитиками, а не реально для работы системы

вынести это куда-нибудь в хецнер - будет скорее всего ощутимо дешевле

и при этом проблем с гипервизором не будет

online.net люто рекомендую =)

вынести это куда-нибудь в хецнер - будет скорее всего ощутимо дешевле

привет) в ближайшие месяцы мы планируем с концам уехат на хецнер, т.к. посчитали что это в 2 раза выгоднее по цене и полный контроль

ну там варианты уже ) не таких дорогих хостингов прям много

полный контроль... я бы НЕ РЕКОМЕНДОВАЛ если дорожите своим бизнесом %)

полный контроль... я бы НЕ РЕКОМЕНДОВАЛ если дорожите своим бизнесом %)

ну на самом деле с хецнером не так прям чтоб много проблем пока ты мелкий-средний

особенно если все в белую делать

просто надо иметь в виду что хецнер очень дешевый и в случаи чего виноват клиент по их мнению

хецнер это не для mission critical. точка =)

там как повезет, повезет с железкой - будет все ок долгие годы

хецнер это не для mission critical. точка =)

им сейчас можно доплатить чтобы железо было не БУ )

разово на каждую замену каждой железки

увы, это не решает

траст ми! айм энджинер!

ну точнее я 7 лет с ними работал с несколькими тысячами машин в саб-аренде

просто надо иметь в виду что хецнер очень дешевый и в случаи чего виноват клиент по их мнению

если сервер сдохнет они не несут ответственности ?

отвественность? о чем вы?

железка в месяц стоит дешевле чем ужин в ресторане

хетцнер используйте

если сервер сдохнет они не несут ответственности ?

у них нет SLA :)

сейчас насоветуют)

сейчас насоветуют)

Причем тут насоветуют? Конечно свое железо это оптимальное решение.

свое в своем дц со своим техником - маст, если mission critical :)

а иначе будут постоянно постмортемы в стиле "ну у нас облако упало, мы не виноватые такие"

@pavel_odintsov вопрос должен быть исходя из затрат и выгоды

если затраты на свой ДЦ превышают потери от падения - то как бы и ладно, пусть падает

ровно поэтому и хецнер ок, если ты стартап, например

потому что выгода превышает риск

много кто советует хетцнер, но там же есть ограничения по траффику. аще не комильфо.

они наружу же, а не во внутренней сети

внутри можно ваще свич свой попросить и в стойку влепить :)

А кто-нибудь пробовал clickhouse на RPi

?

внутри можно ваще свич свой попросить и в стойку влепить :)

не вариант для тех, у кого свои ноды по локациям распределены

увы тогда

подскажите, какой наиболее оптимальный порядок полей в первичном ключе например, есть колонки в PK дата, id сайта, id страны причем стран гораздо больше, чем сайтов какая комбинация выгоднее: (date, id сайта, id страны) или (date, id страны, id сайта)?

id сайта, id страны

А дату какой смысл тащить туда? Она и так PK

у меня просто ReplacingMergeTree и дата нужна для замены ок, спасибо т.е. более вариативный столбец ставим после менее вариантивного

Да, верно.

подскажите, какой наиболее оптимальный порядок полей в первичном ключе например, есть колонки в PK дата, id сайта, id страны причем стран гораздо больше, чем сайтов какая комбинация выгоднее: (date, id сайта, id страны) или (date, id страны, id сайта)?

зависит от того, какие будут запросы. если они всегда включают фильтр по id сайта и диапазону дат, то лучше (счетчик, дата), если нет, то могут быть разные варианты.

подскажите пожалуйста, возможно ли настриоть хранение данных на двух дисковых массивах одного сервера? к примеру: данные за последний месяц на первый(SSD), остальные данные на второй(SATA).

а у КХ есть какой нибудь флаг дебага для запуска из консоли? а то > clickhouse —extract-from-config —config-file=/etc/clickhouse-server/config.xml —key=path > /work1/clickhouse/ и все, процесс не поднимается

А кто-нибудь пробовал clickhouse на RPi

RPI есть 3 разные версии, 2 их них 32 бит - на них никак. версия 3 - 64 бит, на ней запустить можно. Но в ней только 1g ram .

RPI есть 3 разные версии, 2 их них 32 бит - на них никак. версия 3 - 64 бит, на ней запустить можно. Но в ней только 1g ram .

Я про 3-ю, но понятно. Просто ищу timeseries бд на нее.

если хочется с такими железками поиграть - лучше odroid c2 , там и памяти 2g и процессор побыстрее

и еще особенность - clickhouse сейчас не собрать на железке с 2gram, а своп изнасилует sdкарту и если и соберется - очень долго

а у КХ есть какой нибудь флаг дебага для запуска из консоли? а то > clickhouse —extract-from-config —config-file=/etc/clickhouse-server/config.xml —key=path > /work1/clickhouse/ и все, процесс не поднимается

так, попырил сырцы, все просто, —stacktrace —log-level debug

так, попырил сырцы, все просто, —stacktrace —log-level debug

хотя, один чорд понятнее не стало, почему не взлетает > $ clickhouse —extract-from-config —config-file=/etc/clickhouse-server/config.xml —key=path —stacktrace —log-level debug > 2017-06-20 07:52:20.029 <Warning> ConfigProcessor: Include not found: clickhouse_compression > /work1/clickhouse/

лог создается?

лог создается?

лог остался от того кликхауса, который ставил до этого из пакетов, и он не обновляется, в том и беда

попробовал от sudo -u clickhouse -g clickhouse, не помогло

gdb -ex run --args clickhouse —config-file=.........

prll сорян, я кажется олень. —extract-from-config и key нафиг не нужный были. но это я из rc скриптов пытался выдернуть, чтобы понять. почему же не стартует

чот я жостко протупил :) это же не строка запуска, а получение ключа из конфига, по именам же понятно, а я баклан не ту строчку поди взял ?

А кому-нибудь еще хочется поднять clickhouse на arm железках? если да, то 32 или 64бит ?

Я про 3-ю, но понятно. Просто ищу timeseries бд на нее.

Я б посоветовал брать виртуалки с армв8 и собирать на них.

Я б посоветовал брать виртуалки с армв8 и собирать на них.

Ок, подумаю

Я про 3-ю, но понятно. Просто ищу timeseries бд на нее.

Я б посоветовал взять графит на самом деле, кх кажется оверкилл

В простом случаи go-carbon + carbonapi + grafana

Спс

Поставили c2.xlarge (4 ядра и 8 гигов ram). выполняется 3 запроса каждые 5 сек. по 100 млн read rows. 1 ядро съедает все. если запустить большой запрос на выборку в добавок то получится 2-3 ядра будут забиты. как держать нагрузку если 100 человек захотят получить данные статистики если уже при нескольких запросов такой сервер съедает. percent-steal 0%

Поставили c2.xlarge (4 ядра и 8 гигов ram). выполняется 3 запроса каждые 5 сек. по 100 млн read rows. 1 ядро съедает все. если запустить большой запрос на выборку в добавок то получится 2-3 ядра будут забиты. как держать нагрузку если 100 человек захотят получить данные статистики если уже при нескольких запросов такой сервер съедает. percent-steal 0%

а вы что конкретно делаете и для какой аудитории? )

А кому-нибудь еще хочется поднять clickhouse на arm железках? если да, то 32 или 64бит ?

на самом деле, мне надо докупить ссдшку и у меня будет дома относительно шустрая ARMv7 железка

могу на ней даже регулярно собирать, если будет шанс что ваще КХ будет собираться

а вы что конкретно делаете и для какой аудитории? )

ну теже графики построить на основе статистики в кх

ну или воткнуть диск от ноута

ну теже графики построить на основе статистики в кх

а зачем там 100 человек одновременно?

шлется запрос получаются агрегационные данные - строится график

у каждого зарегистрированного пользователя есть свои графики (дашборд)

Поставили c2.xlarge (4 ядра и 8 гигов ram). выполняется 3 запроса каждые 5 сек. по 100 млн read rows. 1 ядро съедает все. если запустить большой запрос на выборку в добавок то получится 2-3 ядра будут забиты. как держать нагрузку если 100 человек захотят получить данные статистики если уже при нескольких запросов такой сервер съедает. percent-steal 0%

возьмите уже с них по 1 евро и арендуйте сервер ;)

возьмите уже с них по 1 евро и арендуйте сервер ;)

и так выходит 200$ в месяц этот кх сервер который не держит даже 10 запросов