Скажите, можно ли как-то посмотреть состояние кластера?

допустим как в посгресе, можно посмотреть слэйвов

select * from system.clusters

Спасибо! Уже сам нашел ?

https://yadi.sk/i/RGQ3wu653EdwJE

странная фигня со словарями

решил подключить на всех нодах КХ кластера словари

но почему-то постоянная 404 ошибка

если скачать через wget - все ок

перезапуск КХ не помогает

помниться вроде там, что-то уже чинили в словарях, но видимо легче не стало...

Припоминаю - было такое, что HTTP словари не обновлялись после ошибки. А какая версия сервера?

1.1.54164

перезапуск КХ не помогает

Значит проблема не в этом, а в запросе, который делает словарь. Посмотрите в логах сервера, чем именно отличается запрос, на который он отвечает 404 и запрос, который вы делаете с помощью wget.

Точно ли одинаковое имя хоста...

посмотрел access логи сервера, куда должен стучаться КХ за словарями

запросов нет за этими файлами!

После перезапуска clickhouse-server?

да

сейчас вручную дернул ссылку

та-да

[26/Feb/2017:18:30:29 +0300] "GET /dicts/creatives.csv HTTP/1.1" 200 3411 "-" "Wget/1.16 (linux-gnu)"

запросов от КХ нет

а в конфиге есть словари то?

конечно :)

как вы думайте я ошибки вижу?

Можно посмотреть tcpdump на стороне clickhouse-server, чтобы понять, какой запрос отправляется и куда.

я посмотрел с помощью tcpflow

в общем при рестарте и релоде КХ не происходит ни каких внешних хттп запросов

стоит дернуть ссылку вгетом, и в tcpflow - виден запрос

и что возвращается

судя по всему - очередной баг хттп словарей в КХ...

Словари загружаются при первом их использовании. Посмотрите, есть ли эксепшен в system.dictionaries, и когда запущен сервер: SELECT uptime()

─uptime()─┐ │ 176 │ └──────────┘

в last_exception висит сообщение о 404 ошибке

Спасибо. Будем отлаживать.

в tcpflow пошли запросы

проблема установлена

КХ преобразует домен в ip

и производит http запрос не по домену, а по ip

С неправильным заголовком Host.

временно сделал алиас в дефолт хосте вебсервера, КХ подхватил данные

/stat@combot

combot.org/chat/-1001080295593

привет. возвращаясь к теме мильти реплик на одом сервере. Алексей ответил в теме https://github.com/yandex/ClickHouse/issues/508 я все создал, подописал дефалтные базы для каждой реплики. <shard> <!— ########### SHARD 01 —> <internal_replication>true</internal_replication> <replica> <host>clickhouse-hw-01.app.com</host> <port>9000</port> <default_database>dbclick</default_database> </replica> <replica> <host>historical03.app.com</host> <port>9090</port> <default_database>dbclick_1</default_database> </replica> <replica> <host>historical04.app.com</host> <port>9090</port> <default_database>dbclickc_1</default_database> </replica> </shard> Но вот оно не хочет смотреть в те дефолные базы которые прописаны в конфиге. Смотрел логи и оно все равно исщет в другой базе, до этого была база app Подскажите я правильно указал?

А что может означать вот эта ишибка 2017.02.27 11:30:42.731708 [ 1 ] <Error> Application: Net Exception: Cannot assign requested address: 192.168.1.143:8123

сервер 192,168,1,143 живой Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 192.168.1.143:9000 0.0.0.0:* LISTEN 12706/clickhouse-se tcp 0 0 192.168.1.143:9009 0.0.0.0:* LISTEN 12706/clickhouse-se tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1976/sshd tcp 0 0 192.168.1.143:8123 0.0.0.0:* LISTEN 12706/clickhouse-se

вот оно откуда ошибка 2017.02.27 11:37:00.930916 [ 4 ] <Trace> Connection (192.168.1.149:9000): Connecting. Database: (not specified). User: default 2017.02.27 11:37:00.931190 [ 4 ] <Warning> ConnectionPoolWithFailover: Connection failed at try №1, reason: Code: 210, e.displayText() = DB::NetException: Connection refused: (192.168.1.149:9000), e.what() = DB::NetException скорее всего указывать базу данных в настройках реплики нельзя

нашел причину почему в первый раз были проблемы.

нужно не забывать про <listen_host>192.168.ххх.ххх</listen_host>

Получился трюк с базами

Но есть проблема в том что когда обращяешься к распределенной таблице то для подсчета строк в базе. оно каждый раз возвращает разные значения

А конфигурация кластера какая?

сейчас скину.

Только не plain-текстом?

https://docs.google.com/document/d/1cCYOWBOs_-FCeNX3dAEWRrqjis2IVQ0Sqhs9D6CXAR0/edit?usp=sharing

ссылкой думаю нормально будет

Интересные сервисы для демонстрации вашего кода: 1. Телеграм – просто оберните весь код в три обратных кавычки ` 2. pastebin.com – простой сервис для вставки фрагментов кода; 3. gist.github.com – позволяет также делать коммиты, форки и работать как с микро-репозиторием; 4. ideone.com – позволяет также компилировать код, задавать входные параметры и печатает результат; 5. melpon.org/wandbox – компилирует код, печатает результаты, и имеет удобные клавиатурные раскладки для любителей Vim , Emacs (у нас также есть чаты по ним ? ); 6. godbolt.org – помимо компилятора предоставляет дизассемблированный код для скомпилированной программы.

ага, спасибо.

http://pastebin.com/GrVQj1S1

Там нигде не напутано с default_database ?

Если уж делать, то лучше что бы во всех репликах имя базы соответствовало номеру шарда

вроде не напутано. прошелся поиском по секции кластера. вроде все совпадает.

Доброго времени суток. Возникла необходимость считать долю элементов массива от их суммы. В голову первым делом пришло что-то такое: arrayMap(x -> x / arraySum(arr), arr) Вопросы следующие: 1. Оптимизируется ли при таком подходе вычисление arraySum или оно вычисляется каждый раз при применении map и лучше его посчитать заарнее? 2. Есть ли какие-то менее изощрённые способы посчитать долю?

Доброго времени суток. Возникла необходимость считать долю элементов массива от их суммы. В голову первым делом пришло что-то такое: arrayMap(x -> x / arraySum(arr), arr) Вопросы следующие: 1. Оптимизируется ли при таком подходе вычисление arraySum или оно вычисляется каждый раз при применении map и лучше его посчитать заарнее? 2. Есть ли какие-то менее изощрённые способы посчитать долю?

arraySum вычислится один раз. Способ вроде бы вполне нормальный :)

Коллеги, создал таблицу, залил в нее данные через клиент в формате csv, потом удалил столбец, теперь пытаюсь долить новые данные без удаленного столбца и получаю exception в err-логе КХ об отсутствии во вставляемых данных удаленного столбца. В метаданных удаленного поля нет. Версия КХ 1.1.54134

Кто-нибудь встречался с такой проблемой?

вроде не напутано. прошелся поиском по секции кластера. вроде все совпадает.

А таблицы созданы с правильными макросами везде?

вот это сейчас проверяю. похоже что нет.

arraySum вычислится один раз. Способ вроде бы вполне нормальный :)

Благодарю!

А таблицы созданы с правильными макросами везде?

Спасибо большое за помощь) действительно неправильно с "макросами" было. сейчас вроде все нормально. вот только не могу понять почему с теченеем времени меняется в большую сторону количесво строк, если смотреть через распределенную таблицу

прошло наверное минут 30-40 и колисество строк устаканилось. кому надо, могу скинуть скрипт. в котором наглядно можно будет увидеть какие базы, таблици, и прочее.

Подскажите использование SSD винтов имеет смысл?

Друзья, напоминаем вам, что завтра с 19:00 мы проводим прямую трансляцию встречи про ClickHouse из питерского офиса. Приглашаем всех присоединяться и задавать вопросы! Ссылка на трансляцию http://bit.ly/ClickHouseMeetup

Подскажите использование SSD винтов имеет смысл?

скорее нет

а есть хоть какие-то цифры? и я так понимаю процессор в ускорении обработки данных не помошник? скажем разници не будет если 32 потока или 16.

из цифр только баксы за гигабайт

иопс для кх не так критичны, это же онолитика и колонки

нуда логично. нам важно формировать ответ во время загрузки сраници.

От SSD хуже не станет - https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt#L57

Другое дело, что данных обычно много, поэтому SSD будет дорого

Процессорных ядер тоже желательно побольше - clickhouse их все заиспользует ;)

https://habrahabr.ru/post/322724/

спасибо. язабыл я про эту доку. у нас данные имеют цикл жизниб, по этому следует обеспечивать только месо под рост их количества за тот же период

/stat@combot

combot.org/chat/-1001080295593

/stat@combot

combot.org/chat/-1001080295593

Доброе утро! Скажите, как быть с materialized view на кластере?

как сделать вьюшку Distributed и Replicated?

как сделать вьюшку Distributed и Replicated?

реплицируемые таблицы, над ними distributed, а уже над ней вьюха.

это понятно, что вьюха должна быть над destributed таблицей

я не много не понимаю, как сделать саму вьюху destributed