можно делать case sum() можно делать sum(case ). главное чтобы на пути из select в листья агрегатные функции были один раз. в первом случае case будет работать меньшее число раз.

Кейсов у меня не один, а много вариант оборачивать его sum'ами я пробовал в разных местах, почему то не получается =(

Ну самый простой вариант сделать агрегацию сверху. Скажем так без эспейна :) Хотя с данными поверх запроса с кейсом sumIf не нужен :) Там просто sum и группировка по колонке

Что-то я запарил

Делается типа так select sumIf(...), column from (select с кейсом) group by column

не подойдет, тк у меня узкая таблица в которой есть \название счетчика\ его значение \ устройство\ а мне надо это перевести в вид : \устройство\ счетчик 1\счетчик 2\счетчик3\

а, это уже внутри btrie. Значит, конфигурация прочиталась :)

Вот такой кейс у меня работает, далее мне нужно сделать sum(r) group by mts

Ну тогда sumIf и три разных агрегата через sumIf, типа sumIf(counter = 'counter1...), sumIf(counter = 'counter2...)

буду очень благодарен если кто-то поможет =)

а, это уже внутри btrie. Значит, конфигурация прочиталась :)

а куда дальше копать чтобы это взлетело теперь?)

И с группировкой по устройству

а куда дальше копать чтобы это взлетело теперь?)

Я бы все-таки попробовал поставить новую версию CH. Если можете прислать сам csv словаря, и он не очень большой, я попробую воспроизвести у себя.

Ну тогда sumIf и три разных агрегата через sumIf, типа sumIf(counter = 'counter1...), sumIf(counter = 'counter2...)

пытался скормить ему следующую конструкцию - не взял =( sumIf(r, "mt like 'pmNoOutgoingPsStreamHsHhoSuccess'")

пытался скормить ему следующую конструкцию - не взял =( sumIf(r, "mt like 'pmNoOutgoingPsStreamHsHhoSuccess'")

Мне кажется в like нужно добавить по сторонам %

Я бы все-таки попробовал поставить новую версию CH. Если можете прислать сам csv словаря, и он не очень большой, я попробую воспроизвести у себя.

словарь ~500mb (база maxmind)

Мне кажется в like нужно добавить по сторонам %

неа, ничего из этого не помогает, Code: 10, e.displayText() = DB::Exception: Not found column mt like 'pmAborteds' in block. There are only columns: mts, mt, r, e.what() = DB::Exception хотя в столбце mt у меня есть это значение...

пытался скормить ему следующую конструкцию - не взял =( sumIf(r, "mt like 'pmNoOutgoingPsStreamHsHhoSuccess'")

а зачем у вас кавычки вокруг второго аргумента?

а зачем у вас кавычки вокруг второго аргумента?

Без них ode: 43, e.displayText() = DB::Exception: Illegal type String of argument for aggregate function sum, e.what() = DB::Exception

а какой у вас тип у r?

Без них ode: 43, e.displayText() = DB::Exception: Illegal type String of argument for aggregate function sum, e.what() = DB::Exception

sumIf(r, mt like '%pmNoOutgoingPsStreamHsHhoSuccess%')

Вот так попробуйте. Я так не делал, но может сработает )

а какой у вас тип у r?

тааак, кажется я облажался, там стринг, я на лету могу же его попросить конвертнуть тип да?

насчет sum внутри case я немного обманул, вот такой запрос не работает SELECT caseWithExpression(y, 1, sum(x), count()), sum(caseWithExpression(x, 1, 2, 3)) FROM ( SELECT 2 AS x, 1 AS y ) GROUP BY yно вот такая штука работает if(y = 1, sum(x), count()),

тааак, кажется я облажался, там стринг, я на лету могу же его попросить конвертнуть тип да?

toInt64(r)

у вас там всегда числа?

словарь ~500mb (база maxmind)

а можете ссылко поделиться, откуда оно скачивается? 500 mb - это в сжатом виде?

у вас там всегда числа?

да! Ура, работает, спасибо огромное!

если у вас там всегда числа, лучше хранить их сразу в виде чисел.

а можете ссылко поделиться, откуда оно скачивается? 500 mb - это в сжатом виде?

500 несжатое, сейчас сожму и выложу куда нибудь вместе с конфигом словаря

здорово

если у вас там всегда числа, лучше хранить их сразу в виде чисел.

Это я догадываюсь, но для теста пока и так подойдет я думаю

здорово

кинул в личку

А вот в целом, будет ли кликхаус без обязательной колонки даты, или ради этой колонки вся база писалась ?

можно взять engine = Log

А хочется то merge

Можно добавить поле DummyDate и писать туда константу "0000-00-00" и использовать движок MergeTree.

Да, будет. Возможно, даже скоро ?

добре вам

Хэй! :)

есть вопрос <clickhouse_remote_servers> <kolesa-cluster1> <shard> <internal_replication>false</internal_replication> <replica> <host>s1r1</host> <port>9000</port> </replica> <replica> <host>s1r2</host> <port>9000</port> </replica> </shard> <shard> <internal_replication>false</internal_replication> <replica> <host>s2r1</host> <port>9000</port> </replica> <replica> <host>s2r2</host> <port>9000</port> </replica> </shard> </kolesa-cluster1> </clickhouse_remote_servers>

дистребьютед таблица, смотри на мержтри

хочу добавить еще один шард с репликой, чтобы снизить нагрузку на существующие серваки

шардится по rand()

могу просто довешать серваки в конфигах? перешардить не принципиально, главное - нагрузку распределить на запись

Добрый день. Что-то у меня не работает arrayJoin, после применения к массиву, полученному из splitByChar Тип поля по toTypeName Nullable(Array(String)) в чем может быть проблема?

"ARRAY JOIN requires array argument"

При попытке скастить в not-nullable массив Cannot convert data from a nullable type to a non-nullable type Есть какой-нибудь по-любому workaround?

могу просто довешать серваки в конфигах? перешардить не принципиально, главное - нагрузку распределить на запись

В случае использования реплицированных таблиц, есть возможность перешардировать данные - смотрите раздел “Перешардирование”. Но во многих случаях лучше обойтись без этого. Запросы SELECT отправляются на все шарды, и работают независимо от того, каким образом данные распределены по шардам (они могут быть распределены полностью случайно). Правильно ли понимаю, что достаточно дописать новые серваки в конфиг и на этом все?

В случае использования реплицированных таблиц, есть возможность перешардировать данные - смотрите раздел “Перешардирование”. Но во многих случаях лучше обойтись без этого. Запросы SELECT отправляются на все шарды, и работают независимо от того, каким образом данные распределены по шардам (они могут быть распределены полностью случайно). Правильно ли понимаю, что достаточно дописать новые серваки в конфиг и на этом все?

Да. И изменение веса старых

Да. И изменение веса старых

Нагрузка при чтении в данный момент не важна, значит можно и весы не менять? Или же лучше уравнять временными весами объем данных по шардам?

Нагрузка при чтении в данный момент не важна, значит можно и весы не менять? Или же лучше уравнять временными весами объем данных по шардам?

Это скорее чтоб запись на старые шарды не шла

Дык нагрузка на отдельный существующий шард на запись снизится с 1/2 общей нагрузки до 1/3. Это то, что я и пытаюсь получить в данный момент.

Нагрузка на чтение будет на старые шарды существенно выше, это я понимаю.

Да. И изменение веса старых

В общем, ясно. Спасибо за коммент.

В общем, ясно. Спасибо за коммент.

Короче предлагаемый способ расширения это перестать писать на старые шарды и поставить новые

Читать по прежнему со всех

Новый шард не справится со всей нагрузкой. Думаю на старые два поставить вес по 1, на новый шард вес 2. Через какое-то время, когда примерно объем данных уравняется, выставить одинаковый вес на все шарды.

Следующий ClickHouse Meetup состоится в Берлине, 5 октября. https://www.meetup.com/ClickHouse-Meetup-Berlin/ Это первый крупный англоязычный митап. Мы рады пригласить всех, кто сможет приехать! Участие бесплатно. Необходимо зарегистрироваться: https://events.yandex.com/events/meetings/05-10-2017/register/

Коллеги! У меня в таблице куча полей с типом string . учавствуют в условии where. Это сильно бьет по перфомансу?

А where по like? или просто сравнение?

просто where Field ='Word'

event_date - используется т/е ключь ?

Мы чтобы уйти от строк используем и храним CityHash() - там где можно, типа OS и т/д

Таблица ок 4 яров . date есть, но люди хотят за весь период. я просто думаю надо ли переделывать на словари. или и так норм?

Можете словари лучше словари - имхо int лучше чем string

Весь периуд - full scan получается )

Добрый день. Что-то у меня не работает arrayJoin, после применения к массиву, полученному из splitByChar Тип поля по toTypeName Nullable(Array(String)) в чем может быть проблема?

Roman, [04.09.17 18:42] "ARRAY JOIN requires array argument" Roman, [04.09.17 18:50] При попытке скастить в not-nullable массив Cannot convert data from a nullable type to a non-nullable type Есть какой-нибудь по-любому workaround? Алексей, посоветуете какой-нибудь work around?

А чем лучше то ) быстрее? или место экономится?

А чем лучше то ) быстрее? или место экономится?

быстрее. ну и если данные можно уложить в тот же int, то лечше это сделать. как минимум для экономии места

просто where Field ='Word'

Сравнение строк в ClickHouse реализовано достаточно эффективно. Но в любом случае, работа со строками будет менее эффективна, чем с соответствующими Enum-ами или числами. По причине того, что строки надо разжать, десерализовать, пройтись по ним в оперативке при вычислениях. Насколько именно будет разница - трудно заранее сказать. Обычно до нескольких раз в худшем случае.

Roman, [04.09.17 18:42] "ARRAY JOIN requires array argument" Roman, [04.09.17 18:50] При попытке скастить в not-nullable массив Cannot convert data from a nullable type to a non-nullable type Есть какой-нибудь по-любому workaround? Алексей, посоветуете какой-нибудь work around?

Можно arrayMap(x -> ifNull(x, 0), arr)

Через map пробовал , то же ARRAY JOIN requires array argument

SELECT arrayJoin(arrayMap(x -> ifNull(x, 0), spl)) FROM ( select splitByChar(',', splitByChar('|', answers)[5]) spl from Events WHERE ... )

Попробуйте вместо ifNull(x, 0) написать assumeNotNull(x)

Не помогает. Вероятно потому что массив, получающийся в результате все равно типа Nullable(Array(String))

возможно, SELECT arrayMap(x -> ifNull(x, 0), arrayJoin(spl)) FROM ( select splitByChar(',', splitByChar('|', answers)[5]) spl from Events WHERE ... ) ?

а он тогда разве применит не до arrayMap? Не помогает, в arrayJoin вероятно нельзя отправить Nullable(Array(String))

И надо его как-то превратить в не nullable, при том что у меня там всегда значения есть (

да, неправильно сказал

SELECT arrayJoin(spl) FROM ( select arrayMap(x -> assumeNotNullable(x), splitByChar(',', splitByChar('|', answers)[5])) spl from Events WHERE ... ) ?

arrayMap вернет nullable array, так тоже пробовал

а вот такой запрос работает? select arrayJoin(vals) from (select ['a', 'b', Null] as vals)

ага

а такой ? SELECT splitByChar(',', toNullable('1,2,3'))

кстати, какая версия CH?

ага, а arrayJoin на него уже не работает

в последней версии не должен :)

не, у нас не последняя (

наверное, answers - это nullable строка, и можно попробовать снять с нее каст

SELECT arrayJoin(spl) FROM ( select splitByChar(',', splitByChar('|', assumeNotNullable(answers))[5]) spl from Events WHERE ... ) ?

ооо, точно, не догадался Спасибо :)

отлично :)

@kochetovnicolai Спасибо вам еще раз за помощь со словарем, пришлось самому научится собирать пакет под centos, и закончил только сейччас, но оно того стоило, IP-гео парсятся просто чудесно =)

вам спасибо, помогли найти баг