но так же говорил, что проблемой обычно это не является

каждые 10 минут по 40-100 лямов

и что все продолжает работать стабильно

Уважаемые, подскажите, пожалуйста, следующее - есть Distributed таблица. Она создана путём перечисления колонок (без использования as $local_table_name). При инсерте в Distributed я указываю в ней принудительно колонки, в которые идёт вставка. Вопрос - маппятся ли эти колонки по именам в $local_table?

Slowly growing number of watches is known issue. You don't have to worry, it should not cause any problems.

Slowly growing number of watches is known issue. You don't have to worry, it should not cause any problems.

Спасибо

Привет. Вопрос. Правильно ли я понимаю, что при использовании Distributed таблицы, состоящей из одного шарда с несколькими репликами, запросы будут распараллеливаться только случае, если задан ключ для сэмплирования? А то из документации это не совсем очевидно.

Здравствуйте. Возникло затруднение с времем. Datetime не поддерживает миллисекунды и ограничивает все секундами. Нашел ответ, где предлагают хранить отдельно миллисекунды, либо uint64 писать timestamp. Может есть более изящное решение с учетом, что нужно делать выборки по интервалу времени (с ... по ...)?

ну вот нам это тоже очень нужно (только с наносекундами)

и еще возможность загружать csv, пропуская ненужные колонки

Здравствуйте. Возникло затруднение с времем. Datetime не поддерживает миллисекунды и ограничивает все секундами. Нашел ответ, где предлагают хранить отдельно миллисекунды, либо uint64 писать timestamp. Может есть более изящное решение с учетом, что нужно делать выборки по интервалу времени (с ... по ...)?

uint64 с timestamp позволит делать выборки "с .. по .."

позволит, но конструкциями вида toInt64(toDateTime('blabla')) * 1e9 + x ...

выглядит мерзковато

и еще возможность загружать csv, пропуская ненужные колонки

выглядит слишком специфичным, лучше отдельным скриптом такое сделать

ну, вот нам это очень нужно. отдельным скриптом я это уже делаю, но он довольно задумчиво жует 30 гигов данных

ну или плюнуть и написать это вжух на крестах каких с openmp

не знаю, что тяжелее - запатчить ch, или написать свой велосипед

просто если я не один такой счастливый, то могу поработать над патчем, наверное

ну или плюнуть и написать это вжух на крестах каких с openmp

на Го, как промежуточный вариант между питоном и крестами )

должно довольно просто быть

просто если я не один такой счастливый, то могу поработать над патчем, наверное

ну вот вас пока двое кажется )

мне кресты проще го

anyway, посмотрю, что можно придумать на выходных

ну вот вас пока двое кажется )

Нет, не двое. Тоже получаю эту, "радость" ..

еще вопросик по запросам есть такая таблица "CREATE TABLE IF NOT EXISTS Measures" + "(" + "account String," + "id String," + "date Date, " + "timestamp UInt64," + "value Float32," + "tags Nested (" + "name String," + "value String" + " )" + ") Engine = MergeTree(date, (account, id, timestamp), 8192);" tags обычно 3-5 штук хочется достать например уникальные значение тега с именем 's:h' запрос такой придумался SELECT distinct(arrayElement(tags.value,indexOf(tags.name,'s:h'))) FROM Measures where account='xyz' работает 200 секунд. кто-то видит где затуп или на большее и не расчитывать? если не ускорить то видимо придется вторую таблицу заводить, с другой схемой чтобы такие запросы быстро отрабатывалт (пока схему не думал)

а данных много?

9 миллиардов строк пока (это примерно за сутки объем), 180 GB

вот что в конце говорит 282 rows in set. Elapsed: 213.763 sec. Processed 1.28 billion rows, 279.86 GB (6.01 million rows/s., 1.31 GB/s.)

Когда пробую загрузить данные таким запросом: python metrica_logs_api.py -source hits -start_date 2017-07-03 -end_date 2017-07-09 - выдает ошибку ModuleNotFoundError: No module named 'StringIO'

"A little searching shows that the StringIO module is gone in Python 3 and has been replaced with the io module, from whence io.StringIO should be imported."

может версию питона откатить (может глупо)

последнюю качал

3,6

так в этом и затык согласно интернету

вот что в конце говорит 282 rows in set. Elapsed: 213.763 sec. Processed 1.28 billion rows, 279.86 GB (6.01 million rows/s., 1.31 GB/s.)

я не спец, но судя по описанию он без индекса смотрел все строки в поисках тега. Надо искать документацию как оно индексирурет строки. В sql для подстрок есть оператор LIKE, я не знаю, работает ли он тут

без индекса конечно. вторичных индексов ведь нет, а это поле не в первичном ключе.

"A little searching shows that the StringIO module is gone in Python 3 and has been replaced with the io module, from whence io.StringIO should be imported."

такие простые вещи просто костыльнуть чем-то типа: try: import StringIO except ImportError: import io.StringIO

я пока вижу 3 способа как поправить 1. переписать запрос, но как непонятно :) 2. завести 2 таблицу и писать туда данные параллельно, схема должнв быть оптимизирована под такие запросы 3. маппинги добавить и хранить не строки в tags а их id, но мне так совсем не нравится тк поддерживать маппинги целостными и актуальными будет тот еще квест

такие простые вещи просто костыльнуть чем-то типа: try: import StringIO except ImportError: import io.StringIO

как это сделать?

как это сделать?

я про код в питоне

если это всего лишь переименование модуля, то заменить твой import StringIO на что-то похожее на то что выше

и он будет и на 3 и на 2 питоне работать тогда

я вчера только его поставил, вообще не понимаю что куда

ну да. там питон 2,7 надо, а у меня 3,6 ((

переставлю

Добрый день, господа. Не до конца понятен механизм sample. У меня есть таблица с просмотрами страниц, ключ сэмплирования - sipHash64(user_id). Если я сделаю SAMPLE 0.1 - я получу все данные по десятой части user_id? Или часть данных по 10% user_id? То есть по сути это аналог global in ( SELECT user_id FROM table SAMPLE 0.1 WHERE dt …) ?

Еще раз апну вопрос. Прочитал статью про сэмплирование (http://www.3manuek.com/clickhousesample), но конкретно на свой вопрос ответа не нашел.

Traceback (most recent call last): File "metrica_logs_api.py", line 2, in <module> import logs_api File "logs_api_integration-master\logs_api.py", line 1, in <module> import requests ImportError: No module named requests

поставил питон 2,7, теперь такое

Этот модуль был добавлен в третьем питоне. Возможно он есть для 2.7 в виде модуля

Traceback (most recent call last): File "metrica_logs_api.py", line 2, in <module> import logs_api File "logs_api_integration-master\logs_api.py", line 1, in <module> import requests ImportError: No module named requests

http://docs.python-requests.org/en/master/user/install/ requests нужно отдельно ставить

а, точно, pip

А кто подскажет, на Debian есть пакеты готовые?

а, точно, pip

в репах большинства дистрибутивов же. За pip'анье по рукам линейкой надо бить

hum, а вот еще такая хотелка: чтобы при чтении csv можно было бы задавать implied date

а то у нас сами по себе csv по дням разбиты

(и не надо про питон - он у меня сейчас уныло жрет память и тормозит)

когда там 144 ядра и тер памяти. кликхаус бы эту всю фиговину сжевал бы за минуты (ограничиваясь только скоростью ssd)

awk?

кажется, что на плюсах сильно быстрее, чем split + xargs awk не получится

ну, я достаточно писал на сишечке и плюсах, чтобы мне так не казалось

тем более, что чтение csv прекрасно себе параллелится набором автоматов

ну да, с newlines будет некая жопа, но на то есть sse4.2, когда можно сделать seek в произвольный кусок файла и найти там [\r\n]

да даже без sse, в принципе, найти конец строки не проблема

Traceback (most recent call last): File "metrica_logs_api.py", line 2, in <module> import logs_api File "logs_api_integration-master\logs_api.py", line 6, in <module> import clickhouse File "logs_api_integration-master\clickhouse.py", line 7, in <module> config = utils.get_config() File "logs_api_integration-master\utils.py", line 63, in get_config config = json.loads(input_file.read()) File "C:\Python27\lib\json\__init__.py", line 339, in loads return _default_decoder.decode(s) File "C:\Python27\lib\json\decoder.py", line 364, in decode obj, end = self.raw_decode(s, idx=_w(s, 0).end()) File "C:\Python27\lib\json\decoder.py", line 382, in raw_decode raise ValueError("No JSON object could be decoded") ValueError: No JSON object could be decoded

ERROR: S client not available

теперь такое

что это значит?

мне кажется стоит переустановить кликхаус, что-то могло испортится после предыдущих запусков не на том питоне

а попытка запуска поломанного кликхауса могла привести к поломне винды, и чтобы время не терять лучше всё сразу переустановить

?

нет, ну вот судя по логам он пытается читать какой-то конфиг который был неправильно сгенерирован (это я ванговать пытаюсь)

всем привет, первое знакомство с КХ. пока только теория подскажите есть ли визуализатор данных схожий с функционалом saiku на КХ? интересует возможность строить запросы SQL путем переноса разрезов и мер в область строк/столбцов для построения олап-кубов на лету?

просто есть готовые OLAP кубы работающие на saiku хочется перенести на КХ и сбросить оковы многих ограничений)

что это значит?

Что то что ты скормил на вход не json

Конфига видимо

из тех json файлов что я сам правил только конфиг

из тех json файлов что я сам правил только конфиг

Ну вот видимо где то ошибка в нем

он скопирован из примера, странно, я там только ключ к апи поменял и номер счетчика

он скопирован из примера, странно, я там только ключ к апи поменял и номер счетчика

Скрипт говорит что то что на входе - не json

скопируй и в валидатор онлайновый кинь

1.1.54236 : Unknown type Nullable - обновиться?

Клуб людей, которые всегда и везде делают деньги!!! ????? Делюсь мануалами, практическими советами и темами, которые проверены лично на моем опыте и опыте моих близких! ?Вступайте в мой паблик прямо сейчас: @moneycl

Как забанить этих чертей?

@justedro cходить к ним в группу и нажать report spam

@justedro cходить к ним в группу и нажать report spam

Спасибо, так и сделал :)

Есть таблица, одна колонка это массив строк, как бы это distinct по значениям с массиве построить? что-то не придумывается

tags.name и tags.value это масссивы прдумывается это SELECT distinct(tags.name) FROM Measures where account='xyz' and arrayElement(tags.value,indexOf(tags.name,'s:i'))='4291' но оно уникальные комбинации значении tags.name возвращает, не то немного

а если этот массив слить во временную таблицу или view, а затем по нему уже сделать select distinct?

а если нужны уникальные массивы строк, а не отдельные строки - то засунуть в эту временную таблицу хеш от строк в каждом массиве

а потом поджоинить

Arrayjoin на поле а на результат уже distinct или groupby

сливать наверное не получится это то все в режиме реального времени надо чтобы отвечало

Arrayjoin на поле а на результат уже distinct или groupby

а можно запросом пожаоуйста

Select arrayjoin(field) as f from table group by f

а то у меня вот эти условия с джойном не получилось наложить where account='xyz' and arrayElement(tags.value,indexOf(tags.name,'s:i'))='4291'

заработало, правда медленно, спсб