1,0,1?

не вернет ничего. и не должен по условию

точно, я прочитал как дату первой единицы после нуля.

Вопрос к контрибютерам репы repo.yandex.ru Хочу поднять у себя публичный mirror

это хостнейм от mirror.yandex.ru

я думаю можно даже не зеркало, а прокси

Кому писать для доступов для rsync-a?

ведь проблема не с доступностью, а с блокировкой

прокся не канает

хочется раз вписать в CI пути и забыть

ну и попутно в CD

Вопрос к контрибютерам репы repo.yandex.ru Хочу поднять у себя публичный mirror

я не контрибьютор, но просили передать rsync://mirror.yandex.ru/yandexrepo/

@Felixoid thanks!

кому нужно - http://mirror.jotcdn.net/yandex/clickhouse/

анонсик бы куда, уверен, украинским коллегам сейчас очень актуально

подскажите, есть ли возможность что бы КХ в запросе на COUNT() таки возвращала ноль? пустой ответ как-то не очевиден

в будущем.

Кто б еще доку по кликхаузу зазеркалил, для украиских коллег...

если дадут доступ для rsync-а - без проблем

Кто б еще доку по кликхаузу зазеркалил, для украиских коллег...

http://clickhouse-docs.readthedocs.io/ru/latest/

Спасибо!

а что, https://clickhouse.yandex даже заблокировали?

вся AS13238 в блекхоле

жесть

вся AS13238 в блекхоле

Решили не морочиться с dpi :(

Решили не морочиться с dpi :(

ага, такой dpi для бедных))

а зачем там dpi?

https://groups.google.com/forum/#!topic/clickhouse/HtNtQAn_OKs

Отлично, спасибо

супер!

кому нужно - http://mirror.jotcdn.net/yandex/clickhouse/

Спасибо!

Всё же buffer очень небыстрый если по одной строке класть :(

немножко непонятно по словарям. У меня в /etc/clickhouse-server/config.xml дефолтная строчка: <dictionaries_config>*_dictionary.xml</dictionaries_config>

я создал файл /etc/clickhouse-server/hostnames_dictionary.xml который начинается с: <dictionary> <name>hostnames</name>

это правильно ?

Всё Ок. Можно посмотреть подгруженные словари с помощью SELECT * FROM system.dictionaries

вот вопрос в том: надо ли <dictionary> заворачивать внутрть <dictionaries> ?

Надо, так как в одном файле можно объявить несколько словарей.

ага, вот это не очень очевидно было из документации

дальше там по select * from system.dictionaries вроде можно разобраться

Вопрос: можно ли общаться с КХ с помощью RowBinary но не через http?

Нет. Нативный интерфейс использует обмен данными только блоками как в Native формате.

Можно ли ожидать ускорение на порядки в сравнении с rowbinary+Post?

Какая скорость сейчас и что ожидаете? Только от замены RowBinary на Native разницы на порядки, скорее всего, не будет. Тем не менее, это возможно в экстремальных случаях, когда отправляете много типов фиксированной длины. Если скорость недостаточная, то, как правило, есть другие причины.

Я ориентируюсь на kdb, где удаётся вставить порядка 50к/с при одиночной записи. Сейчас в КХ всего около 3к (на прошлой неделе я похоже ошибся) , хотелось бы не меньше 20к.

Причина для этого - 1) хочется избавиться от внешних буферов 2) иметь данные близкие к realtime

На типичных данных скорость вставки должна быть от 50 000 строк в секунду до 2 000 000 строк в секунду. Минимум - на широких таблицах с сотнями столбцов. Максимум - на таблицах с несколькими столбцами.

Пробовал вставку в memory а не в buffer - ничего особо не меняется -> похоже горлышко где-то в http.

Что показывает top и perf top?

На типичных данных скорость вставки должна быть от 50 000 строк в секунду до 2 000 000 строк в секунду. Минимум - на широких таблицах с сотнями столбцов. Максимум - на таблицах с несколькими столбцами.

Это про вставку по одному? Или блоками?

Блоками. По одному - вообще не вариант.

Ну вот тут и загвоздка. Kdb быстрее, хотя в целом всё похоже.

Я надеялся, что buffer спасёт

По одной строке без буфера на своей стороне можно вставлять так: - делаете POST запрос и начинаете писать данные; - не заканчиваете отправку тела пока не записали в него достаточное количество строк или пока не прошло достаточно времени. Таким образом, вы пишете по одной строке и буферизация данных происходит на стороне сервера (без использования таблиц типа Buffer). Главное - делать мало отдельных HTTP запросов.

Использовать сетевой буфер - понятно. Спасибо.

Но всё равно не буду оставлять попытки разогнаться. Может быть http-чанки помогут.

Это не совсем сетевой буфер. Данные могут сразу уходить на сервер. Но сервер формирует из них блок до max_insert_block_size.

Может я не понимаю, а в чём потенциально замедление класть большое количество мелких строк на стороне КХ, если используется buffer. Я предполагал, что это просто сохранение в память. В kdb я делаю тоже самое. + думал что buffer позволит разогнаться даже быстрее.

Если на каждую строчку делается отдельный HTTP запрос с INSERT, то сложностью является обработка HTTP запроса и INSERT-а. Можно легко посмотреть в perf top, что именно тормозит. Обычно это всякий мусор типа создания временных объектов std::string, std::shared_ptr, аллокация буферов и т. п. Такие вещи, как оверхед на один запрос, вообще не оптимизировались.

Понял, спасибо, да, мне тоже кажется что скорее всего это и тормозит. Из-за этого и думал сбежать на нативный (не очень хочется) Или чанки.

По одной строке без буфера на своей стороне можно вставлять так: - делаете POST запрос и начинаете писать данные; - не заканчиваете отправку тела пока не записали в него достаточное количество строк или пока не прошло достаточно времени. Таким образом, вы пишете по одной строке и буферизация данных происходит на стороне сервера (без использования таблиц типа Buffer). Главное - делать мало отдельных HTTP запросов.

^^^^ Эффективная ваставка "по 1 строке" #faq

Понял, спасибо, да, мне тоже кажется что скорее всего это и тормозит. Из-за этого и думал сбежать на нативный (не очень хочется) Или чанки.

В любом формате будет быстрее, если отправлять чанками, переходить на нативный не обязательно.

Да, ясно, спасибо. На kdb всё летает и из-за этого хочется чего-то похожего.

Ребят, а есть ли у кого пример создания таблицы на движке File ?

^^^^ Эффективная ваставка "по 1 строке" #faq

Извиняюсь, я переспрошу, так как не видел ответа - чанками это как-то можно осуществить чтобы не закрывать соединение?

Потому как при формирование такого пакета надо context-size передавать

Можно Transfer-Encoding: chunked

Т.е. он каждый чанк тогда не будет обрабатывать как запрос? Ок

Ребят, а есть ли у кого пример создания таблицы на движке File ?

При создании на сервере, единственный аргумент - имя формата. Пример: File(TabSeparated) Будет использоваться файл в директории таблицы. Его имя - data.TabSeparated. С другими форматами - аналогично. Для чтения готового файла, заранее подложите его в директорию таблицы. Обычно движок таблиц FIle используется для программы clickhouse-local. В этом случае ему можно передать второй параметр - произвольный путь к файлу или файловый дескриптор. Файловый дескриптор в виде 0, 1 или stdin, stdout. Пример: File(TabSeparated, stdin)

Т.е. он каждый чанк тогда не будет обрабатывать как запрос? Ок

Не будет.

При создании на сервере, единственный аргумент - имя формата. Пример: File(TabSeparated) Будет использоваться файл в директории таблицы. Его имя - data.TabSeparated. С другими форматами - аналогично. Для чтения готового файла, заранее подложите его в директорию таблицы. Обычно движок таблиц FIle используется для программы clickhouse-local. В этом случае ему можно передать второй параметр - произвольный путь к файлу или файловый дескриптор. Файловый дескриптор в виде 0, 1 или stdin, stdout. Пример: File(TabSeparated, stdin)

А, т.е. схема ему не нужна? Правильно ли я понимаю что все столбцы будут в формате строк?

Схема нужна. CREATE TABLE table (схема) ENGINE = File(TabSeparated)

Ага, вроде понял. Завтра проверю. Большое спасибо!

sha_transform из kernel до 40%, даже не знаю что это.

а покажите perf top целиком?

sha_tranform из кернел - это оооочень странно

в ядре оно используется разве что для SYN cookie

да и-то в последних ядрах заменили на ситихэш

только в таком виде пока.

Так, есть мысль, что надо обновиться.

У нас похоже для internal не самая свежая версия.

а это точно из ядра, а не из clickhouse?

да, похоже с ядра http://elixir.free-electrons.com/linux/latest/ident/sha_transform

загааадкааа

В ClickHouse не используется просто так SHA.

=> кидаться собрать последнюю версию смысла нет?

только в таком виде пока.

там с —callgraph или как-то так можно видеть дерево вызовов

я бы лучше тыкнул энтер в perf top и посмотрел, откуда идет вызов этой функции

а в dmesg нет ничего в стиле "syn flood" ?

а в dmesg нет ничего в стиле "syn flood" ?

Не вижу

а файловая система случаем не ZFS?

а файловая система случаем не ZFS?

Xfs

только в таком виде пока.

а вот, perf record -g -p

ого, из /dev/urandom читает?

похоже на то