для сжатия select запросов по хттп можно использовать enable_http_compression=1 в query string http запроса

и передавать заголовок accept-encoding: gzip или deflate

для сжатия select запросов по хттп можно использовать enable_http_compression=1 в query string http запроса

o-o многимегобайтиные select это что то )

этого в документации нет, но пример есть в тестах на гитхабе

o-o многимегобайтиные select это что то )

я имел в виду сжатие возвращаемых данных

так ... вопрос - если перед кликом поставить ngnix то все управление сжатием можно отдать ему ?

кстати, интересно, как отличаются enable_http_compression vs compress/decompress по времени и размеру

я правильно понимаю , что вертикальный кластер без виртуалок на одном хосте не собрать ? ( т.е. на одной машине два и более клика , на разных портах ? )

вертикальный - это как? да не, должно работать, как минимум с скомпиленным. может даже аргументом можно путь к конфигу задать

но я не пробовал, если честно)

"Вертикальный кластер" собрать на одной машинке можно в виртуалках

Но зачем?

Но зачем?

погамать )

я правильно понимаю , что вертикальный кластер без виртуалок на одном хосте не собрать ? ( т.е. на одной машине два и более клика , на разных портах ? )

достаточно, чтобы не конфликтовали порты и путь на файловой системе

т.е. я могу разорвать пакет в локальные папки и устроить песочницу ?

да, можно запускать несколько серверов с кастомными конфигами. Можешь переделать /etc/init.d/clickhouse-server под свои нужды. За путь к конфигу отвечает —config-file

Если поиграться то проще запустить через docker

у меня после вчерашних покатушек на сликхаус сразу появился стрессовый сценарий убийства базы. за основу взял базу с полетами , которую загрузил из веба помесячно. При пакетном импорте одновременно запустил каунт строк. Две задачи стали в клинч. убил обе по control c . Таблица повредилась. При ее удалении клик падает. Сделал реимпорт . Клик падает. Вопрос . как удалить поврежденную таблицу ?

ох ты ж блин... а как так получилось то??? в клинч встали имеется ввиду 100% disk utilization ?? и ты просто прервал?

просто прервал.. так как процесс загрузки застопорился . имхо проекту нужна защита от криворучек ))

База не должна повреждаться при любых действиях, (включая беспорядочный kill -9, например). Поэтому то, что вы описали, нельзя считать нормальным, и требуются дополнительные подробности.

ok. дайте команду как запустить клик в редиме генерации коредампа при ошибке и куда залить больного.

Сначала посмотрите ошибку в .err.log-файле.

Не пользую монгу и тоже сидел пересобирал из-за того, что пропустил этот "опциональный" пункт.

Сначала посмотрите ошибку в .err.log-файле.

2016.11.21 09:30:02.060548 [ 7 ] <Error> BaseDaemon: (from thread 4) Received signal Segmentation fault (11). 2016.11.21 09:30:02.060554 [ 7 ] <Error> BaseDaemon: Address: NULL pointer. 2016.11.21 09:30:02.062813 [ 7 ] <Error> BaseDaemon: 1. clickhouse-server(DB::IDataTypeNumberFixed<unsigned short, DB::ColumnVector<unsigned short> >::deserializeBinary(DB::IColumn&, DB::ReadBuffer&, unsigned long, double) const+0xa2) [0x104f382] 2016.11.21 09:30:02.062822 [ 7 ] <Error> BaseDaemon: 2. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x96) [0x3096306] 2016.11.21 09:30:02.062830 [ 7 ] <Error> BaseDaemon: 3. /lib/x86_64-linux-gnu/libpthread.so.0(+0x8184) [0x7f3b4b5e3184] 2016.11.21 09:30:02.062837 [ 7 ] <Error> BaseDaemon: 4. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f3b4abfe37d]

Собрал тыкдом из сорцев. Настроил bba. Запустил грабер. Получаю ошибку: cat /var/log/clickhouse-server/clickhouse-server.err.log 2016.11.21 13:48:15.071607 [ 3 ] <Error> executeQuery: Poco::Exception. Code: 1000, e.code() = 2, e.displayText() = File not found: /opt/clickhouse/data/default/appmetrica_app/token.bin, e.what() = File not found (from [::1]:45758) (in query: SELECT anyLast(token) as token, id, anyLast(name) as name FROM default.appmetrica_app GROUP BY id FORMAT CSV) убунта 16.04 64 битная с последними обновлениями. Тыкдом собран с ключом "не надо мне монги". О чём это должно мне сказать и как это решать? бба шлёт к вам.

бба - это https://github.com/5craft/blackbears-analytics/

Как отсюда видно, таблица тестовая создалась, но не выбирается. Как можете прокомментировать? И что делать?

Как отсюда видно, таблица тестовая создалась, но не выбирается. Как можете прокомментировать? И что делать?

:) create table test.log (d1 String, d2 UInt32, d3 UInt32) ENGINE = Log; CREATE TABLE test.log ( d1 String, d2 UInt32, d3 UInt32 ) ENGINE = Log Ok. 0 rows in set. Elapsed: 0.005 sec. :) select * from test.log; SELECT * FROM test.log Ok. 0 rows in set. Elapsed: 0.001 sec.

у меня на 54071 на trusty не воспроизвелось

предлагаете собрать на предыдущей версии?

А вроде как должно работать на всех

в любом случае, так заявлено

не, 54071 - у тебя такая же версия

так я говорю, что убунта другая

Я думаю, для мейнтейнеров хорошо бы присовокупить описание установки на конкретной машине

да можно было б, но они в сети появляются часам к 12 ночи. Я так забыл замьютить чат и проснулся в полночь от их переписки. Был безмерно рад.

И что характерно: ошибка одна и та же, если ставить из репы и из сорцов. Всё делал лично по их инструкции. Почти полностью уверен, что ответ будет в стиле "умвр".

а покажи cat /opt/clickhouse/metadata/default/testtable.sql ls /opt/clickhouse/data/default/testtable/

все корректно

$ clickhouse-client ClickHouse client version 1.1.54071. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54071. :) :) :) create table testtable (pageURL String, pageRank UInt32, avgDuration UInt32) Engine = Log CREATE TABLE testtable ( pageURL String, pageRank UInt32, avgDuration UInt32 ) ENGINE = Log Ok. 0 rows in set. Elapsed: 0.049 sec. :) select * from testtable SELECT * FROM testtable Ok. 0 rows in set. Elapsed: 0.002 sec. :) ^C $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 16.04 LTS Release: 16.04 Codename: xenial

может от ФС зависит как-то? глюкануло там или мало ли чего

может от ФС зависит как-то? глюкануло там или мало ли чего

Да , вопрос - SSD в противопоказаниях нет ?

нет

есть ман для админов, где писали, мол, если можете позволить себе ссд - юзайте ссд

но метрика на 7200рпм хардах живет нормально

https://github.com/yandex/ClickHouse/blob/master/doc/administration/tips.txt

> Storage subsystem > If you could afford SSD, use SSD. > Otherwise use HDD. SATA HDDs 7200 RPM are Ok.

а ssd - на ssd или на bcache тоже смысл есть?

чо?

типа софтовое решение, аналог гибридных дисков

> Bcache allows one to use an SSD as a read/write cache (in writeback mode) or read cache (writethrough or writearound) for another blockdevice (generally a rotating HDD or array).

Привет! А не подскажите, почему так получается? В базе в одной колонке SomeValue все нули. Если я делаю SELECT count() FROM some.events WHERE SomeValue == 0, все отлично, выдается правильное количество, а если посчитать количество строк, где SomeValue != 0(SELECT count() FROM some.events WHERE SomeValue != 0), то запрос ничего не выдает, даже 0. Может я что-то не так делаю?

ноль строк, нечего считать :)

Клиент и сервер версии 1.1.54046

Ожидаемое поведение, да

Агрегаты по пустому множеству дают пустое множество

Особенность такая.

Сильно мешает?

Агрегаты по пустому множеству дают пустое множество

эмм. все RDB делают так же

gis=> select count(*) from geometry_columns where false; count —---— 0 (1 row)

ничего не все

А вот у меня всё ещё не всё. Людей прибавилось и я хочу получить ответы.

Блин, вы б хоть спросили чего?

"А чего тут спрашивать? У тебя уже месяц на разных системах не работает тыкдом! Дел-то!"

не проще открыть issue на гитхабе, раз уж это очень похоже на баг? )

с трейсбеком и всем таким

Привет! А не подскажите, почему так получается? В базе в одной колонке SomeValue все нули. Если я делаю SELECT count() FROM some.events WHERE SomeValue == 0, все отлично, выдается правильное количество, а если посчитать количество строк, где SomeValue != 0(SELECT count() FROM some.events WHERE SomeValue != 0), то запрос ничего не выдает, даже 0. Может я что-то не так делаю?

https://github.com/yandex/ClickHouse/issues/51

А я просто хз как мне найти ошибку. Вижу только симптомы. Где искать - хз.

Подскажете?

Всё, что у меня есть, уже вывалено здесь

по умолчанию КХ вроде офигенно подробные логи пишет. grep pageURL * пробовали? grep 'Exception'.. если одна и та же проблема повторяется уже месяц на разных серваках, здесь что-то определенно не так и если не получается разобраться самому, то можно отправить логи разработчикам

https://github.com/yandex/ClickHouse/issues/51

Спасибо, буду следить. Но не кажется ли вам, что это ошибочное поведение изначально, а не требующее настроки поведение? В каком случае понадобиться такое поведение, чтобы count() возвращал бы пустоту?

это с двух разных машин

Поставлю вопрос иначе: у тыкдома есть проблемы с работой в среде виртуальных машин? Здесь в списке первая крутится под kvm, вторая по virtualbox'ом.

а /opt/clickhouse, или где там КХшные данные хранятся, это обычный vmdisk, отформатированный в ext4, или какая-нибудь nfs-папка, смотрящая на хост-машину? %))

именно так. Это обычный виртуальный диск отформатированный в ext4

С этим есть проблемы?

Вся система работает нормально и только ваша требует живого диска?

и живого железа?

начнем с того, что она не моя - я такой же пользователь, как и вы ;)

ок. Но тут хрен разберёшь кто есть кто. Так что я просто интересуюсь.

ок. Но тут хрен разберёшь кто есть кто. Так что я просто интересуюсь.

можно посмотреть что выдаст ? echo "DROP TABLE IF EXISTS myapptest2.testtable; CREATE TABLE myapptest2.testtable (pageURL String, pageRank UInt32, avgDuration UInt32) ENGINE = Log; SHOW CREATE TABLE myapptest2.testtable; SELECT * FROM myapptest2.testtable FORMAT TabSeparatedWithNames;" | clickhouse-client -n

Чуть позже посмотрим. Я уж с работы ушел

тыкдом