коллеги зачем сигнал на перечитвания конфига используется как сигнал для закрытия логов ?

ну вообще в nginx вроде тоже самое ...разве нет???

как правило это перечитывание конфига

врятли это жестко закреплено какой то конкретной политикой просто внезапность

а точно HUP это только reload configuration http://nginx.org/ru/docs/control.html

Господа. Поделитесь собраным jdbc driver

тяжело назать софт где это не так

ну жосткой политики нет, но я думаю что лучше завести issue на github

просто в Метрике оно работает на bare metal

поэтому видимо там это не заметно ;)

:)

Господа. Поделитесь собраным jdbc driver

github.com/yandex/clickhouse-jdbc м?

Разве там не сырцы

Пока с мавен не подружился

http://repo1.maven.org/maven2/ru/yandex/clickhouse/clickhouse-jdbc/0.1.16/

скачай с mavencentral

да =)

Пока с мавен не подружился

http://search.maven.org

?

/stat@combot

combot.org/chat/-1001080295593

Привет. Можно ли при ALTER TABLE … MODIFY менять Enum'ы? В документации (раздел «Type conversion functions») про Enum'ы ни слова, хотя, казалось бы, добавить к существующему Enum'у парочку значений — нормальное желание обычного человека.

Привет. Можно ли при ALTER TABLE … MODIFY менять Enum'ы? В документации (раздел «Type conversion functions») про Enum'ы ни слова, хотя, казалось бы, добавить к существующему Enum'у парочку значений — нормальное желание обычного человека.

Да можно. Есть ограничение - нельзя менять Enum-ы в первичном ключе. Это ограничение сейчас исправляем.

А у меня еще вот такой вопрос. Есть у меня инсталляция clickhouse. Захотел я его перенести на другой сервер. Никаких Zookeeper сейчас нет. Как это сделать? Все же завести Zookeeper и сделать так, как описано в документации, или же поддерживается mysql-style, когда можно сделать дамп, потом репликаци, а потом и мастер переключить?

Можно остановить сервер и скопировать содержимое директории clickhouse. Аккуратно поставить права для файлов и запустить на новом сервере. С помощью дампа тоже есть вариант.

А у меня еще вот такой вопрос. Есть у меня инсталляция clickhouse. Захотел я его перенести на другой сервер. Никаких Zookeeper сейчас нет. Как это сделать? Все же завести Zookeeper и сделать так, как описано в документации, или же поддерживается mysql-style, когда можно сделать дамп, потом репликаци, а потом и мастер переключить?

Если с даунтаймом можно рсинком перенести

А если без?

Совсем без - если данные постоянно добавляються только через ЗК с репликацией

если данные не меняются или возможен небольшой даунтайм - рсинк хорший вариант.

Сделать рсинк с живого сервера. Остановить сервер, сделать ещё один рсинк, он уже будет сильно быстрее

Не забыть указать опцию, что бы он удалял несуществующие файлы

То есть, сделать дамп или рсинк, включить zookeeper и дальше дописать остатки с помощью описанного в документации механизма?

Если дамп или рсинк - ЗК не нужен

Совсем без - если данные постоянно добавляються только через ЗК с репликацией

Есть вариант без даунтайма с использованием FREEZE PARTITION. Он создаёт атомарный снэпшот данных. Также всегда присутствует вариант с дампом - тоже без даунтайма.

ЗК - это конвертить таблицу в реплицируемую (в доке есть как) и просто поднять вторую машинкуи и создать там таблицу, она сама всё сделает

Способ нравится, хотя не без прикола )

как вариант, можно начать писать на 2 сервера, а в фоне перелить старые данные(sql dump или remote + insert from select). Старые данные по какому-нибудь timestamp вычленить ну или limit большой

А еще у вас больше 20Гб тестов, что съело место в разделе. Поправимо, то стало внезапностью.

теперь если собирать с -DUSE_STATIC_LIBRARIES=0 - всего 3.5 Гига

Спасибо

> @milovidov_an С имеющимися настройками, farmHash ничем не лучше cityHash. Алексей, добрый день! Подскажи, пожалуйста, с чем связаны различия в реализациях CityHash: https://github.com/google/cityhash/blob/master/src/city.cc#L379 https://github.com/yandex/ClickHouse/blob/master/contrib/libcityhash/src/city.cc#L214 Для строк, длина которых не превышает 64 байта, значения хеш-функций совпадают, но для более длинных строк хеш-и различаются.

I got Mark Litwintschik to english channel, blog post should be published in a few days

Видимо, тут: http://tech.marksblogg.com

А как посмотреть размер несжатых данных, никто не знает? system.parts.bytes -- это сжатые

А как посмотреть размер несжатых данных, никто не знает? system.parts.bytes -- это сжатые

Да, это суммарный размер всей директории со всеми файлами

А размер данных без учета компрессии -- никак?

Можно узнать разжатый размер всей таблицы сделав в клиенте SELECT any(ignore(*)) FROM table и посмотреть финальный прогресс Progress: 33.82 million rows, 39.82 GB Только это может выполняться долго

а any(ignore(*)) будет быстрее чем FORMAT Null?

а хотя бы приблизительно можно посчитать? Сэмплированием?

FORMAT применяется на клиенте, а клиенту по сети всегда приходят Native блоки

понял, спасибо)

К примеру, в Вертике размер несжатых данных считается семплированием небольшого количества блоков по всем колонкам (в базе или таблице).

Ну нет, так нет

Ну можно например так: SELECT any(ignore(*)) FROM merge.hits SAMPLE 1 / 10000 Потом прогресс вручную домножить на 10000

Database merge doesn't exist.

Возможно, у нас не самая свежая версия

тут свою реальную db.table надо подставить

А по всем? )

Ладно, мысль понятна, спасибо

Посчитал, до петабайта нам немного уже осталось )

Да, я тоже у себя 1400TB "насчитал" -)

А в качестве хранения clickhouse - вполне себе ок. Я пробовал заливать суточный срез netflow - результаты более чем устроили.

Господа тоже озадачился хранением netflow в cl. Только не решил чем. Подскажите.

fastnetmon'ом например :)

правда, я не знаю когда моя ленивая заданица закончит плагин и замержит в основную ветку

Вот этот запрос убивает сервер: ClickHouse client version 1.1.54140. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54140. :) select arrayReduce('groupUniqArray',['1','2','3']); SELECT arrayReduce('groupUniqArray', ['1', '2', '3']) Exception on client: Code: 32. DB::Exception: Attempt to read after eof: while receiving packet from localhost:9000, ::1 Connecting to localhost:9000. Code: 210. DB::NetException: Connection refused: (localhost:9000, ::1)

Вот этот запрос убивает сервер: ClickHouse client version 1.1.54140. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54140. :) select arrayReduce('groupUniqArray',['1','2','3']); SELECT arrayReduce('groupUniqArray', ['1', '2', '3']) Exception on client: Code: 32. DB::Exception: Attempt to read after eof: while receiving packet from localhost:9000, ::1 Connecting to localhost:9000. Code: 210. DB::NetException: Connection refused: (localhost:9000, ::1)

Будет пофикшено в следующей версии https://github.com/yandex/ClickHouse/commit/76916739e2b5b0148fdc3b66095a4580be3f41b6

Спасибо, поленился сходить на github. А по другому получить массив уникальных элементов в массиве можно?

SELECT DISTINCT не подходит?

В принципи можно, добавив еще один уровень select... Спасибо)

У вас изначально массив, массив массивов или столбец с массивами?

Nested table, т.е. массив

И мне нужно, чтобы arrayJoin развернулся в уникальные элементы массива

попробуйте так SELECT groupUniqArrayArray(nested.column) FROM table

groupUniqArrayArray является агрегатной. И на выходе получается один большой массив. Не подошло.

Не совсем тогда понял задачу. Если агрегировать не нужно, то просто groupUniqArray(nested.column)

а, понял

действительно, arrayReduce, когда он будет починен :)

проголосуйте пожалуйста за https://news.ycombinator.com/item?id=13609870

проголосуйте пожалуйста за https://news.ycombinator.com/item?id=13609870

А как это сделать?

Если попросит регистрацию, ввести какие-нибудь символы и нажать "Create account".

?

вы также можете помочь в твитторе https://twitter.com/marklit82/status/829766211110072321 & https://twitter.com/marklit82/status/829766613574512640

проголосуйте пожалуйста за https://news.ycombinator.com/item?id=13609870

мож на реддит еще?

Ага, смотри выше

ой, недочитал :)

Ну или надо в другую категорию постить

Я на реддите не очень ориентируюсь

Если кто может перепостить в специализированную категорию - welcome

> @milovidov_an С имеющимися настройками, farmHash ничем не лучше cityHash. Алексей, добрый день! Подскажи, пожалуйста, с чем связаны различия в реализациях CityHash: https://github.com/google/cityhash/blob/master/src/city.cc#L379 https://github.com/yandex/ClickHouse/blob/master/contrib/libcityhash/src/city.cc#L214 Для строк, длина которых не превышает 64 байта, значения хеш-функций совпадают, но для более длинных строк хеш-и различаются.

У нас более старая версия CityHash. В документации к CityHash указано, что реализация может меняться при изменении версии, и результаты не предназначены для сохранения куда-либо - только для временного использования, например, в хэш-таблицах. Но по факту так получилось, что во многих местах у нас (и, возможно, у внешних пользователей) уже сохранены значения старой версии CityHash, поэтому мы не можем её обновить. Также у нас используется CityHash128 в качестве чексумм для сжатых данных. Что мы можем сделать - это добавить ещё одну функцию - cityHash64v2 - тогда у нас будет сразу обе реализации CityHash. Это стоит сделать, если будут преимущества в производительности или качестве.

Посчитал, до петабайта нам немного уже осталось )

Это значит, что SAMPLE захватывает существенно лишних данные при чтении - если данные для нужного SAMPLE расположены во многих маленьких диапазонах.