Дропать паптиции, пересоздавать таблу

как использовать эту функцию, я не видел ее в документе

Это округление, отбрасывает дробную часть :) select truncate(3.14) SELECT truncate(3.14) ┌─truncate(3.14)─┐ │ 3 │ └────────────────┘ 1 rows in set. Elapsed: 0.002 sec.

Можно остановить сервер, удалить данные на диске, запустить :)

Это округление, отбрасывает дробную часть :) select truncate(3.14) SELECT truncate(3.14) ┌─truncate(3.14)─┐ │ 3 │ └────────────────┘ 1 rows in set. Elapsed: 0.002 sec.

Не обязательно отбрасывает. Вторым аргументом можно задавать количество знаков после запятой

Здравствуйте, нужно развернуть кластер клика. Вижу что он использует зоукипер. Я так понял для работы очереди. Если в процесе работы кластера зоукипер ребутница (удалятся все его внутриние данные), то как это повлияет на кластер клика? (потеряются данные которые не успели обработатся кликом или кластер развалится?)

Хуже - партишны, не обозначенные в зукипере, выпадут в detached, как минимум.

Здравствуйте, нужно развернуть кластер клика. Вижу что он использует зоукипер. Я так понял для работы очереди. Если в процесе работы кластера зоукипер ребутница (удалятся все его внутриние данные), то как это повлияет на кластер клика? (потеряются данные которые не успели обработатся кликом или кластер развалится?)

Данные в КХ не потеряются, но придется их в ZK "руками" затолкать

Здравствуйте, нужно развернуть кластер клика. Вижу что он использует зоукипер. Я так понял для работы очереди. Если в процесе работы кластера зоукипер ребутница (удалятся все его внутриние данные), то как это повлияет на кластер клика? (потеряются данные которые не успели обработатся кликом или кластер развалится?)

https://clickhouse.yandex/docs/ru/single/#zookeeper

спасибо, а как по использованию места зоунипером? зависит от размера данных сохраненых кликхаусом или только от потока даных. Тоесть, есть сейчас синг инстанс с размером данных 400 гиг, хочется перенести все в кластер 2х2, как можно расчитать ресурсы для зоукипера?

насчет потока данных не знаю, но в зукипере зранится вся информация о таблицах и их партициях, но даже так это не особо существенных объем, главное ограничить количество снапшотов + бинлогов

спасибо, а как по использованию места зоунипером? зависит от размера данных сохраненых кликхаусом или только от потока даных. Тоесть, есть сейчас синг инстанс с размером данных 400 гиг, хочется перенести все в кластер 2х2, как можно расчитать ресурсы для зоукипера?

Там только метаданные хранятся, места снапшоты занимают не очень много, главное включить чтоб ZK старые данные подчищал https://clickhouse.yandex/docs/en/operations/tips/#zookeeper

спасибо

День добрый! После перехода на 1.1.54370 перестала работать компиляция запросов. Пускаем в докере "ванильный" образ. Валится шланг: https://gist.github.com/alex-krash/78f2df4426a351ba2ea5136ade16219f

Здравствуйте. У меня был вопрос по поводу доступа к clickhouse на виртуальной машине wmvare из Windows 7, не получалось пробросить порты. Проблема осталась, но у меня получилось сделать проброс для сервера apache. Вопрос в том, почему подобный подход не срабатывает с clickhouse?

Здравствуйте. У меня был вопрос по поводу доступа к clickhouse на виртуальной машине wmvare из Windows 7, не получалось пробросить порты. Проблема осталась, но у меня получилось сделать проброс для сервера apache. Вопрос в том, почему подобный подход не срабатывает с clickhouse?

Зачем делать проброс? У вас это как отдельный пк с отдельной сетью, лучше поменять сеть на bridge и использовать выданный сетью адрес

<listen_host>::</listen_host>

Либо private network, не помню как этот режим сети называется в vmware

День добрый! После перехода на 1.1.54370 перестала работать компиляция запросов. Пускаем в докере "ванильный" образ. Валится шланг: https://gist.github.com/alex-krash/78f2df4426a351ba2ea5136ade16219f

В докере стандартном с 16.04 ?

можно сюда скрины скинуть, чтобы показать как настроено?

Зачем делать проброс? У вас это как отдельный пк с отдельной сетью, лучше поменять сеть на bridge и использовать выданный сетью адрес

физический ПК находится в сети с прокси сервером, вроде как NAT предпочтительный способ связи. А вообще с текущими настройками apache пробрасывается легко, так что сомневаюсь что бридж поможет

<listen_host>::</listen_host>

убрать двоеточие нужно получается?

може мой , читайте доку вникайте в линукс

надо <listen_host>0.0.0.0</listen_host> для того чтобы слушать все ипв4 на сервере

В докере стандартном с 16.04 ?

root@xxx.local:/# uname -a Linux xxx.local 4.13.6-0.1-default #1 SMP PREEMPT Thu Oct 12 18:24:34 UTC 2017 (5a88d59) x86_64 x86_64 x86_64 GNU/Linux root@xxx.local:/# cat /etc/issue Ubuntu 16.04.4 LTS \n \l

<listen_host>::</listen_host>

все, получилось, с хоста виден clickhouse. Просто еще раскомментировать забыл. Спасибо!

кстати, а почему бы по умолчанию listen_host не прописать, чтобы вопросов у новичков не было?

чтобы не открывать систему голой задницей в инет

чтобы не открывать систему голой задницей в инет

тогда предлагаю в документации расписать что за параметр и что писать в нем для быстрого старта

https://clickhouse.yandex/docs/en/operations/server_settings/settings/#listen_host

поиск вообще просто так там?

Примеры: <listen_host>::1</listen_host> <listen_host>127.0.0.1</listen_host> офигенные примеры

Restriction on hosts that requests can come from. If you want the server to answer all of them, specify ::.

может дописать что делает каждая строчка?

тогда предлагаю в документации расписать что за параметр и что писать в нем для быстрого старта

предполагается, что люди, которые устаналивают и настраивают бд обладают определенным (не очень даже большим, но базовым) опытом в технологиях. если включать основы в каждый мануал они дичайше распухнут

все нормально расписано

и сказать что по умолчанию стоит ::1, в целях безопасности

я почему-то с 1 взгляда нашел все это

когда настраивал

ну может я туповат, но мы с нашим админом часа 2 потратили пока разбирались

ну может я туповат, но мы с нашим админом часа 2 потратили пока разбирались

вы не тупые, просто открыли для себя целую новую область!

Пора менять админа)

Пора менять админа)

он у нас один, вообще никто не будет тогда этим заниматься)

Пора перестать нанимать админов)

вы не тупые, просто открыли для себя целую новую область!

знания это хорошо. Просто одно дело квикстарт с минимумом телодвижений, другое дело когда раскуриваешь мануал и настраиваешь под себя. Может кому нужна "защищенная задница" сами настроят?

знания это хорошо. Просто одно дело квикстарт с минимумом телодвижений, другое дело когда раскуриваешь мануал и настраиваешь под себя. Может кому нужна "защищенная задница" сами настроят?

ну... понимаете, для квикстарта с минимумом телодвижений существует блокнот и ручка. эксель. gui-установищк WAMP, и т.д. и т.п. если вы хотите оказаться в очередной ситуации когда ваши данные расползлись по всему интернету из-за "удобных" настроек безопасности - ваше дело

знания это хорошо. Просто одно дело квикстарт с минимумом телодвижений, другое дело когда раскуриваешь мануал и настраиваешь под себя. Может кому нужна "защищенная задница" сами настроят?

https://blogs.akamai.com/2018/02/memcached-udp-reflection-attacks.html - не настроят

https://blogs.akamai.com/2018/02/memcached-udp-reflection-attacks.html - не настроят

спасибо

или MongoDB, которых тысячи торчали наружу. Тоже по дефолту открыта

эластик там же

добрый день есть 4 ноды КХ на каждой ноде создана таблица table1_real MergeTree так же на каждой ноде создана таблица table1 Distributed которая смотрит в table1_real периодически - раз в день, раз в неделю (разные промежутки) эти таблицы дропаются, пересоздаются и наполняются данными в какой-то момент начинает выпадать ошибка There is no table .table1_real on server: ...... лечится пересозданием Distributed таблиц на всех нодах подскажите как бы вообще избежать такой проблемы?

ну... понимаете, для квикстарта с минимумом телодвижений существует блокнот и ручка. эксель. gui-установищк WAMP, и т.д. и т.п. если вы хотите оказаться в очередной ситуации когда ваши данные расползлись по всему интернету из-за "удобных" настроек безопасности - ваше дело

получается гипотетический горе-админ потыкав новую систему, наконец понял, что дело в ограничениях по безопасности, задумался о безопасности, настроил все порты как надо и впредь так и делал? :)

добрый день есть 4 ноды КХ на каждой ноде создана таблица table1_real MergeTree так же на каждой ноде создана таблица table1 Distributed которая смотрит в table1_real периодически - раз в день, раз в неделю (разные промежутки) эти таблицы дропаются, пересоздаются и наполняются данными в какой-то момент начинает выпадать ошибка There is no table .table1_real on server: ...... лечится пересозданием Distributed таблиц на всех нодах подскажите как бы вообще избежать такой проблемы?

дропайте партишены а не таблицу

получается гипотетический горе-админ потыкав новую систему, наконец понял, что дело в ограничениях по безопасности, задумался о безопасности, настроил все порты как надо и впредь так и делал? :)

зачем разводить полемику?

получается гипотетический горе-админ потыкав новую систему, наконец понял, что дело в ограничениях по безопасности, задумался о безопасности, настроил все порты как надо и впредь так и делал? :)

ну в принципе когда люди задумываются оно так и работает, когда не задумывается - они получают отравленный ножик в печень от ботов

получается гипотетический горе-админ потыкав новую систему, наконец понял, что дело в ограничениях по безопасности, задумался о безопасности, настроил все порты как надо и впредь так и делал? :)

99% нормального софта по-умолчанию смотрит в локалку, если не требуется обратное

зачем разводить полемику?

+

поймите, вы отнимаете время и внимание людей, которое могло бы пойти в более продуктивное русло

я потратил время нескольких людей и пытаюсь понять, можно ли было этого избежать.

я потратил время нескольких людей и пытаюсь понять, можно ли было этого избежать.

можно, подумав и погуглив.

добрый день есть 4 ноды КХ на каждой ноде создана таблица table1_real MergeTree так же на каждой ноде создана таблица table1 Distributed которая смотрит в table1_real периодически - раз в день, раз в неделю (разные промежутки) эти таблицы дропаются, пересоздаются и наполняются данными в какой-то момент начинает выпадать ошибка There is no table .table1_real on server: ...... лечится пересозданием Distributed таблиц на всех нодах подскажите как бы вообще избежать такой проблемы?

В ошибке как-будто название таблицы с точкой в начале, нет? нет ли тут проблемы?

может быть в скрипте где-то опечаточка? у меня, например, несколько таблиц пересоздаются раз в 5 минут и наполняются данными, такой проблемы не встречал

В ошибке как-будто название таблицы с точкой в начале, нет? нет ли тут проблемы?

ошибка в терминале возникает. в ответ даже на простой count() from table1 и точка да - есть

дропайте партишены а не таблицу

проблема в том, что дроп я делаю не столько для очистки, сколько для обновления данных. то есть у меня есть некие строки с парой атрибутов. и со временем атрибуты этих строк могут меняться и мне нужно актуализировать данные

посмотреть в момент проблемы show create table table1, что там за таблица указана, с точкой ли

может быть в скрипте где-то опечаточка? у меня, например, несколько таблиц пересоздаются раз в 5 минут и наполняются данными, такой проблемы не встречал

drop create ? и на них есть дистрибьютед таблица ?

проблема в том, что дроп я делаю не столько для очистки, сколько для обновления данных. то есть у меня есть некие строки с парой атрибутов. и со временем атрибуты этих строк могут меняться и мне нужно актуализировать данные

дропаете все партиции, это будет полный аналог дроп датабейз, криэйт датабейз

дропаете все партиции, это будет полный аналог дроп датабейз, криэйт датабейз

партиции по датам. я же потом вставлю данные с этими же датами. партиции пересоздадуться?

партиций просто не будет после того как вы их дропните, конечно создадутся новые

drop create ? и на них есть дистрибьютед таблица ?

drop table_real; drop table; затем create table_real merge tree; create table distributed;

drop table_real; drop table; затем create table_real merge tree; create table distributed;

у меня просто похожее есть в мускуле так там в этот момент сяпытся ошибки похожие, а вы систему останавливаете на запись в этот момент как то ?

root@xxx.local:/# uname -a Linux xxx.local 4.13.6-0.1-default #1 SMP PREEMPT Thu Oct 12 18:24:34 UTC 2017 (5a88d59) x86_64 x86_64 x86_64 GNU/Linux root@xxx.local:/# cat /etc/issue Ubuntu 16.04.4 LTS \n \l

Помогла доставка libgcc-4.8-dev libc6-dev

у меня просто похожее есть в мускуле так там в этот момент сяпытся ошибки похожие, а вы систему останавливаете на запись в этот момент как то ?

у нас нет динамической записи в этот момент скрипт сначала пересоздает таблицы а потом пишет данные

drop create ? и на них есть дистрибьютед таблица ?

не, там общая таблица Merge смотрит на 2 таблички, с данными за сегодня и за другие дни. Пересоздается таблица с данными за сегодня, для интерфейса, жирный селект на 300 секунд. Так получается, что данные обновляются раз в 5 мин, вполне норм. Пересоздается так: сначала в темповую, а потом два rename table, получается моментально, никто не успевает заметить подмены :)

не, там общая таблица Merge смотрит на 2 таблички, с данными за сегодня и за другие дни. Пересоздается таблица с данными за сегодня, для интерфейса, жирный селект на 300 секунд. Так получается, что данные обновляются раз в 5 мин, вполне норм. Пересоздается так: сначала в темповую, а потом два rename table, получается моментально, никто не успевает заметить подмены :)

Возможно rename тут лучше чем drop create, но в целом правильно все таки дропать партиции.

ошибка так же воспроизводится на таблице, которая не пересоздается постоянно создал свежую таблицу. сначала MergeTree на всех четырех нодах затем Distributed поверх них на каждой ноде залил туда данные и все было хорошо спустя несколько часов ошибка начала воспроизводиться (

при чтении справки на русском, возникает ощущение, что переводили гугл транслейтом с минимальными правками. Это только у меня так?

да

русский был исходником

или нет?)

русский был исходником

если это правда, то исходники писал иностранец :)

россия многонациональная страна)

Алексея раскрыли.

при чтении справки на русском, возникает ощущение, что переводили гугл транслейтом с минимальными правками. Это только у меня так?

А я считаю что это лучшая дока на русском

а есть разница как создавать Distributed таблицы? полноценным create table запросы или простым create table t1 as t2 engine distributed()?

А я считаю что это лучшая дока на русском

в принципе описано понятно и не слишком официозно, но проскальзывают обороты, которые наводят на мысли о машинных переводчиках и надмозгах

нет, просто писал умный человек на своем уровне

нет, просто писал умный человек на своем уровне

бля, ну вот это зачем

"Для клиента командной строки, используемого в интерактивном режиме, по умолчанию используется формат PrettyCompact (прикольные таблички, компактные)."

Помогла доставка libgcc-4.8-dev libc6-dev

Вы не на продакшене clickhouse в докере, надеюсь, используете?

Вы не на продакшене clickhouse в докере, надеюсь, используете?

На проде.

А Яндекс ClickHouse в Porto запускает )

у нас кх работает как база, которую можно целиком потерять)