По сути если перед вызовом детач сделать задержку записи на несколько секунд, то данные не должны быть потеряны. Вобщем надо потестить это поведение.

По сути если перед вызовом детач сделать задержку записи на несколько секунд, то данные не должны быть потеряны. Вобщем надо потестить это поведение.

ща протестил, создал таблицу с репликацией, поставил инсерты раз в секунду в одну реплику. на другой сделал detach partition. всё норм отработало, данные на репликах одинаковые

ща протестил, создал таблицу с репликацией, поставил инсерты раз в секунду в одну реплику. на другой сделал detach partition. всё норм отработало, данные на репликах одинаковые

Т.е. ниче не отвалилось? У меня запись раз в минуту. А детач планируется делать раз в час. Я думаю, что запись можно делать каждую минуту кроме 0 и 59 - это норм вариант

Спасибо за оперативный тест!

ничо не отвалилось CREATE TABLE test.test_detach ( day Date, x DateTime) ENGINE = ReplicatedMergeTree('/clickhouse/tables/{shard}/test_detach', '{replica}', day, day, 8192) на одной реплике: for i in {0..1000}; do echo $i; clickhouse-client -q "insert into test.test_detach values(today(), now())"; sleep 1; done на второй делаем detach partition 201806, останавливаем инсерты, и смотрим данные

Подскажите, как заставить КХ забыть про словарь. Конфиг удалил, а словарь все равно есть.

system reload dictionaries; все обновит

system reload dictionaries; все обновит

это где такую команду надо вести?))

в клиенте )

cgfcb,j

system reload dictionaries; все обновит

а если не помогает?

а команда без ошибок проходит?

а если не помогает?

Это только для "живых", ребут нужен

SELECT * FROM system.dictionaries тут этот словарь есть?

ааа

Это только для "живых", ребут нужен

понял, спасибо

понял, спасибо

Это хороший use case, надо фиксить, но, это точно не надо (если на взять и сделать, т.к. делать нечего) для Яндекс, поэтому можно меня пинать (а я пинкиами более чем завален), а так можно создать issue

?

combot.org/chat/-1001080295593

Всем привет. Есть такая странная фигня: есть таблица docs_temp, пытаюсь ее переименовать в docs, в ответи прилетает exception, DB::Exception: Target path already exists: /var/lib/clickhouse//data/default/docs/. Пытаюсь сделать drop: DB::Exception: Table default.docs doesn't exist.. Пытаюсь сделать detach docs_temp: DB::Exception: Table default.docs doesn't exist..

сохранность данных в этих двух мне сейчас не принципиальна (таблицы проще перелить), вопрос как правильно удалить такие "зависшие" таблицы чтобы не покоробить метаданные в самом clickhouse и не повредить остальные таблицы

Всем привет. Есть такая странная фигня: есть таблица docs_temp, пытаюсь ее переименовать в docs, в ответи прилетает exception, DB::Exception: Target path already exists: /var/lib/clickhouse//data/default/docs/. Пытаюсь сделать drop: DB::Exception: Table default.docs doesn't exist.. Пытаюсь сделать detach docs_temp: DB::Exception: Table default.docs doesn't exist..

По каким-то причинам на диске уже есть папка docs, нужно понять почему она там.

безумный шляпник делал attach\detach таблиц судя по всему.

безумный шляпник делал attach\detach таблиц судя по всему.

Это нужно воспроизвести и намекнуть как это сделать @milovidov_an чтоб пофиксить. Если есть увереность то можно удалить папку с данными и метаданными, но, если есть сомнения то дождитесь фидбека от разработчиков.

@kshvakov Кирилл, недавно проскакивала инфа о том, что в тестовой ветке есть UPDATE/DELETE. Я по коммитам ничего похожего не могу найти ( Можете подсказать какую ветку собрать, что бы потестить?

@kshvakov Кирилл, недавно проскакивала инфа о том, что в тестовой ветке есть UPDATE/DELETE. Я по коммитам ничего похожего не могу найти ( Можете подсказать какую ветку собрать, что бы потестить?

В тестинге есть, но там только ALTER DELETE который активно пилит Леша (@ztlpn) https://repo.yandex.ru/clickhouse/deb/testing/main/

По комитам нужно смотреть на mutate

В тестинге есть, но там только ALTER DELETE который активно пилит Леша (@ztlpn) https://repo.yandex.ru/clickhouse/deb/testing/main/

Ааааа, там ALTER DELETE. Такое я видео ) Спутал с drop partition...

Спасибо!

Ааааа, там ALTER DELETE. Такое я видео ) Спутал с drop partition...

От Лёшы есть очень полезное объяснение как оно там внутри (про MergeTree), я не знаю есть видео или нет, но презентация вот тут https://github.com/yandex/clickhouse-presentations/blob/master/meetup15/mergetree/mergetree.pdf

От Лёшы есть очень полезное объяснение как оно там внутри (про MergeTree), я не знаю есть видео или нет, но презентация вот тут https://github.com/yandex/clickhouse-presentations/blob/master/meetup15/mergetree/mergetree.pdf

Ооооо! Круто! Еще бы видео

Ооооо! Круто! Еще бы видео

Там были какие-то проблемы во время записи, но какая-то часть должна быть, надеюсь отмонтируют, еще есть примеры как делать "странное" от меня https://github.com/kshvakov/ClickHouse-CPP-Meetup ) Я тут сильно тупанул и описал как рабоатать с SQL на C++ митапе )

Привет всем) А можно ли как-то использовать несколько точек монтирование для хранения данных одним Clickhouse сервисом на одном сервере?

надо больше C++ митапов )

Привет всем) А можно ли как-то использовать несколько точек монтирование для хранения данных одним Clickhouse сервисом на одном сервере?

Ну смонтируйте разные базы в разные точки никто же не мешает

Там были какие-то проблемы во время записи, но какая-то часть должна быть, надеюсь отмонтируют, еще есть примеры как делать "странное" от меня https://github.com/kshvakov/ClickHouse-CPP-Meetup ) Я тут сильно тупанул и описал как рабоатать с SQL на C++ митапе )

Я на самом деле не C++ разработчик и думал, что на этом митапе будет инфа только для разработчиков, но как оказалось, там много полезной инфы было впринципе.

Привет всем) А можно ли как-то использовать несколько точек монтирование для хранения данных одним Clickhouse сервисом на одном сервере?

Средствами самого Linux - да, но это не очень. Делать tablespace в планах, но пока нико не делает.

Я на самом деле не C++ разработчик и думал, что на этом митапе будет инфа только для разработчиков, но как оказалось, там много полезной инфы было впринципе.

Это был "первый ком", там никто не понимал что делать )

Я на самом деле не C++ разработчик и думал, что на этом митапе будет инфа только для разработчиков, но как оказалось, там много полезной инфы было впринципе.

У меня еще есть рассказ про то как работать с индексами когда он один, но это пока в рамках подачи заявки на HL++, просто некий опыт

Средствами самого Linux - да, но это не очень. Делать tablespace в планах, но пока нико не делает.

Вы имеете в виду симлинками базы на разделы мапить? Но это плохо работает?

Вы имеете в виду симлинками базы на разделы мапить? Но это плохо работает?

У нас на симлинках бекапы висят. Отлично работает

Вы имеете в виду симлинками базы на разделы мапить? Но это плохо работает?

Это - ОК, но если у вас нужно резделять как-то по таблицам - это всё сложно работает, например если вы хотите выкинуть "сырые". данные на другой массив, т.е. достаточно стандартное поведение.

У нас на симлинках бекапы висят. Отлично работает

Там же хардлинуи при freeze

Там же хардлинуи при freeze

У нас старые данные уходят на другой сервер. И при необходимости монтируется NFS диск, в котором данные уже линкуем к основной базе

У нас старые данные уходят на другой сервер. И при необходимости монтируется NFS диск, в котором данные уже линкуем к основной базе

Можете описать процесс чуть подробнее? Конкретно интересует как вы вытесняете старые данные

Это нужно воспроизвести и намекнуть как это сделать @milovidov_an чтоб пофиксить. Если есть увереность то можно удалить папку с данными и метаданными, но, если есть сомнения то дождитесь фидбека от разработчиков.

сделал rename table docs_temp to docs_temp_2; rename docs_temp_2 to docs; сработало, что было - непонятно

У нас старые данные уходят на другой сервер. И при необходимости монтируется NFS диск, в котором данные уже линкуем к основной базе

Я понял, но, у нас тоже самое, сейчас нам просто не "синкнуть" данные еще куда-то, и сейчас "нужно делать кое-что еще"

Можете описать процесс чуть подробнее? Конкретно интересует как вы вытесняете старые данные

Detach partition с основной таблицы. Партиция улетает на хранилище. Когда необходимо монтируется диск. Создаем таблицу по структуре как и основная. Симлинкуем нужные куски в папку с данными этой новой таблицы. Далее аттач. Есть конечно нюансы - когда сеть проседает, или когда падает скорость выборки и т.п. Но это все решается настройками клика

При этом клику нужно запретить мерджить куски на это время)

Спасибо

А размер записей на диск в CH какой-то статический, может его можно настраивать? Или всегда динамический?

Ребят, есть вопрос по отдельной агрегационной ноде без данных, она ест место на диске? Или только cpu/память?

А размер записей на диск в CH какой-то статический, может его можно настраивать? Или всегда динамический?

Можно, но если у вас чего-то нехватает то у вас проблемы

Можно, но если у вас чего-то нехватает то у вас проблемы

В смысле чего-то не хватает? Поясните, пожалуйста. Железячники просят рассказать как CH пишет данные...

А размер записей на диск в CH какой-то статический, может его можно настраивать? Или всегда динамический?

В system.merges сомотрели?

В смысле чего-то не хватает? Поясните, пожалуйста. Железячники просят рассказать как CH пишет данные...

RX пишет данные как есть, (пока)

RX пишет данные как есть, (пока)

в таблице по записи в количестве байт вижу только: bytes_written_uncompressed UInt64 - количество записанных байт, несжатых но пишутся же сжатые данные, так что вряд ли это значение им подойдёт)

в таблице по записи в количестве байт вижу только: bytes_written_uncompressed UInt64 - количество записанных байт, несжатых но пишутся же сжатые данные, так что вряд ли это значение им подойдёт)

Надо пробоваьт

Всем приувет. Хотим разместить CH в новом датацентре и возник вопрос, он поддерживает шифрование данных на дисках?

шифрованная FS?

Всем привет, а где можно найти файлики для словарей, описанных вот тут? https://clickhouse.yandex/docs/ru/functions/ym_dict_functions/#ym_dict_functions

@Krashuevina, шифровать фс - это запасной план

А что насчёт использования слоя кэширования в mdadm для базы под Clickhouse ? Нужен или нет?

А что насчёт использования слоя кэширования в mdadm для базы под Clickhouse ? Нужен или нет?

Больше вреда чем пользы должно быть

Не очень понятно зачем, файловый кеш и так нормально работает

всем снова привет подскажите, можно ли как то посмотреть состояние таблицы с движком буфер?

сколько там данных, например

Больше вреда чем пользы должно быть

А почему?

А почему?

у кх такое файловое устройство, что кэш фс и так прекрасно справляется

добавив уровень абстракции - понизите надежность

понятно. ещё есть вопрос касательно программного рейда из HDD. Правильно ли я понимаю, что в таком случае существует вероятность потери данных, ещё не за fsync-аных на диски, но записанных в кэш, в момент между возвратом клиенту "успеха" в ответ на INSERT и фактической записи на реплики? кто-то сталкивался, какие есть варианты mitigation, кроме повышения частоты фсинков на диск в операционке?

insert quorum

тогда блок будет минимум в двух местах

в главе про ReplicatedMergeTree написано про идемпотентность INSERT. я правильно понял, что для обычного MergeTree это тоже справедливо?

всем снова привет подскажите, можно ли как то посмотреть состояние таблицы с движком буфер?

select(select count(*) from buffer_table_name) - (select count(*) from origin_table_name) as buffered_rows_count; ?

select(select count(*) from buffer_table_name) - (select count(*) from origin_table_name) as buffered_rows_count; ?

я про стандартные средства :)

чем select не стандартное средство?

тем, что у буфера есть счетчики байт и строк, можно было бы туда и напрямую смотреть

хотя конечно, может какие то еще есть "возможности" в документации

тем, что у буфера есть счетчики байт и строк, можно было бы туда и напрямую смотреть

ну, можете посмотреть таблицу system.columns select * from system.columns where table='table_name'

также, судя по документации, релевантная таблица - system.parts

Добрый день. У меня ошибка при Insert. Подозрение, что совсем простая ошибка. Есть такая операция INSERT INTO LIFECYCLE_LOG values ( '13.05.18', '13.05.18 02:59:59', 'BLOGGERUSER', 'READ_FRIENDS', '27ee9e68-7695-4e6f-a54c-46bce225bb00', '27ee9e68-7695-4e6f-a54c-46bce225bb00', '0'); На сервере падает ошибка: 2018.06.07 13:37:56.406410 [ 5 ] <Error> HTTPHandler: Code: 32, e.displayText() = DB::Exception: Attempt to read after eof, e.what() = DB::Exception, Stack trace: 0. /usr/bin/clickhouse-server(StackTrace::StackTrace()+0x15) [0x84eb125] 1. /usr/bin/clickhouse-server(DB::Exception::Exception(std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, int)+0x21) [0x2ccbf01] 2. /usr/bin/clickhouse-server(DB::throwReadAfterEOF()+0x4c) [0x2ccbf6c] 3. /usr/bin/clickhouse-server(DB::readDateTextFallback(LocalDate&, DB::ReadBuffer&)+0x395) [0x8501ba5] 4. /usr/bin/clickhouse-server(DB::readDateText(StrongTypedef<unsigned short, DayNum_tTag>&, DB::ReadBuffer&)+0x1a8) [0x5f8f388] 5. /usr/bin/clickhouse-server() [0x7d6ac3a] 6. /usr/bin/clickhouse-server(DB::convertFieldToType(DB::Field const&, DB::IDataType const&, DB::IDataType const*)+0x61) [0x7d6b3c1] Как правильно запрос составить? Первое поле типа Date, второе - DateTime

2018-05-13 вроде должно быть

формат даты и датывремени не верный, должно быть '2018-05-13', '2018-05-13 02:59:59'

Да, я уже подумал об этом. Но всё равно не помогает. Сейчас вот такой вставляю INSERT INTO LIFECYCLE_LOG values ( '13-05-18', '13-05-18 02:59:59', 'BLOGGERUSER', 'READ_FRIENDS', '27ee9e68-7695-4e6f-a54c-46bce225bb00', '27ee9e68-7695-4e6f-a54c-46bce225bb00', '0');

По-моему, снова неверный

должен быть YYYY-MM-DD, а у вас - DD-MM-YY

Всё, спасибо. Все глаза проглядел.

должен быть YYYY-MM-DD, а у вас - DD-MM-YY

+1

Насколько опасно такое в логах? 2018.06.06 15:38:02.863325 [ 108495 ] <Error> carrierAppFirstStarted.Distributed.DirectoryMonitor: Code: 225, e.displayText() = DB::Exception: Received from 10.253.248.105:9000. DB::Exception: ZooKeeper session has been expired..

со временем появления этих ошибок в логах совпадает скачок метрики clickhouse_leader_replica

приветствую, подскажите пожалуйста, как делать поиск в массиве Array(Int64) ? Или нужно делать только arrayJoin и тогда искать?

приветствую, подскажите пожалуйста, как делать поиск в массиве Array(Int64) ? Или нужно делать только arrayJoin и тогда искать?

arrayFirst