@clickhouse_ru

Страница 275 из 723

Vladimir

02.10.2017
12:29:17

[Пн окт 2 14:00:44 2017] R13: 0000000000000001 R14: fffff95888350940 R15: ffff9cc9f9238388 [Пн окт 2 14:00:44 2017] FS: 00007f55752b2700(0000) GS:ffff9cca1dc80000(0000) knlGS:0000000000000000 [Пн окт 2 14:00:44 2017] CS: 0010 DS: 0000 ES: 0000 CR0: 0000000080050033 [Пн окт 2 14:00:44 2017] CR2: 000000001f7ff000 CR3: 00000005f9156000 CR4: 00000000003406e0 [Пн окт 2 14:00:44 2017] DR0: 0000000000000000 DR1: 0000000000000000 DR2: 0000000000000000 [Пн окт 2 14:00:44 2017] DR3: 0000000000000000 DR6: 00000000fffe0ff0 DR7: 0000000000000400 [Пн окт 2 14:00:44 2017] Call Trace: [Пн окт 2 14:00:44 2017] ? try_to_free_buffers+0x94/0xe0 [Пн окт 2 14:00:44 2017] jbd2_journal_try_to_free_buffers+0xee/0x120 [Пн окт 2 14:00:44 2017] ext4_releasepage+0x52/0xb0 [Пн окт 2 14:00:44 2017] try_to_release_page+0x41/0x50 [Пн окт 2 14:00:44 2017] block_invalidatepage+0x12c/0x140 [Пн окт 2 14:00:44 2017] ext4_invalidatepage+0x5e/0xb0 [Пн окт 2 14:00:44 2017] ext4_da_invalidatepage+0x4f/0x340 [Пн окт 2 14:00:44 2017] truncate_inode_page+0xb8/0xc0 [Пн окт 2 14:00:44 2017] truncate_inode_pages_range+0x1b8/0x940 [Пн окт 2 14:00:44 2017] truncate_inode_pages_final+0x4d/0x60 [Пн окт 2 14:00:44 2017] ext4_evict_inode+0x11a/0x4e0 [Пн окт 2 14:00:44 2017] evict+0xc7/0x1a0 [Пн окт 2 14:00:44 2017] iput+0x1bb/0x240 [Пн окт 2 14:00:44 2017] do_unlinkat+0x19f/0x2e0 [Пн окт 2 14:00:44 2017] SyS_unlink+0x16/0x20 [Пн окт 2 14:00:44 2017] entry_SYSCALL_64_fastpath+0x1e/0xad [Пн окт 2 14:00:44 2017] RIP: 0033:0x7f557b5c9a57 [Пн окт 2 14:00:44 2017] RSP: 002b:00007f55752ae5a8 EFLAGS: 00000206 ORIG_RAX: 0000000000000057 [Пн окт 2 14:00:44 2017] RAX: ffffffffffffffda RBX: 0000000000000063 RCX: 00007f557b5c9a57 [Пн окт 2 14:00:44 2017] RDX: 00007f55752ae640 RSI: 00007f55752ae640 RDI: 000000003fb422a0 [Пн окт 2 14:00:44 2017] RBP: 00007f55752ae650 R08: 0000000000520000 R09: 000000000000000e [Пн окт 2 14:00:44 2017] R10: 000000000eba43a0 R11: 0000000000000206 R12: 0000000018b69710 [Пн окт 2 14:00:44 2017] R13: 00007f55752ae880 R14: 000000002632cfc0 R15: 00000000185a16c8 [Пн окт 2 14:00:44 2017] Code: 89 e5 e8 eb e5 f9 ff 65 ff 0d 14 6a 79 6b b8 01 00 00 00 65 0f c1 05 0b 6a 79 6b 3d ff 0f 00 00 7f 02 5d c3 e8 19 fb ff ff 5d c3 <0f> 0b 0f 1f 44 00 00 0f 1f 44 00 00 55 48 89 e5 41 57 41 56 41 [Пн окт 2 14:00:44 2017] RIP: free_buffer_head+0x49/0x50 RSP: ffffb82108007b08 [Пн окт 2 14:00:44 2017] —-[ end trace 8669ec0eecdc5060 ]--- [Пн окт 2 14:03:01 2017] perf: interrupt took too long (2531 > 2500), lowering kernel.perf_event_max_sample_rate to 79000 [Пн окт 2 14:17:31 2017] perf: interrupt took too long (3167 > 3163), lowering kernel.perf_event_max_sample_rate to 63000 [Пн окт 2 15:06:17 2017] wlp3s0: disconnect from AP cc:16:7e:5d:d1:1e for new auth to cc:16:7e:5d:cb:2e [Пн окт 2 15:06:17 2017] wlp3s0: authenticate with cc:16:7e:5d:cb:2e [Пн окт 2 15:06:17 2017] wlp3s0: send auth to cc:16:7e:5d:cb:2e (try 1/3) [Пн окт 2 15:06:17 2017] wlp3s0: authenticated [Пн окт 2 15:06:17 2017] wlp3s0: associate with cc:16:7e:5d:cb:2e (try 1/3) [Пн окт 2 15:06:17 2017] wlp3s0: RX AssocResp from cc:16:7e:5d:cb:2e (capab=0x11 status=0 aid=111) [Пн окт 2 15:06:17 2017] wlp3s0: associated [Пн окт 2 15:06:17 2017] wlp3s0: Limiting TX power to 16 dBm as advertised by cc:16:7e:5d:cb:2e

Атата

02.10.2017
12:31:56

не мучай людей, кидай на пастебин/etc

Vasiliy

02.10.2017
12:56:17

Добрый день, подскажите пожалуйста, возник вопрос по поводу сравнения дат в секции where. Можно ли сравнивать поле типа DateTime и строковое представление даты вида '2000-01-01 00:00:00' ?

Dmitrii

02.10.2017
12:57:45

можно перевести его в дэйттайп с помощью toDateTime()

Google

Cargeh

02.10.2017
13:00:31

Добрый день. Вот какая вещь интересует: есть несколько таблиц с одинаковыми столбцами, по факту данные хранятся одного типа, просто для аналитики разбиты по категориям (категория == таблица). Возможно ли сделать какую-нибудь виртуальную таблицу (одну), которая будет включать в себя данные всех тех других таблиц? Чтобы делать операции по одной таблице (той самой виртуальной) и не указывать много-много таблиц

papa

02.10.2017
13:01:16

Добрый день, подскажите пожалуйста, возник вопрос по поводу сравнения дат в секции where. Можно ли сравнивать поле типа DateTime и строковое представление даты вида '2000-01-01 00:00:00' ?

работает SELECT x > '2000-01-01 00:00:01' FROM ( SELECT toDateTime('2000-01-01 00:00:00') AS x ) ┌─greater(x, \'2000-01-01 00:00:01\')─┐ │ 0 │ └─────────────────────────────────────┘

Добрый день. Вот какая вещь интересует: есть несколько таблиц с одинаковыми столбцами, по факту данные хранятся одного типа, просто для аналитики разбиты по категориям (категория == таблица). Возможно ли сделать какую-нибудь виртуальную таблицу (одну), которая будет включать в себя данные всех тех других таблиц? Чтобы делать операции по одной таблице (той самой виртуальной) и не указывать много-много таблиц

либо union all либо движок merge

Vasiliy

02.10.2017
13:03:24

работает SELECT x > '2000-01-01 00:00:01' FROM ( SELECT toDateTime('2000-01-01 00:00:00') AS x ) ┌─greater(x, \'2000-01-01 00:00:01\')─┐ │ 0 │ └─────────────────────────────────────┘

да, спасибо, дело в том, что я пробовал запросы со строковым представлением и использовал метод toDateTime действительно, работает. вопрос скорее, а корректно ли работает

Cargeh

02.10.2017
13:04:59

либо union all либо движок merge

Только-только про него читал и решил, что не подходит Перечитал - действительно то что надо. Спасибо!

Konstantin

02.10.2017
13:05:35

да, спасибо, дело в том, что я пробовал запросы со строковым представлением и использовал метод toDateTime действительно, работает. вопрос скорее, а корректно ли работает

а что у вас вызывает подозрения в некорректности?

Vasiliy

02.10.2017
13:08:41

а что у вас вызывает подозрения в некорректности?

в базе есть значения от 2011 года до 2017, если сначала сделать запрос и ставить условие time > toDateTime(2000-01-01 00:00:00) , а в следующем запросе time > toDateTime(2100-01-01 00:00:00) , то результат этих запросов одинаковый

Konstantin

02.10.2017
13:11:20

в базе есть значения от 2011 года до 2017, если сначала сделать запрос и ставить условие time > toDateTime(2000-01-01 00:00:00) , а в следующем запросе time > toDateTime(2100-01-01 00:00:00) , то результат этих запросов одинаковый

напишите дату/время в ковычках

toDateTime('2000-01-01 00:00:00')

Vasiliy

02.10.2017
13:11:58

toDateTime('2000-01-01 00:00:00')

в запросе именно так и есть, просто тут я поспешил и забыл ковычки

Konstantin

02.10.2017
13:12:30

тогда уже подозрительнее у меня с вашими датами отрабатывает корректно

просто count() с такими условиями также одинаково считает?

papa

02.10.2017
13:18:24

в базе есть значения от 2011 года до 2017, если сначала сделать запрос и ставить условие time > toDateTime(2000-01-01 00:00:00) , а в следующем запросе time > toDateTime(2100-01-01 00:00:00) , то результат этих запросов одинаковый

скорее всего проблема в том, что 2100 после 2038

Google

Vasiliy

02.10.2017
13:21:13

скорее всего проблема в том, что 2100 после 2038

Да, спасибо! именно это и было причиной проблем

просто count() с такими условиями также одинаково считает?

Спасибо за помощь!

Konstantin

02.10.2017
13:22:14

скорее всего проблема в том, что 2100 после 2038

тоже подумал про ошибку 2038, но у меня проглотило 2100 =)

Vladimir

02.10.2017
16:39:56

Я посмтоянно получаю ошибку DB::Exception: Checksum doesn't match: corrupted data. В ходе многих проб ошибок мне кажется я нащупал причину. Если попробовать вставить запись с неправильным количеством столбцов, то КХ поругается и начнёт выдавать эту ошибку. такое ощущение, что он всё равно как то вставляет такую строку. Можно ли как то попросить КХ не вставлять неправильные строки?

Александр

02.10.2017
17:10:58

Есть такая настройка. Гедавно видел, у меня был прикол что я писал числа за пределами юинт16, а они конвертились в него и в итоге не то число получалось (

Долго не мог понять откуда ноги растут пока не посмотрел create table

Vladimir

02.10.2017
17:32:09

У меня при передаче фалйа по фтп иногда файл ломается и когда пытается залиться - ломает весь кусок(

Alexey

02.10.2017
18:18:12

Используйте MergeTree. Таблицы типа Log - для... смотрите в документации.

Vladimir

02.10.2017
18:20:41

У меня ReaplacingMergeTree..

Alexey

02.10.2017
19:09:16

А это интереснее. Ломаться не должно. Есть минимальный пример для воспроизведения? На какой машине всё это запущено?

Vladimir

02.10.2017
19:30:21

Переименовал таблицу и создал такую же MergeTree и всё хорошо сработало.

Я гружу месяц по дням. и каждый раз проблема с разным днём, а перезаписывать приходилось весь месяц

Так что пример который стабильно ломает таблицу не могу найти(

Alexey

02.10.2017
19:31:25

А какая версия сервера?

Vladimir

02.10.2017
19:32:20

А какая версия сервера?

ClickHouse client version 1.1.54289. Connecting to localhost:9000. Connected to ClickHouse server version 1.1.54289.

Alexey

02.10.2017
19:35:33

Интересно. Это достаточно новая. А сможете ли предоставить данные для воспроизведения? Можно на почту.

Vladimir

02.10.2017
19:40:44

Интересно. Это достаточно новая. А сможете ли предоставить данные для воспроизведения? Можно на почту.

в личку всё написал

Konstantin

03.10.2017
06:05:59

в личку всё написал

когда найдете причину - поделитесь пожалуйста, мы также льем посуточно в replacingmergetree, с такой проблемой не встречались, но хотелось бы предупредить если такое возможно =)

Roman

03.10.2017
07:38:17

Ребят, подскажите пожалуйста кто знает: возможно ли выполнить optimize на всем кластере? Чтобы соптимизировать разом все куски distributed таблицы.

Рулон

03.10.2017
08:28:30

Товарищи! Есть сервер 48 оперативки 24 ядра нужно анализировать 22 лярда записей. потянет?

Google

Konstantin

03.10.2017
08:32:44

Товарищи! Есть сервер 48 оперативки 24 ядра нужно анализировать 22 лярда записей. потянет?

зависит от запроса =)

Рулон

03.10.2017
08:34:16

Ну селекты разные))))

Cargeh

03.10.2017
08:35:08

Ну селекты разные))))

Насколько я понял по документации, для раскрытия потенциала кликхауса селекты и в целом юзкейсы как раз должны быть специфичны, а не "всякие")

Konstantin

03.10.2017
08:36:06

Ну селекты разные))))

у меня 24 оперативки, примерно 1.5 млрд записей в месяц, вроде все работает. на сейчас как раз 25млрд суммарно

Vladimir

03.10.2017
08:36:57

а у меня 2млрд на 5 гб оперативки :) иногда приходится оптимизировать запросы, но прямо встрять пока не приходилось

Andrey

03.10.2017
08:37:19

Товарищи! Есть сервер 48 оперативки 24 ядра нужно анализировать 22 лярда записей. потянет?

Сильно зависит от запроса. Ну и от записей конечно. А то мож у тя там картинки блобами :D

В среднем по больнице случае все будет работать очень хорошо)

Рулон

03.10.2017
08:38:51

У меня почти все int64

Andrey

03.10.2017
08:39:09

У меня почти все int64

Тююю, а запросы какие? Агрегация небось?

Рулон

03.10.2017
08:39:12

Ну и дата

Konstantin

03.10.2017
08:39:13

У меня почти все int64

да будет все работать не переживайте

Рулон

03.10.2017
08:39:28

Супер))

Andrey

03.10.2017
08:39:50

Ну и дата

Все будет летать, еще помайнить ресурсов останется)

Alexander

03.10.2017
08:55:42

Только что упал с ошибкой: 2017.10.03 11:46:22.021716 [ 991 ] <Error> BaseDaemon: ######################################## 2017.10.03 11:46:22.090402 [ 991 ] <Error> BaseDaemon: (from thread 72) Received signal Segmentation fault (11). 2017.10.03 11:46:22.090461 [ 991 ] <Error> BaseDaemon: Address: 0x9 2017.10.03 11:46:22.155113 [ 991 ] <Error> BaseDaemon: 0. clickhouse-server(DB::DataTypeNullable::serializeTextEscaped(DB::IColumn const&, unsigned long, DB::WriteBuffer&) const+0x4) [0x2b71634] 2017.10.03 11:46:22.155169 [ 991 ] <Error> BaseDaemon: 1. clickhouse-server(DB::BlockOutputStreamFromRowOutputStream::write(DB::Block const&)+0x8c) [0x369581c] 2017.10.03 11:46:22.155194 [ 991 ] <Error> BaseDaemon: 2. clickhouse-server(DB::MaterializingBlockOutputStream::write(DB::Block const&)+0x28) [0x31524d8] 2017.10.03 11:46:22.155222 [ 991 ] <Error> BaseDaemon: 3. clickhouse-server(DB::copyData(DB::IBlockInputStream&, DB::IBlockOutputStream&, std::atomic<bool>*)+0x91) [0x3564611] 2017.10.03 11:46:22.155260 [ 991 ] <Error> BaseDaemon: 4. clickhouse-server(DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::function<void (std::__cxx11::basic_string<char, std::char_traits<char>, std::allocator<char> > const&)>)+0x595) [0x31f0f55] 2017.10.03 11:46:22.155313 [ 991 ] <Error> BaseDaemon: 5. clickhouse-server(DB::HTTPHandler::processQuery(Poco::Net::HTTPServerRequest&, HTMLForm&, Poco::Net::HTTPServerResponse&, DB::HTTPHandler::Output&)+0x1dc4) [0x1450f64] 2017.10.03 11:46:22.155338 [ 991 ] <Error> BaseDaemon: 6. clickhouse-server(DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)+0x25e) [0x1452f1e] 2017.10.03 11:46:22.155362 [ 991 ] <Error> BaseDaemon: 7. clickhouse-server(Poco::Net::HTTPServerConnection::run()+0x2dd) [0x3b1c6cd] 2017.10.03 11:46:22.155384 [ 991 ] <Error> BaseDaemon: 8. clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x3b156bf] 2017.10.03 11:46:22.155406 [ 991 ] <Error> BaseDaemon: 9. clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x12b) [0x3b16d3b] 2017.10.03 11:46:22.155428 [ 991 ] <Error> BaseDaemon: 10. clickhouse-server(Poco::PooledThread::run()+0xa7) [0x3c295a7] 2017.10.03 11:46:22.155453 [ 991 ] <Error> BaseDaemon: 11. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x96) [0x3c23d06] 2017.10.03 11:46:22.155474 [ 991 ] <Error> BaseDaemon: 12. /lib64/libpthread.so.0(+0x7e25) [0x7f37f92b8e25]

prll

03.10.2017
09:03:34

От какого запроса можно в логе найти ?

Alexander

03.10.2017
09:04:40

От какого запроса можно в логе найти ?

мне вопрос?

наткнулся на неожиданный результат при использовании функции toDate через JDBC: SELECT toDate('0000-00-00'); 0002-11-30 при таком же запросе через clickhouse-client 0000-00-00 SELECT timezone() в обоих случаях Europe/Moscow

да

на самом сервере при вставке значения '0000-00-00' в поле типа Date через clickhouse-client --query="INSERT INTO table FORMAT TSV" тоже записалось значение "0002-11-30"

а не, если смотреть значение на самом сервере, то оно "0000-00-00"

Google

Alexander

03.10.2017
09:28:28

а если через jdbc то "0002-11-30"

sh date Вт окт 3 12:30:13 MSK 2017

Vladislav

03.10.2017
10:21:14

Концептуальный вопрос У нас такой usecase: мы часто пишем "в прошлое", т.е. у нас довольно много записей не только в сегодняшнюю дату, но и в разные даты за последние несколько лет Потестировали на стенде - инсерты не очень шустро работают, а в таблице становится довольно много кусочков Как быть? Буфферизовать в пачки с одинаковой датой?

Ilya

03.10.2017
10:24:51

Концептуальный вопрос У нас такой usecase: мы часто пишем "в прошлое", т.е. у нас довольно много записей не только в сегодняшнюю дату, но и в разные даты за последние несколько лет Потестировали на стенде - инсерты не очень шустро работают, а в таблице становится довольно много кусочков Как быть? Буфферизовать в пачки с одинаковой датой?

Вставлять большими пачками отсортированный по времени?

Vladislav

03.10.2017
10:25:26

ясно, а предсортировка поможет быстрее склеиться кусочкам?

Cargeh

03.10.2017
10:26:27

ясно, а предсортировка поможет быстрее склеиться кусочкам?

Vladislav

03.10.2017
10:27:07

спасибо большое, почему-то не увидел в доке

Cargeh

03.10.2017
10:34:09

В доке указано "Отсутствие полноценной реализации UPDATE/DELETE", но по факту, я так понимаю, реализации нет вообще никакой и начальная поддержка запланнирована только на Q1 2018. Теоретически, как можно избавляться от данных? Помимо очевидного "дропнуть таблицу"

Vladislav

03.10.2017
10:35:22

через INSERT SELECT с исключающим фильтром в другую таблицу

кроме того можно удалять не всю таблицу, а партицию

Cargeh

03.10.2017
10:35:39

через INSERT SELECT с исключающим фильтром в другую таблицу

т.е по сути данные перегонять и дропать старую таблицу?

кроме того можно удалять не всю таблицу, а партицию

это запросом делается или вручную файл удаляется?

Vladislav

03.10.2017
10:36:01

запросом

Cargeh

03.10.2017
10:36:30

запросом

нашел, спасибо. Для интересующихся: DETACH PARTITION - перенести партицию в директорию detached и забыть про неё. DROP PARTITION - удалить партицию. ATTACH PART|PARTITION - добавить в таблицу новый кусок или партицию из директории detached. FREEZE PARTITION - создать бэкап партиции. FETCH PARTITION - скачать партицию с другого сервера.

у меня 24 оперативки, примерно 1.5 млрд записей в месяц, вроде все работает. на сейчас как раз 25млрд суммарно

А сколько у вас хостов? Или это все один сервак? Рассматриваем переход и интрересует оптимальное железо

а у меня 2млрд на 5 гб оперативки :) иногда приходится оптимизировать запросы, но прямо встрять пока не приходилось

И тут тоже интересно :)

Vladimir

03.10.2017
10:59:48

И тут тоже интересно :)

1 машина обычная десктопная.

А про рекомендации по железу гдето в доках есть

Александр

03.10.2017
11:00:34

Интересное поведение клиента версии 1.1.54292

Находясь в конкретной папке вылетает клиент при запуске. terminate called after throwing an instance of 'Poco::SystemException' what(): System exception Aborted (core dumped)

Google

Александр

03.10.2017
11:01:28

Сменил директорию на / и clickhouse-client запустился

Потом перехожу в туже директорию в которой была проблема и clickhouse-client работает. Очень странно.

Атата

03.10.2017
11:06:26

Потом перехожу в туже директорию в которой была проблема и clickhouse-client работает. Очень странно.

мб каталога нет? создать каталог, перейти в него, удалить, запустить клиент

prll

03.10.2017
11:16:26

Если бы проблема воспроизводилась - можно было бы поставить -dbg пакет и запустить через gdb