Это рабочий вариант запроса, чисто для проверки. Флоаты не в первичном ключе

Индексов на этих столбцах нет вообще, как оказалось. Вот CREATE-скрипт CREATE TABLE default.traffik ( date Date, city_id Int64, datetime DateTime, hash String, x Float32, y Float32) ENGINE = MergeTree(date, (city_id, date, x, y), 8192)

А, нет, по всей видимости я ошибся, по ходу все колонки загнаны под первичный ключ. Попробую обновиться. Спасибо.

Добрый день. Ситуация: access логи nginx`а в clickhouse. Импортирую как FORMAT JSONEachRow. Технически все устраивает кроме ситуации со временем в виде msec: json '{ "time": "1499414248.051" Nginx умеет и другие варианты формата, но с ними приходится строить конвейер с sed.. json '{ "time": "$time_local", ' - выход в виде { "time": "06/Jul/2017:19:02:59 +0300" json '{ "time": "$time_iso8601", ' - выход в виде { "time": "2017-07-06T19:24:59+03:00" Собственно, вопрос: что-то возможно предпринять со временем ? Возможно преобразовывать при вставке? Спасибо.

Можно вставлять как число или строку, но конвертить на лету - http://joxi.ru/Y2LBLyZtnMw1Wr

Никто не сталкивался с KeeperException на вставку?

Got user-level KeeperException when processing sessionid:0x25d1d102efb0000 type:create cxid:0x595f8186 zxid:0x100000039 txntype:-1 reqpath:n/a Error Path:/clickhouse/tables/TABLE/quorum Error:KeeperErrorCode = NodeExists for /clickhouse/tables/TABLE/quorum

Такого вида

Странно, последнее время много логов сюда кидают с сообщением NodeExists

Ну насколько я вижу это пересоздание ноды кликхаусом... Но что, зачем и почему...

Подскажите плз, на пустой БД пытаюсь восстановить данные из бекапа (FREEZE PARTITION) из папки detached на команду ATTACH PARTITION выдает ошибку Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() = DB::Exception На всех файлах бекапа права 777.

Можно вставлять как число или строку, но конвертить на лету - http://joxi.ru/Y2LBLyZtnMw1Wr

Спасибо. Как вариант, да.

Спасибо. Как вариант, да.

Но я бы всё равно sed-ом конвертил даты, чтобы это происходило один раз. А дальше только с датой как типом Дата работать

Но я бы всё равно sed-ом конвертил даты, чтобы это происходило один раз. А дальше только с датой как типом Дата работать

Так и делаю. Именно для этой цели "только с датой как типом Дата работать".

Подскажите, пожалуйста, есть ли в ClickHouse функция пересечения множеств для массивов? Что-то вроде && из Postgresql

Коллеги, а у табикса есть чатик?

Уважаемые, подскажите, пожалуйста следующее - есть два ДЦ, в которых происходят события. Как их правильно настроить кластера CH, в этом случае, чтобы одним запросом выбирать данные обоих ДЦ? Надо ли указывать два кластера? Надо ли настроить реплику из одного во второй?

Подскажите, пожалуйста, есть ли в ClickHouse функция пересечения множеств для массивов? Что-то вроде && из Postgresql

нет, только лямбды.

нет, только лямбды.

Понял, благодарю Вас

Кто-нибудь сталкивался с проблемами с большим кол-вом таблиц? Экспериментирую с импортом json-логов в CH. В результате создается много "узких" таблиц, примено 1.2к (в дальнейшем будет больше). Пока полёт нормальный, но интересно, будут ли проблемы, если сделать их реплицируемыми и если их кол-во дальше будет расти (не десятки тысяч, но всё же)

налетай, новую статью завезли https://medium.com/@f1yegor/clickhouse-aggregatefunctions-and-aggregatestate-e3fd46b7be74

предложения и комментарии приветствуются

предложения и комментарии приветствуются

маленькая статья

я бы не был так уверен насчет уникальности этой фичи, в некоторых продуктах есть аналогичные вещи https://docs.snowflake.net/manuals/sql-reference/functions/hll_accumulate.html

в PostgresSQL так же можно хранить состояния HLL

в CH более заманчивым кажется вариант в MV с агрегатными стейтами поверх таблицы с сырыми данными. Вот это достаточно уникальная штука

С ходу ? надо на какую-то проблему прикрутить живую и посмотреть.

Кто-нибудь сталкивался с проблемами с большим кол-вом таблиц? Экспериментирую с импортом json-логов в CH. В результате создается много "узких" таблиц, примено 1.2к (в дальнейшем будет больше). Пока полёт нормальный, но интересно, будут ли проблемы, если сделать их реплицируемыми и если их кол-во дальше будет расти (не десятки тысяч, но всё же)

Боюсь соврать, но когда у Алексея Миловидова интересовался, он такое не рекомендовал, говорит, что могут быть проблемы на уровне файловой системы. Рекомендовал все сливать в одну или несколько

кто может глянуть на набросок статьи? https://medium.com/@f1yegor/clickhouse-aggregatefunctions-and-aggregatestate-e3fd46b7be74

Понять бы какая просадка производительности при вставке тогда.

При вставке чего?

Строки или строк с такой предагрегацией

интересное поведение парсера запросов: :) select tuple(1), (1), tuple(1,2), (1,2) SELECT tuple(1), 1, (1, 2), (1, 2) ┌─tuple(1)─┬─1─┬─tuple(1, 2)─┬─tuple(1, 2)─┐ │ (1) │ 1 │ (1,2) │ (1,2) │ └──────────┴───┴─────────────┴─────────────┘

интересное поведение парсера запросов: :) select tuple(1), (1), tuple(1,2), (1,2) SELECT tuple(1), 1, (1, 2), (1, 2) ┌─tuple(1)─┬─1─┬─tuple(1, 2)─┬─tuple(1, 2)─┐ │ (1) │ 1 │ (1,2) │ (1,2) │ └──────────┴───┴─────────────┴─────────────┘

вроде всё нормально

Got user-level KeeperException when processing sessionid:0x25d1d102efb0000 type:create cxid:0x595f8186 zxid:0x100000039 txntype:-1 reqpath:n/a Error Path:/clickhouse/tables/TABLE/quorum Error:KeeperErrorCode = NodeExists for /clickhouse/tables/TABLE/quorum

Сообщения в логе ZK о node exists, node doesn't exist являются нормой и не являются ошибками. Если сообщение видно в логе ClickHouse - другое дело.

Ок, я правильно понимаю -- что если кластер Zookeeper будет поврежден так, что это помешает работе Clickhouse, то в логе Clickhouse будут ERROR?

Подскажите плз, на пустой БД пытаюсь восстановить данные из бекапа (FREEZE PARTITION) из папки detached на команду ATTACH PARTITION выдает ошибку Code: 33, e.displayText() = DB::Exception: Cannot read all data, e.what() = DB::Exception На всех файлах бекапа права 777.

Здесь нужно больше подробностей (стек трейс, информация о том, какой кусок аттачится). Сообщение может быть в случае пустых или обрезанных файлов. Надо смотреть внимательнее.

В смысле что о живости Zookeeper для Clickhouse можно судить по логам Clickhouse

Ок, я правильно понимаю -- что если кластер Zookeeper будет поврежден так, что это помешает работе Clickhouse, то в логе Clickhouse будут ERROR?

Да.

Большое спасибо :)

Уважаемые, подскажите, пожалуйста следующее - есть два ДЦ, в которых происходят события. Как их правильно настроить кластера CH, в этом случае, чтобы одним запросом выбирать данные обоих ДЦ? Надо ли указывать два кластера? Надо ли настроить реплику из одного во второй?

Вы можете описать в конфигурации один кластер, который содержит серверы обеих ДЦ. Можно использовать Replicated таблицы, объявить реплики в конфигурации кластера - тогда все события будут реплицироваться в оба датацентра. Можно не настраивать репликацию меж-ДЦ, и сделать так, что события будут храниться в пределах своего ДЦ, но для запросов будут видны события сразу из обеих - это значит, что в разных ДЦ разные шарды.

В смысле что о живости Zookeeper для Clickhouse можно судить по логам Clickhouse

Ещё в случае проблем ZK будет писать не user level exception, а что-то другое.

Кто-нибудь сталкивался с проблемами с большим кол-вом таблиц? Экспериментирую с импортом json-логов в CH. В результате создается много "узких" таблиц, примено 1.2к (в дальнейшем будет больше). Пока полёт нормальный, но интересно, будут ли проблемы, если сделать их реплицируемыми и если их кол-во дальше будет расти (не десятки тысяч, но всё же)

Тысяча Replicated таблиц может работать плохо. Несколько сотен на продакшене есть, а больше не проверяли. Всё-таки Replicated таблицы достаточно тяжёлые. Вот обычных MergeTree пробовали десятки тысяч. Тоже сначала были проблемы, но добились, чтобы работало. Это нетипичный сценарий.

А RellicatedReplacingMergeTree официально поддерживается? А то в документации его нет

я бы не был так уверен насчет уникальности этой фичи, в некоторых продуктах есть аналогичные вещи https://docs.snowflake.net/manuals/sql-reference/functions/hll_accumulate.html

Я тоже не уверен. Всё-таки фича сама собой напрашивается. Хотя обычно в других систамах прикручено сбоку - в виде отдельных агрегатных функций. А у нас можно получить, сохранить, помержить состояние любой агрегатной функции - хоть uniqCombined, хоть quantilesTimingWeighted...

А RellicatedReplacingMergeTree официально поддерживается? А то в документации его нет

Да, поддерживается. Создам таск на обновление документации.

Вы можете описать в конфигурации один кластер, который содержит серверы обеих ДЦ. Можно использовать Replicated таблицы, объявить реплики в конфигурации кластера - тогда все события будут реплицироваться в оба датацентра. Можно не настраивать репликацию меж-ДЦ, и сделать так, что события будут храниться в пределах своего ДЦ, но для запросов будут видны события сразу из обеих - это значит, что в разных ДЦ разные шарды.

Спасибо за ответ!

всем привет. а кто нибудь использует https://appmetrica.yandex.ru/ в своих мобильных приложениях?

привет. мы (sports.ru) используем

а Logs API Там случайно не пользуете для выгрузки в Clickhouse ?

как раз из-за logs API мы ее и внедряли. уже год вытягиваем оттуда данные и полгода – в кликхаус.

встявляю батчем в таблицу с 1600 колонками и получаю вот такое 2017.07.08 13:31:54.424319 [ 12 ] <Debug> MemoryTracker: Peak memory usage (for query): 9.31 GiB. 2017.07.08 13:31:54.448222 [ 12 ] <Error> HTTPHandler: Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 1048576 bytes), maximum: 9.31 GiB, e.what() = DB::Exception, Stack trace:

чего подкрутить и где?

на клиенте вот это выкидывает ru.yandex.clickhouse.except.ClickHouseException: ClickHouse exception, code: 159, host: 10.147.14.106, port: 8123; Read timed out

вроде батчи не большие, по 1000

но много

Cервер с 30GB RAM умирает после батч инсета

2017.07.08 14:39:40.975322 [ 8 ] <Error> executeQuery: Code: 241, e.displayText() = DB::Exception: Memory limit (for query) exceeded: would use 9.31 GiB (attempt to allocate chunk of 1048576 bytes), maximum: 9.31 GiB, e.what() = DB::Exception (from 10.159.116.118:50353) (in query: INSERT INTO Measures(shardKey,timestamp,M1, M2, M3, M4, M5, M6, M7, M8, M9, M10, M11, M12, M13, M14, M15, M16, M17, M18, M19, M20, M21, M22, M23, M24, M25, M26, M27, M28, M29, M30, M31, M32, M33, M34, M35, M36, M37, M38, M39, M40, M41, M42, M43, M44, M45, M46, M47, M48, M49, M50, M51, M52, M53, M54, M55, M56, M57, M58, M59, M60, M61, M62, M63, M64, M65, M66, M67, M68, M69, M70, M71, M72, M73, M74, M75, M76, M77, M78, M79, M80, M81, M82, M83, M84, M85, M86, M87, M88, M89, M90, M91, M92, M93, M94, M95, M96, M97, M98, M99, M100, M101, M102, M103, M104, M105, M106, M107, M108, M109, M110, M111, M112, M113, M114, M115, M116, M117, M118, M119, M120, M121, M122, M123, M124, M125, M126, M127, M128, M129, M130, M131, M132, M133, M134, M135, M136, M137, M138, M139, M140, M141, M142, M143, M144, M145, M146, M147, M148, M149, M150, M151, M152, M153, M154, M155, M156, M157, M158, M159, M160, M161, M162, M163, M164, M165, M166, M167, M168, M169, M170, M171, M172, M173, M174, M175, M176, M177, M178, M179, M180, M181, M182, M183, M184, M185, M186, M187, M188, M189, M190, M191, M192, M193, M194, M195, M196, M197, M198, M199, M200, M201, M202, M203, M204, M205, M206, M207, M208, M209, M210, M211, M212, M213, M214, M215, M216, M217, M218, M219, M220, M221, M222, M223, M224, M225, M226, M227, M228, M229, M230, M231, M232, M233, M234, M235, M236, M237, M238, M239, M240, M241, M242, M243, M244, M245, M246, M247, M248, M249, M250, M251, M252, M253, M254, M255, M256, M257, M258, M259, M260, M261, M262, M263, M264, M265, M266, M267, M268, M269, M270, M271, M272, M273, M274, M275, M276, M277, M278, M279, M280, M281, M282, M283, M284, M285, M286, M287, M288, M289, M290, M291, M292, M293, M294, M295, M296, M297, M298, M299, M300, M301, M302, M303, M304, M305, M306, M307, M308, M309, M310, M311, M312, M313, M314, M315, M316, M317, M318, M319, M320, M321, M322, M323, M324, M325, M326, M327, M328, M329, M330, M331, M332, M333, M334, M335, M336, M337, M338, M339, M340, M341, M342, M343, M344, M345, M346, M347, M348, M349, M350, M351, M352, M353, M354, M355, M356, M357, M358, M359, M360, M361, M362, M363, M364, M365, M366, M367, M368, M369, M370, M371, M372, M373, M374, M375, M376, M377, M378, M379, M380, M381, M382, M383, M384, M385, M386, M387, M388, M389, M390, M391, M392, M393, M394, M395, M396, M397, M398, M399, M400, M401, M402, M403, M404, M405, M406, M407, M408, M409, M410, M411, M412, M413, M414, M415, M416, M417, M418, M419, M420, M421, M422, M423, M424, M425, M426, M427, M428, M429, M430, M431, M432, M433, M434, M435, M436, M437, M438, M439, M440, M441, M442, M443, M444, M445, M446, M447, M448, M449, M450, M451, M452, M453, M454, M455, M456, M457, M458, M459, M460, M461, M462, M463, M464, M465, M466, M467, M468, M469, M470, M471, M472, M473, M474, M475, M476, M477, M478, M479, M480, M481, M482, M483, M484, M485, M486, M487, M488, M489, M490, M491, M492, M493, M494, M495, M496, M497, M498, M499, M500, M501, M502, M503, M504, M505, M506, M507, M508, M509, M510, M511, M512, M513, M514, M515, M516, M517, M518, M519, M520, M521, M522, M523, M524, M525, M526, M527, M528, M529, M530, M531, M532, M533, M534, M535, M536, M537, M538, M539, M540, M541, M542, M543, M544, M545, M546, M547, M548, M549, M550, M551, M552, M553, M554, M555, M556, M557, M558, M559, M560, M561, M562, M563, M564, M565, M566, M567, M568, M569, M570, M571, M572, M573, M574, M575, M576, M577, M578, M579, M580, M581, M582, M583, M584, M585, M586, M587, M588, M589, M590, M591, M592, M593, M594, M595, M596, M597, M598, M599, M600, M601, M602, M603, M604, M605, M606, M607, M608, M609, M610, M611, M612, M613, M614, M615, M616, M617, M618, M619, M620, M621, M622, M623, M624, M625, M626, M627, M628, M629, M630, M631, M632, M633, M634, M635, M636, M637, M638, M639, M640, M641, M642, M643, M644, M645, M646, M647,

M648, M649, M650, M651, M652, M653, M654, M655, M656, M657, M658, M659, M660, M661, M662, M663, M664, M665, M666, M667, M668, M669, M670, M671, M672, M673, M674, M675, M676, M677, M678, M679, M680, M681, M682, M683, M684, M685, M686, M687, M688, M689, M690, M691, M692, M693, M694, M695, M696, M697, M698, M699, M700, M701, M702, M703, M704, M705, M706, M707, M708, M709, M710, M711, M712, M713, M714, M715, M716, M717, M718, M719, M720, M721, M722, M723, M724, M725, M726, M727, M728, M729, M730, M731, M732, M733, M734, M735, M736, M737, M738, M739, M740, M741, M742, M743, M744, M745, M746, M747, M748, M749, M750, M751, M752, M753, M754, M755, M756, M757, M758, M759, M760, M761, M762, M763, M764, M765, M766, M767, M768, M769, M770, M771, M772, M773, M774, M775, M776, M777, M778, M779, M780, M781, M782, M783, M784, M785, M786, M787, M788, M789, M790, M791, M792, M793, M794, M795, M796, M797, M798, M799, M800, M801, M802, M803, M804, M805, M806, M807, M808, M809, M810, M811, M812, M813, M814, M815, M816, M817, M818, M819, M820, M821, M822, M823, M824, M825, M826, M827, M828, M829, M830, M831, M832, M833, M834, M835, M836, M837, M838, M839, M840, M841, M842, M843, M844, M845, M846, M847, M848, M849, M850, M851, M852, M853, M854, M855, M856, M857, M858, M859, M860, M861, M862, M863, M864, M865, M866, M867, M868, M869, M870, M871, M872, M873, M874, M875, M876, M877, M878, M879, M880, M881, M882, M883, M884, M885, M886, M887, M888, M889, M890, M891, M892, M893, M894, M895, M896, M897, M898, M899, M900, M901, M902, M903, M904, M905, M906, M907, M908, M909, M910, M911, M912, M913, M914, M915, M916, M917, M918, M919, M920, M921, M922, M923, M924, M925, M926, M927, M928, M929, M930, M931, M932, M933, M934, M935, M936, M937, M938, M939, M940, M941, M942, M943, M944, M945, M946, M947, M948, M949, M950, M951, M952, M953, M954, M955, M956, M957, M958, M959, M960, M961, M962, M963, M964, M965, M966, M967, M968, M969, M970, M971, M972, M973, M974, M975, M976, M977, M978, M979, M980, M981, M982, M983, M984, M985, M986, M987, M988, M989, M990, M991, M992, M993, M994, M995, M996, M997, M998, M999, M1000, M1001, M1002, M1003, M1004, M1005, M1006, M1007, M1008, M1009, M1010, M1011, M1012, M1013, M1014, M1015, M1016, M1017, M1018, M1019, M1020, M1021, M1022, M1023, M1024, M1025, M1026, M1027, M1028, M1029, M1030, M1031, M1032, M1033, M1034, M1035, M1036, M1037, M1038, M1039, M1040, M1041, M1042, M1043, M1044, M1045, M1046, M1047, M1048, M1049, M1050, M1051, M1052, M1053, M1054, M1055, M1056, M1057, M1058, M1059, M1060, M1061, M1062, M1063, M1064, M1065, M1066, M1067, M1068, M1069, M1070, M1071, M1072, M1073, M1074, M1075, M1076, M1077, M1078, M1079, M1080, M1081, M1082, M1083, M1084, M1085, M1086, M1087, M1088, M1089, M1090, M1091, M1092, M1093, M1094, M1095, M1096, M1097, M1098, M1099, M1100, M1101, M1102, M1103, M1104, M1105, M1106, M1107, M1108, M1109, M1110, M1111, M1112, M1113, M1114, M1115, M1116, M1117, M1118, M1119, M1120, M1121, M1122, M1123, M1124, M1125, M1126, M1127, M1128, M1129, M1130, M1131, M1132, M1133, M1134, M1135, M1136, M1137, M1138, M1139, M1140, M1141, M1142, M1143, M1144, M1145, M1146, M1147, M1148, M1149, M1150, M1151, M1152, M1153, M1154, M1155, M1156, M1157, M1158, M1159, M1160, M1161, M1162, M1163, M1164, M1165, M1166, M1167, M1168, M1169, M1170, M1171, M1172, M1173, M1174, M1175, M1176, M1177, M1178, M1179, M1180, M1181, M1182, M1183, M1184, M1185, M1186, M1187, M1188, M1189, M1190, M1191, M1192, M1193, M1194, M1195, M1196, M1197, M1198, M1199, M1200, M1201, M1202, M1203, M1204, M1205, M1206, M1207, M1208, M1209, M1210, M1211, M1212, M1213, M1214, M1215, M1216, M1217, M1218, M1219, M1220, M1221, M1222, M1223, M1224, M1225, M1226, M1227, M1228, M1229, M1230, M1231, M1232, M1233, M1234, M1235, M1236, M1237, M1238, M1239, M1240, M1241, M1242, M1243, M1244, M1245, M1246, M1247, M1248, M1249, M1250, M1251, M1252, M1253, M1254, M1255, M1256, M1257, M1258, M1259, M1260, M1261, M1262, M1263, M1264, M1265, M1266, M1267, M1268, M1269, M1270, M1271, M1272, M1273, M1274, M1275, M1276, M1277, M1278, M1279, M1280, M1281, M1282,

M1283, M1284, M1285, M1286, M1287, M1288, M1289, M1290, M1291, M1292, M1293, M1294, M1295, M1296, M1297, M1298, M1299, M1300, M1301, M1302, M1303, M1304, M1305, M1306, M1307, M1308, M1309, M1310, M1311, M1312, M1313, M1314, M1315, M1316, M1317, M1318, M1319, M1320, M1321, M1322, M1323, M1324, M1325, M1326, M1327, M1328, M1329, M1330, M1331, M1332, M1333, M1334, M1335, M1336, M1337, M1338, M1339, M1340, M1341, M1342, M1343, M1344, M1345, M1346, M1347, M1348, M1349, M1350, M1351, M1352, M1353, M1354, M1355, M1356, M1357, M1358, M1359, M1360, M1361, M1362, M1363, M1364, M1365, M1366, M1367, M1368, M1369, M1370, M1371, M1372, M1373, M1374, M1375, M1376, M1377, M1378, M1379, M1380, M1381, M1382, M1383, M1384, M1385, M1386, M1387, M1388, M1389, M1390, M1391, M1392, M1393, M1394, M1395, M1396, M1397, M1398, M1399, M1400, M1401, M1402, M1403, M1404, M1405, M1406, M1407, M1408, M1409, M1410, M1411, M1412, M1413, M1414, M1415, M1416, M1417, M1418, M1419, M1420, M1421, M1422, M1423, M1424, M1425, M1426, M1427, M1428, M1429, M1430, M1431, M1432, M1433, M1434, M1435, M1436, M1437, M1438, M1439, M1440, M1441, M1442, M1443, M1444, M1445, M1446, M1447, M1448, M1449, M1450, M1451, M1452, M1453, M1454, M1455, M1456, M1457, M1458, M1459, M1460, M1461, M1462, M1463, M1464, M1465, M1466, M1467, M1468, M1469, M1470, M1471, M1472, M1473, M1474, M1475, M1476, M1477, M1478, M1479, M1480, M1481, M1482, M1483, M1484, M1485, M1486, M1487, M1488, M1489, M1490, M1491, M1492, M1493, M1494, M1495, M1496, M1497, M1498, M1499, M1500, T1, T2, T3, T4, T5, T6, T7, T8, T9, T10, T11, T12, T13, T14, T15, T16, T17, T18, T19, T20, T21, T22, T23, T24, T25, T26, T27, T28, T29, T30, T31, T32, T33, T34, T35, T36, T37, T38, T39, T40, T41, T42, T43, T44, T45, T46, T47, T48, T49, T50, T51, T52, T53, T54, T55, T56, T57, T58, T59, T60, T61, T62, T63, T64, T65, T66, T67, T68, T69, T70, T71, T72, T73, T74, T75, T76, T77, T78, T79, T80, T81, T82, T83, T84, T85, T86, T87, T88, T89, T90, T91, T92, T93, T94, T95, T96, T97, T98, T99, T100) FORMAT TabSeparated ), Stack trace:

0. clickhouse-server(StackTrace::StackTrace()+0x16) [0x28ae4d6] 1. clickhouse-server(MemoryTracker::alloc(long)+0xa14) [0x28adfd4] 2. clickhouse-server(Allocator<false>::alloc(unsigned long, unsigned long)+0x19) [0x28b9d99] 3. clickhouse-server(DB::WriteBufferFromFileBase::WriteBufferFromFileBase(unsigned long, char*, unsigned long)+0x103) [0x2bf0c23] 4. clickhouse-server(DB::WriteBufferFromFileDescriptor::WriteBufferFromFileDescriptor(int, unsigned long, char*, unsigned long)+0x1b) [0x28e05bb] 5. clickhouse-server(DB::WriteBufferFromFile::WriteBufferFromFile(std::string const&, unsigned long, int, unsigned int, char*, unsigned long)+0x32) [0x28d6102] 6. clickhouse-server(DB::createWriteBufferFromFileBase(std::string const&, unsigned long, unsigned long, unsigned long, int, unsigned int, char*, unsigned long)+0xad) [0x2bee21d] 7. clickhouse-server(DB::IMergedBlockOutputStream::ColumnStream::ColumnStream(std::string const&, std::string const&, std::string const&, std::string const&, std::string const&, unsigned long, DB::CompressionMethod, unsigned long, unsigned long)+0x79) [0x2a74a29] 8. clickhouse-server(std::_MakeUniq<DB::IMergedBlockOutputStream::ColumnStream>::__single_object std::make_unique<DB::IMergedBlockOutputStream::ColumnStream, std::string&, std::string, char const* const&, std::string, char const* const&, unsigned long&, DB::CompressionMethod&, unsigned long&, unsigned long&?std::string&, std::string&&, char const* const&, std::string&&, char const* const&, unsigned long&, DB::CompressionMethod&, unsigned long&, unsigned long&)+0x9a) [0x2a7765a] 9. clickhouse-server(DB::IMergedBlockOutputStream::addStream(std::string const&, std::string const&, DB::IDataType const&, unsigned long, unsigned long, std::string const&, bool)+0x684) [0x2a752e4] 10. clickhouse-server(DB::MergedBlockOutputStream::MergedBlockOutputStream(DB::MergeTreeData&, std::string, DB::NamesAndTypesList const&, DB::CompressionMethod)+0x250) [0x2a76750] 11. clickhouse-server(DB::MergeTreeDataWriter::writeTempPart(DB::BlockWithDateInterval&)+0xac0) [0x2a405e0] 12. clickhouse-server(DB::MergeTreeBlockOutputStream::write(DB::Block const&)+0xa8) [0x29c1ff8] 13. clickhouse-server(DB::PushingToViewsBlockOutputStream::write(DB::Block const&)+0x486) [0x2b38906] 14. clickhouse-server(DB::MaterializingBlockOutputStream::write(DB::Block const&)+0x28) [0x2b27698] 15. clickhouse-server(DB::AddingDefaultBlockOutputStream::write(DB::Block const&)+0x235) [0x2c6f295] 16. clickhouse-server(DB::ProhibitColumnsBlockOutputStream::write(DB::Block const&)+0x4f) [0x2c892af] 17. clickhouse-server(DB::SquashingBlockOutputStream::write(DB::Block const&)+0x391) [0x2c50d31] 18. clickhouse-server(DB::CountingBlockOutputStream::write(DB::Block const&)+0x1c) [0x2ae9eec] 19. clickhouse-server(DB::copyData(DB::IBlockInputStream&, DB::IBlockOutputStream&, std::atomic<bool>*)+0x91) [0x2af5aa1] 20. clickhouse-server(DB::executeQuery(DB::ReadBuffer&, DB::WriteBuffer&, bool, DB::Context&, std::function<void (std::string const&)>)+0x287) [0x282cc57] 21. clickhouse-server(DB::HTTPHandler::processQuery(Poco::Net::HTTPServerRequest&, HTMLForm&, Poco::Net::HTTPServerResponse&, DB::HTTPHandler::Output&)+0x1d31) [0x1033301] 22. clickhouse-server(DB::HTTPHandler::handleRequest(Poco::Net::HTTPServerRequest&, Poco::Net::HTTPServerResponse&)+0x1e5) [0x10353c5] 23. clickhouse-server(Poco::Net::HTTPServerConnection::run()+0x27b) [0x317899b] 24. clickhouse-server(Poco::Net::TCPServerConnection::start()+0xf) [0x315d0af] 25. clickhouse-server(Poco::Net::TCPServerDispatcher::run()+0x10b) [0x317ac3b] 26. clickhouse-server(Poco::PooledThread::run()+0x87) [0x337b807] 27. clickhouse-server(Poco::ThreadImpl::runnableEntry(void*)+0x96) [0x333d456] 28. /lib/x86_64-linux-gnu/libpthread.so.0(+0x8184) [0x7f7cf03b9184] 29. /lib/x86_64-linux-gnu/libc.so.6(clone+0x6d) [0x7f7cef9d3ffd]

Все, я приехал?

Почти приехали. А что такое M, T - числовые типы или строки?

M Float32 T String

Строки насколько длинные?

95% 20 символов 5% до 1000

на самом деле данные очень разряженные

как то похоже на вот эти проблемы https://github.com/yandex/ClickHouse/issues/868

из этих 1600 столбцов хорошо если 20 в каждой строчке заполнены

я тут подшаманил jdbc немного

убрал проверку // checkBinded(binds); и сделал так if (binds[i] != null) { sb.append(binds[i]); } sb.append(i < binds.length - 1 ? '\t' : '\n');

сместо sb.append(binds[i]); sb.append(i < binds.length - 1 ? '\t' : '\n');

ну как бы обошел необходимость мои разряженные данные 0 забивать в preparestatement

от этого было очень плохо GC

может так по дефолту сделать, не?

В таблице укажите несколько меньше index_granularity. Не 8192, а 512. Уменьшите max_insert_block_size или размер батча для вставки - например, до 1000. Увеличте max_memory_usage, например, до 20000000000. Уменьшите background_pool_size в users.xml для профиля default до 4. Для буферов при сжатии данных и для записи на диск, всё-равно будет выделяться около 2 MB на столбец, и запрос будет использовать не меньше нескольких GB.

убрал проверку // checkBinded(binds); и сделал так if (binds[i] != null) { sb.append(binds[i]); } sb.append(i < binds.length - 1 ? '\t' : '\n');

Это годится для строк, а также в связи с деталями реализации, и для целых чисел. Но не годится, например, для массивов.

жаль :)

размер батча до 1000? ухх, тогда мне надо будет вставлять 120 раз в секунду - пичалька

сейчас попробую, спсб

Можете попробовать подобрать какой-нибудь средний размер батча. Также всегда можно использовать сервер с большим количеством оперативки (если INSERT ругается на 9.31 GiB, то просто увеличить max_memory_usage).

Отвечу в группе.

Добрый день Может есть секундочка глянуть на https://groups.google.com/forum/#!topic/clickhouse/xzlFiMBIhi4

Что-то я на 3 день понял что может не туда копаю

И надо попробовать схему Александра

https://groups.google.com/d/msg/clickhouse/xzlFiMBIhi4/IM18ZgAlBQAJ

Применил все что посоветовали.

Стало лучше, но все равно как-то пичально. С широкими разряженными таблицами все не просто у КХ

30GB при вставке пвры тыс строк в секунду отъело и умерло

Буду думать как 1600 разбить на 10 * 160, ну тоесть типа партиционирования логического, может поможет

Или может сразу другую схему попробовать. Надо переварить все. Всем хороших выхоных и спсб

Широкий массив не подойдёт?

а при чтении же юудем тянуть весь массив тогда