https://clickhouse.yandex/docs/en/interfaces/formats/#jsoneachrow

салют! ребятки, такой вопрос, у нас есть куда сырых csv логов в aws(~15Gb в сжатов виде, csv.gz). переодически, при импорте их в clickhouse получаем ошиьки аля Cannot write to file No space left on device. мб кто-то знает, что можно подкрутить, что clickhouse не падал, что продолжил импортить данные, пусть даже медленнее?

салют! ребятки, такой вопрос, у нас есть куда сырых csv логов в aws(~15Gb в сжатов виде, csv.gz). переодически, при импорте их в clickhouse получаем ошиьки аля Cannot write to file No space left on device. мб кто-то знает, что можно подкрутить, что clickhouse не падал, что продолжил импортить данные, пусть даже медленнее?

Как выглядит вставка?

так он же пишет, что место закончилось

INSERT INTO dwtest(RequestId,ImpId,eventTime,RequestUri,Referer,Ip,Useragent,PublisherId,SiteId,BannerId,AdSize,CreativeType,UserId,DetectedDomain,SiteCategory,Segments,AdvertiserId,DspId,SeatId,BidderCreativeId,PricingType,LandingPageDomain,CreativeId,OsVersion,Zip,Country,City,GeoId,Region,Bidfloor,DeviceType,BrowserName,BrowserVersion,DeviceModel,DealId,Bid,NetPayablePayout,BidCurrencyOther,BidCurrencyUsd,AllowedDealIds,CountRequests,CountImpressions,CountClicks,ClickReferer,ClickRedirectUrl,ClickRequestUri,CountNonemptyBidResponses,CountBidRequests,EventsNumberRatio,CountAds,CountResonsesWithAds,IsBuyerMatched,NoBidReason,CountNoBids,Comment,RevShareOrig,Event,Guid,Product,DspName,DealName,PotentialNetPayout,PotentialPubPayout,Viewability,PublisherName,ChannelType,PaymentMode,CountRequestsWithAdResponses,CountNonFallbackImps,CountImpsLoaded,RegionName,AdRequestInitiator,ClearPriceType,Latency,BidResponseTime,CountEligibleBidResponses,CountTimedOutBidRequestsToDsp,ResponseBlockedReason,DealType,DealPriority,DealAskPrice,InViewRate,TimeInView,FullyOnscreenInViewRate,Genderm,Genderf,AgeBetweenEighteenAndThirtyFour,AgeBetweenThirtyFiveAndFortyNine,AgeMoreFifty,Pagecat,IsDynamic) FORMAT CSV примерно так

что говорит df -h и df -i на сервере?

$ df -h Filesystem Size Used Avail Use% Mounted on /dev/xvda1 13G 3.2G 9.8G 25% / devtmpfs 30G 0 30G 0% /dev tmpfs 30G 0 30G 0% /dev/shm tmpfs 30G 1.2G 29G 4% /run tmpfs 30G 0 30G 0% /sys/fs/cgroup /dev/xvdb 158G 93G 58G 62% /var/lib/clickhouse/data tmpfs 6.0G 0 6.0G 0% /run/user/1002 tmpfs 6.0G 0 6.0G 0% /run/user/1001

салют! ребятки, такой вопрос, у нас есть куда сырых csv логов в aws(~15Gb в сжатов виде, csv.gz). переодически, при импорте их в clickhouse получаем ошиьки аля Cannot write to file No space left on device. мб кто-то знает, что можно подкрутить, что clickhouse не падал, что продолжил импортить данные, пусть даже медленнее?

ТАК У ВАС кончилось место куда он должен их писать то ?

$ df -i Filesystem Inodes IUsed IFree IUse% Mounted on /dev/xvda1 6815232 43164 6772068 1% / devtmpfs 7833481 314 7833167 1% /dev tmpfs 7838925 1 7838924 1% /dev/shm tmpfs 7838925 435 7838490 1% /run tmpfs 7838925 16 7838909 1% /sys/fs/cgroup /dev/xvdb 10485760 434261 10051499 5% /var/lib/clickhouse/data tmpfs 7838925 1 7838924 1% /run/user/1002 tmpfs 7838925 1 7838924 1% /run/user/1001

ТАК У ВАС кончилось место куда он должен их писать то ?

мб чанками как-то

не все сразу

ну разбейте файл или увеличьте место на диске это же амазон

интересно, df говорит, что место есть, а кх - что нет

оно видимо заканчивается когда он временную таблицу пишет

там 15Gb в gz

df -h что говорит?

df -h что говорит?

см выше

Пардон, проскроллилось

т.е. я вначале из s3 выкачиваю все локально: 1.aws s3 cp ${bucket_path} ${dataDirPath} --recursive --only-show-errors; 2. потом собираю все файлики в один большой: for file in $(ls ${dataDirPath} | head -n ${limit_files}); do if [ ${file} == ${fatFileName} ]; then continue; fi cat "${dataDirPath}/${file}" >> ${fatFilePath}; rm "${dataDirPath}/${file}" done 3. потом гружу их в ch: gzip -d -c ${fatFilePath} | \ clickhouse-client \ --format_csv_allow_single_quotes false \ --database ${DB_NAME} \ --user ${DB_USERNAME} \ --password ${DB_PASSWORD} \ --host ${DB_HOST} \ --port ${DB_PORT} \ --query "INSERT INTO ${DW_EVENTS_TMP_TABLE}(${DW_EVENTS_TMP_TABLE_COLUMNS}) FORMAT CSV";

Файлики какого размера?

15Gb где-то

Один файл

Не итого

10-15Mb

по-разному

Ребята привет всем а есть ли какой либо запрос по статистике скорости текущей скорости записи в КХ?

я пробовал по одному пайпить сразу из s3, но это долго

почти час уходит, а так, за 30 мин

Подозреваю, упирается в max_insert_block_size

хмм

пойду посмотрю

Но вряд ли

Подозреваю, упирается в max_insert_block_size

он же не отменяет вставку, а делит на блоки

Угу, но почему-то у меня при вставке больше гига было подобное. Правда, давно.

Хотя да, это точно не то.

треч

Всем привет. Столкнулся с проблемой. Помогите разобраться. void DB::BackgroundProcessingPool::threadFunction(): Code: 89, e.displayText() = DB::Exception: Unknown compression method: 32: (while reading column datetime): Обновления не ставились, т.е. это не последствия. Пока выглядит как "я ничего не делал, оно само сломалось". Версия 1.1.54310.

А попробуй глянуть на while true; do df -h /var/lib/clickhouse/ ; sleep 2; done во время инсерта.

$ df -i Filesystem Inodes IUsed IFree IUse% Mounted on /dev/xvda1 6815232 43164 6772068 1% / devtmpfs 7833481 314 7833167 1% /dev tmpfs 7838925 1 7838924 1% /dev/shm tmpfs 7838925 435 7838490 1% /run tmpfs 7838925 16 7838909 1% /sys/fs/cgroup /dev/xvdb 10485760 434261 10051499 5% /var/lib/clickhouse/data tmpfs 7838925 1 7838924 1% /run/user/1002 tmpfs 7838925 1 7838924 1% /run/user/1001

что вам мешает просто немног увеличить диск в амазоне , он умеет это делать на лету просто ресайзфс сделаете , очевидно что у вас при вставке и распаковке кончается место

что вам мешает просто немног увеличить диск в амазоне , он умеет это делать на лету просто ресайзфс сделаете , очевидно что у вас при вставке и распаковке кончается место

пока так и делаем...

А попробуй глянуть на while true; do df -h /var/lib/clickhouse/ ; sleep 2; done во время инсерта.

попробую

пока так и делаем...

просто глупо как то решить нехватку места обходными путями тем более на таких мизерных обьемах , дайте ему достаточно места и просто не парьтесь

у вас там свободно 58 гигов, потом вы заливаете еще файл с данными минус 15 гигов места потом еще льете это в кх и он помержит все далеко не сразу чтобы было оптимально

то есть вы хотите как то так извернуться чтобы выиграть там 1-5 гигов и чтобы влезло

не совсем так, просто нам нужно грузить не дольше часа. сейчас мы это делаем примерно за 30мин. мы могли бы пожертвовать скоростью взамен экономии места. понятно, что можно просто место увеличить.

если решение очевидное в том что бы немного увеличить место, что вы пытаетесь то выиграть ?

Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: test-ch01, e.what() = Host not found вопрос -- откуда? потому как в конфиге нет никаких таких имен.

Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: test-ch01, e.what() = Host not found вопрос -- откуда? потому как в конфиге нет никаких таких имен.

Может distributed таблица с таким хостом создана?

Poco::Exception. Code: 1000, e.code() = 0, e.displayText() = Host not found: test-ch01, e.what() = Host not found вопрос -- откуда? потому как в конфиге нет никаких таких имен.

В зукипере может есть или отдает другой хост, а что прописано у хостов в hostname и hosts

в зукипере-то откуда? зукипер в другом месте. hosts пустой.

А хостнаме ?

а он-то причем?

я так понимаю https://github.com/yandex/ClickHouse/issues/845 всё еще не починили?

а он-то причем?

При том что он используется при репликации

в документации этого нет.

Ну и видимо этот хост у вас прописан в хостнейме

Ну я вам говорю как есть а не как не написано

В общем надо чтобы были у всех хорошие резолвящиеся имена , нафиг этим айпи

привет. а не замечали проблемы с масками в разрешенных айпишниках для пользователя? какую бы не поставил (даже /32), все равно могу подключиться с любого ip. убираю маску – доступ пропадает.

ну а пароли надо тогда тоже на хостнйм прописывать а не на ip?

Добрый день. Подскажите по поводу репликации. Покурил мануал, там зукипер, спец таблицы, ручной CREATE и т.д. Мне кажется несколько проще сделать логическую репликацию, плюс более полноценная со всеми запросами, включая создание таблиц, индексов и т.д. Был ли у кого-нибудь опыт?

Добрый день. Подскажите по поводу репликации. Покурил мануал, там зукипер, спец таблицы, ручной CREATE и т.д. Мне кажется несколько проще сделать логическую репликацию, плюс более полноценная со всеми запросами, включая создание таблиц, индексов и т.д. Был ли у кого-нибудь опыт?

а чем

?

Добрый день. Подскажите по поводу репликации. Покурил мануал, там зукипер, спец таблицы, ручной CREATE и т.д. Мне кажется несколько проще сделать логическую репликацию, плюс более полноценная со всеми запросами, включая создание таблиц, индексов и т.д. Был ли у кого-нибудь опыт?

чем проще ? как вы сделаете мастер матер репликацию логическую ?

Мне не нужен мастер мастер, но даже мастер мастер можно сделать через общий сетевой мьютекс

ну так он есть в зукипере и уже сделан

у вас в чем сложность что надо руками делать ? сделайте сценарий в ансибле или разворачивайте в каком нибудь докере все будет само

Это да, меня больше беспокоят частые CREATE TABLE на миграции данных

а вы часто мигрируете данные куда то ?

Да, схлопываются данные, пересчет кэффициентов корреляций на группах и т.д. В общем хватает миграций

а причем тут миграция данных и зачем тут create table ?

кх же как раз сделан чтобы такое не делать

вы просто вытаетесь с ним работать как с постгресом по старому

есть матвью , есть типы таблиц коллапс и сумминг

никаких миграций и create table особо не подразумевается в кх

Вы просто даже не знаете как я с ним работаю, не надо утверждать, вопрос про логическую репликацию

ну просто у нас в постгресе раньше было как раз как вы описали , в кх просто во всех этих действиях отпала необходимость

ну логической репликации никогда не будет в кх так что надо учиться его готовить правильно

КХ не серебрянная пуля

ну для таймсериес это прямо серебро ) быстро и бесплатно

а вы посмотрели мат вью, коллапсы и сумминги и реально ваши кейсы в них нельзя переложить ?

Всем привет. А у кого-нибудь еще на 18.14.9 память не начала выедаться прямо ом-ном-ном? Примерно по 100ГБ в сутки.

Реально нельзя, вообще никак, UPDATE и DELETE когда появится, тогда будет можно

Реально нельзя, вообще никак, UPDATE и DELETE когда появится, тогда будет можно

так давно уже есть

Штооооооо

Вопрос снят, я пошел обновлятся

Кажется, в последней версии 18.14.9 есть утечки памяти, не знаю, репортил ли о них кто-нибудь

Всем привет. А у кого-нибудь еще на 18.14.9 память не начала выедаться прямо ом-ном-ном? Примерно по 100ГБ в сутки.

боюсь спросить, сколько у вас всего то ее ?

Ну, на 3 дня не хватает) Угадать не сложно.

Вопрос снят, я пошел обновлятся

ну просто там не такой апдейт и делет как обычно в sql ,

Мы подозреваем, что они происходят при попытке обратиться к несуществующей функции

Ну, на 3 дня не хватает) Угадать не сложно.

в 18.12.17 такого нет

(мы много шлем некорректных запросов в этот конкретный кластер, но раньше таких утечек не было)

ну просто там не такой апдейт и делет как обычно в sql ,

В доке тишина