Jooq хороший инструмент

У меня без сприга работа идёт Batch использую да

Jooq хороший инструмент

+

Firstname jooq может сам сгенерировать модельки, по готовой бд

+

Кстати, хорошо, что напомнили, буду двигать тему с jooq на новом проекте

ладно с арихитектурой более менее понятно

но вот 40 к записей в таблицу из 13 полей чет печально вставляются

прям совсем печально

Это обая проблема постгреса?

Или штатно?

но вот 40 к записей в таблицу из 13 полей чет печально вставляются

Может ты каждую запись вставляешь отдельной транзакцией?)

А может ещё какие триггеры стоят?

А может диски чем-то награждены?

А может диски чем-то награждены?

тогда iops только проверять на дисковом томе базы данных

Короче причины могут быть свои в каждом отельном случае

Но да, это тебе не in-memory

Но можешь отключить fsync если любишь рисковать

Может ты каждую запись вставляешь отдельной транзакцией?)

По 50 вставок на транзакцию

А может диски чем-то награждены?

Ssd

Ты вставляешь запросом напрямую с jdbc или orm какая?

Hibernate

Генерирует бач

По 50 строк вставляет

Тогда врубай debug show sql и смотри что именно делает hibernate. Возможно, там ещё куча сайд эффектов из-за отношений сущностей. 50 кстати мало, ставь 1000

?

И не вини постгрес, он тут ни при чем) Он хороший

Тогда врубай debug show sql и смотри что именно делает hibernate. Возможно, там ещё куча сайд эффектов из-за отношений сущностей. 50 кстати мало, ставь 1000

Ну у меня уже 70к загрузилось Там ещё дохуя Суммарно 2 гб текста исходного Логи тоже жесть кстати по 2 гига размер

но вот 40 к записей в таблицу из 13 полей чет печально вставляются

Сам постгрес крутили?

А откуда ты это грузишь, мб тебе copy надо

А не insert

Из файла

И как ты это делаешь?

В объекты

Объекты в базу

Лул?

Дул?

Что это?

А сразу в базу?

Сам постгрес крутили?

А что там можно потыкать?

Зачем тебе hibernate

Там в постгресе дефолтные конфиги на крайне слабую тачку рассчитаны, и в логах нет никаких ошибок со словом "checkpoint"?

А сразу в базу?

Надо расправить на таблицы

Там в постгресе дефолтные конфиги на крайне слабую тачку рассчитаны, и в логах нет никаких ошибок со словом "checkpoint"?

Ммм я запускаю это на маке

А что там можно потыкать?

https://pgtune.leopard.in.ua/#/

Какие логи смотреть? Постгреса?

Какие логи смотреть? Постгреса?

Да

У тебя все очень странное, на маке через hibernate вставлять данные из файла

https://pgtune.leopard.in.ua/#/

Тоже хотел скинуть, только откройте его же книгу (гайд) и почитайте что каждый параметр значит

По записи там чекпоинты и вал-буфера, если не ошибаюсь

Да там не так много нужно трогать

Это как ключики jvm, они есть, но трогать не стоит сильно)

Ну смотрите, у меня не самоцель ускорить это на маке

Мне надо архитектуру проверить на скорость

Надо расправить на таблицы

А нельзя тулингом Postgres это сделать в обход Java и тем более Сприна, или как миниму Без спринга чистым jdbc

Бд может быть любой

Специфичные для постгреса средства типо bulk load откидываем

Ну если важен перформанс, но нужна переносимость провайдера баз, и хочется Java - то делай хотя бы на чистом jdbc, там по крайней мере можно как можно ниже велосипедить

Изначально проект был на Java сейчас пишем новый архитектурный функционал с помощью hibernate

Мне надо архитектуру проверить на скорость

И какая скорость вас устроит?

Про чистый jdbk я думал

И какая скорость вас устроит?

Было то же самое что и с файлами

ERROR: S client not available

Раньше вся инфа хранилась в файлах

Сейчас в бд перегоняем

Там в постгресе дефолтные конфиги на крайне слабую тачку рассчитаны, и в логах нет никаких ошибок со словом "checkpoint"?

на микроволновку с памятью 128мб

Сейчас в бд перегоняем

Так какая скорость устроит то? Для каких целей измеряете? Там 1к вставок в секунду, 10к, 20к

Может, просто не стоит париться, я к этому

На таком уровне я думаю стоит про проект рассказать и вы все поймете, Я сейчас встаиваю в htsjdk поддержку баз данных собственно с перспективной допилить до достаточно интересной в применении архитектуры Это и есть ресеч(статьия на рецензировании) по поводу скорости вставок - вообще она не критична но будет оч печально если 1 гб вставляется за 20-30 минут нужно бы за 5-10

ну и собственно требования оттуда минимум костылей от самих баз ниаких спецфич тащить чисто за счет того, что знаешь что делаешь и у меня чет знаний не очень хватает пока видимо

Ещё такая тема Почему то на 95 к просела скорость

Ощутимо

Это естественный процесс?

Это естественный процесс?

Вам никто не сможет дать адекватный ответ, слишком много факторов, от которых это зависит

Ну по опыту сильно проседает на 100К+ процесс доступа к бд?

Вне зависимости от железа

Потому что я вот сижу уже достаточно дохрена А процесс записи дерградирует

Ну по опыту сильно проседает на 100К+ процесс доступа к бд?

По опыту если после 300 мл алкоголя разносит очень сильно - это естественный процесс?

Понял

Хреново формулирую вопросы

Ну по опыту сильно проседает на 100К+ процесс доступа к бд?

100к это копейки. Все должно вставляться очень быстро

Ещё такая тема Почему то на 95 к просела скорость

На вставке можно поиграться с батчами и не делать коммит после каждой вставки. Это приведет к росту роллбек сегмента но даст прирост по скорости. Можно поотключать констркйнты в бд (всякие foreign keys) - это плохо с точки зрения консистенции бд но опять же даст производительность. С миру по копеечке. Индекс - может тоже при каких-то объемах начать мешать на вставке. В зависимости от бд, стоит посмотреть на типы таблиц оптимизированных для записи.

@Cascade это я так понимаю констркйнты?

Вот на них интересная шняга в логах пишется

почему-то делается update запрос при каждой вставке

хотя другие поля не меняются

код выглядит страшноват

ммм а что с ним такого?

почему-то делается update запрос при каждой вставке

потому что хибер - говно

ну я его отключу к хуям, да тут без вариантов

код выглядит страшноват

Согласен