Не не

Хотя...

если утверждение основывается на том, что в нем можно хранить стерилизованные объекты, то в таком случае и txt файл это ООБД

Постргрес тоже где то рядом ОРСУБД

если утверждение основывается на том, что в нем можно хранить стерилизованные объекты, то в таком случае и txt файл это ООБД

стерилизованные, карл

лол

т9

А как работают транзакции в постгре на низком уровне? Меня беспокоит вопрос, где хранятся данные до применения транзакции. Я задумался об этом потому, что хочу в рамках одной транзакции запихнуть в базу дамп, который намного больше объёма ОЗУ. Это плохо?

А как работают транзакции в постгре на низком уровне? Меня беспокоит вопрос, где хранятся данные до применения транзакции. Я задумался об этом потому, что хочу в рамках одной транзакции запихнуть в базу дамп, который намного больше объёма ОЗУ. Это плохо?

а смысл такого?

а смысл такого?

Я не уверен в качестве данных и подозреваю, что где-то могут быть сломанные связи. Если где-то фейл, то я хочу всё откатить.

Я не уверен в качестве данных и подозреваю, что где-то могут быть сломанные связи. Если где-то фейл, то я хочу всё откатить.

ты типа издеваешься? начни с продумывания логики приложения а не с заталкивания всего в базу

как будто база будет заниматься проверкой данных

В дампе именно те данные, которые мне нужны, так что всё норм. Я спрашивал о том, смогу ли я сделать это в рамках транзакции. Остальное меня не интересует.

так попробуй и узнаешь

какой смысл спрашивать то

какой смысл спрашивать то

Чтобы получить ответ, очевидно. У тех, кто знает. =)

я подозреваю что идиотов которые заливали дамп огромноного размера через не стандартные методы ну ткак бы совсем не много на глобусе

я подозреваю что идиотов которые заливали дамп огромноного размера через не стандартные методы ну ткак бы совсем не много на глобусе

Твоё мнение обо всём заранее известно. Я бы послушал других специалистов. Ты не против?

Твоё мнение обо всём заранее известно. Я бы послушал других специалистов. Ты не против?

так на задоровье. только никого не слышно. видимо подобных сообразительных нет в этом чате

но ты обязательно раскажи потом как получилось. вливать 8+гигов ( вроде меньше то уже никто не ставит оперативки)

это как минимум интересно посмотреть

так на задоровье. только никого не слышно. видимо подобных сообразительных нет в этом чате

Тогда остальным (кроме тебя, желательно) стоит указать на то, где я неправ, и как нужно. Именно за этим я и пришёл. А ты не переходи на личности. Договорились?

а где я перешел на личности? не льсти себе

а где я перешел на личности? не льсти себе

Ок, ок.

Если никто не против, я продублирую вопрос, чтобы его не сдвинул вверх этот флейм.

А как работают транзакции в постгре на низком уровне? Меня беспокоит вопрос, где хранятся данные до применения транзакции. Я задумался об этом потому, что хочу в рамках одной транзакции запихнуть в базу дамп, который намного больше объёма ОЗУ. Это плохо?

А как работают транзакции в постгре на низком уровне? Меня беспокоит вопрос, где хранятся данные до применения транзакции. Я задумался об этом потому, что хочу в рамках одной транзакции запихнуть в базу дамп, который намного больше объёма ОЗУ. Это плохо?

порпобуем еще раз. тебя в гугле забанили?

А как работают транзакции в постгре на низком уровне? Меня беспокоит вопрос, где хранятся данные до применения транзакции. Я задумался об этом потому, что хочу в рамках одной транзакции запихнуть в базу дамп, который намного больше объёма ОЗУ. Это плохо?

для забаненого у гуггля https://www.postgresql.org/docs/9.2/static/runtime-config-resource.html

для забаненого у гуггля https://www.postgresql.org/docs/9.2/static/runtime-config-resource.html

Там не понятно, в ОЗУ данные транзакций или нет.

Либо я не вдупляю.

У меня хреновый английский, как вариант.

У меня хреновый английский, как вариант.

ну так словарик в помощь?

До применения они хранятся в файлах с данными и в WAL. > Это плохо? Нет.

Спасибо, добрый человек. =)

Note that for a complex query, several sort or hash operations might be running in parallel; each operation will be allowed to use as much memory as this value specifies before it starts to write data into temporary files.

пора за попкорном. будем наблюдать как гигабайты пхают в одной транзакции

Specifies the maximum amount of disk space that a session can use for temporary files, such as sort and hash temporary files, or the storage file for a held cursor. A transaction attempting to exceed this limit will be cancelled.

пора за попкорном. будем наблюдать как гигабайты пхают в одной транзакции

Ну так ты скажи, что будет? Будет нехватка ресурсов? Ещё какая-то проблема? Я пришёл за ответами именно на эти вопросы.

Ну так ты скажи, что будет? Будет нехватка ресурсов? Ещё какая-то проблема? Я пришёл за ответами именно на эти вопросы.

Specifies the maximum amount of disk space that a session can use for temporary files, such as sort and hash temporary files, or the storage file for a held cursor. A transaction attempting to exceed this limit will be cancelled.

Ну так ты скажи, что будет? Будет нехватка ресурсов? Ещё какая-то проблема? Я пришёл за ответами именно на эти вопросы.

ну если ты не понимаешь что сама задача стоит не правильно. то конечно можешь ожидать ответы на вопросы.

но если не анцелнется такая транзакция. то интересно сколько она займет по времени. день? неделю?

Specifies the maximum amount of disk space that a session can use for temporary files, such as sort and hash temporary files, or the storage file for a held cursor. A transaction attempting to exceed this limit will be cancelled.

Хм. Ок. Пасиба. А данные потом копируются из временных файлов, или на них просто меняются ссылки в ФС?

Хм. Ок. Пасиба. А данные потом копируются из временных файлов, или на них просто меняются ссылки в ФС?

слушай. RTFM либо сразу переходи переобдумыванию логики приложения

ну если ты не понимаешь что сама задача стоит не правильно. то конечно можешь ожидать ответы на вопросы.

Задача ваще простая — запихнуть данные, которые хрен знает кем составлялись, в постгре. Не более того. Вот прям это реально ВСЯ задача.

Задача ваще простая — запихнуть данные, которые хрен знает кем составлялись, в постгре. Не более того. Вот прям это реально ВСЯ задача.

ну так и запихивай по кусочку

Проблема в том, что они в текстовом формате, они нормализованы, но их качество внушает сомнения.

ну так проверяй приложением

в чем проблема то. накой их сразу все пхать то

ну так и запихивай по кусочку

Ну, тогда я создаю индексы вместе стаблицами, получается. И запихиваю по кусочку. Это второй вариант.

или ты решил их сразу в продакшен пхать?

ну так проверяй приложением

Чтобы проверить связи в таблице, нужно сначала либо в ОЗУ её иметь, либо в БД. =)

не нужно.

или ты решил их сразу в продакшен пхать?

Нет. Я пока смотрю, годятся ли эти данные на что-либо.

нужно првоерять целостность каждого кусочка в приложение перед тем как отправить на хранение

не верю что данные целостностны только прям вот куском который больше оперативки на сервере

не верю что данные целостностны только прям вот куском который больше оперативки на сервере

+++

не верю что данные целостностны только прям вот куском который больше оперативки на сервере

http://download.geonames.org/export/dump/ allCountries.zip — данные основной таблицы. hierarchy.zip — связи many to many её с собой же. Очевидно, чтобы проверить корректность связей, нужно иметь allCountries в доступе целиком.

Можно, конечно, извернуться и накапливать в ходе парсинга данные об айдишниках.

Но я хотел просто удобно всё роллбэкнуть, если дамп плохой.

Но я хотел просто удобно всё роллбэкнуть, если дамп плохой.

откуда ролбекнуть?

из свежей и пустой базы?

есть более гуманные способы удалить все с базы

из свежей и пустой базы?

Не факт. Т.к. там есть обмновления, и они могут быть битые.

А, ну хотя обновления уже на существующие индексы ложатся.

Да, вопрос снимается. =)

Именно так я себе это и представлял. =)

А как работают транзакции в постгре на низком уровне? Меня беспокоит вопрос, где хранятся данные до применения транзакции. Я задумался об этом потому, что хочу в рамках одной транзакции запихнуть в базу дамп, который намного больше объёма ОЗУ. Это плохо?

Данные до применения транзакции хранятся в базе данных. После - тоже

А как работают транзакции в постгре на низком уровне? Меня беспокоит вопрос, где хранятся данные до применения транзакции. Я задумался об этом потому, что хочу в рамках одной транзакции запихнуть в базу дамп, который намного больше объёма ОЗУ. Это плохо?

Это плохо, но не потому, что не влезет в ОЗУ

Я не уверен в качестве данных и подозреваю, что где-то могут быть сломанные связи. Если где-то фейл, то я хочу всё откатить.

Загрузки данных редко делают транзакциями вообще. Те загрузка идёт в ускоренном и нетранзакционном режиме. Так что ты скорее всего просто не сможешь.

Там не понятно, в ОЗУ данные транзакций или нет.

Не в ОЗУ

Загрузки данных редко делают транзакциями вообще. Те загрузка идёт в ускоренном и нетранзакционном режиме. Так что ты скорее всего просто не сможешь.

Ок. Спасибо. =)

Ну так ты скажи, что будет? Будет нехватка ресурсов? Ещё какая-то проблема? Я пришёл за ответами именно на эти вопросы.

У тебя кончится место в WAL и как результат транзакция убьется и откатиться.

Не факт. Т.к. там есть обмновления, и они могут быть битые.

Сначала ты загружаешь данные. Потом создаёшь индексы. Констрейнты. Потом проверяешь данные.

суп

есть объект и у него много разных Boolean свойств, создавать для каждого из них в базе свойство чёт хз

рука чешется сделать одно и использовать битовые маски

говно идея?

наверное да, индекс же не выйдет построить

наверное да, индекс же не выйдет построить

почему же?

точнее он построится, но работать не будет, т.к. будут вычисления при выборке

крч я хз, как быть то?

точнее он построится, но работать не будет, т.к. будут вычисления при выборке

какие вычисления? это для твоего приложения это битовая маска. а для базы простая циферка

так что собираешь свои маски и ищешь полученную циферку. фиг знает сколько у тебя там бит. но если 8 то от 0 до 255

а ваще так делают?

а какая разница то.

это законно?

хз

законно ли хранить в базе колонку с циферками?

ну вместо создания 8 колонок с циферками