В эррор лог возможно ругнется, потому что по сути mysqldump делает обычные селекты из таблиц

всем привет. сделал дблинк от оракла в мсскл. работаю с таблицей по линку, в оракле всё ок, но в мсскл таблица при этом залочена напроч. пока оракл не отпустит транзакцию, обращения к таблице в мсскл блочатся. есть воркэраунд?

всем привет. сделал дблинк от оракла в мсскл. работаю с таблицей по линку, в оракле всё ок, но в мсскл таблица при этом залочена напроч. пока оракл не отпустит транзакцию, обращения к таблице в мсскл блочатся. есть воркэраунд?

Я в свое время так и не нашел. Попробовал костыль в виде create view as select * with nolock

мсскл?

мсскл?

Да, вьюху в мсскл создавал и к ней из оракла лез. вроде помогало

Кстати, можно еще потрейсить какой запрос оракл формирует для мсскл. Была ситуация, когда оракл не мог правильно передать секцию where и тащил всю таблицу, может тут еще получится обойти блокировку

ок, когда уже буду переносить приложения, то буду смотреть что там

Всем привет, помогите решить проблемку: Использую peewee и SQLite. Это все на python Есть модель User, поля: user_id = IntegerField(unique=True) is_member = BooleanField() Добавление в базу осуществляется так: users = [ {'user_id': 1, 'is_member': 1}, {'user_id': 2, 'is_member': 0} ] with db.atomic(): User.insert_many(users).execute() Проблема заключается в следующем - я полный нуб в базах данных. В таблице users заранее могут быть строки, в которых user_id конфликтует с этим. Из-за этого будет выдавать ошибку peewee.IntegrityError: UNIQUE constraint failed: user.user_id. Как изменить архитектуру/алгоритм записи данных, что-бы кортежи в которых user_id конфликтует не записывались либо (что ещё лучше) в тех где конфликтует, что-бы в поле is_member значение менялось на 1?

Всем привет, помогите решить проблемку: Использую peewee и SQLite. Это все на python Есть модель User, поля: user_id = IntegerField(unique=True) is_member = BooleanField() Добавление в базу осуществляется так: users = [ {'user_id': 1, 'is_member': 1}, {'user_id': 2, 'is_member': 0} ] with db.atomic(): User.insert_many(users).execute() Проблема заключается в следующем - я полный нуб в базах данных. В таблице users заранее могут быть строки, в которых user_id конфликтует с этим. Из-за этого будет выдавать ошибку peewee.IntegrityError: UNIQUE constraint failed: user.user_id. Как изменить архитектуру/алгоритм записи данных, что-бы кортежи в которых user_id конфликтует не записывались либо (что ещё лучше) в тех где конфликтует, что-бы в поле is_member значение менялось на 1?

Учебник почитать? Примеры посмотреть?

Я понимаю что можно перебирать всех пользователей, делать запрос в базу, и если есть с таким user_id то менять значение is_member, иначе - просто вставить запись.

Учебник почитать? Примеры посмотреть?

Какой учебник? Какие примеры?

Я понимаю что можно перебирать всех пользователей, делать запрос в базу, и если есть с таким user_id то менять значение is_member, иначе - просто вставить запись.

...но это скорее всего не очень эффективно

Какой учебник? Какие примеры?

Гугл забанили уже?

Кажется сейчас и тут забанят. Есть у меня такое предчувствие

Кажется сейчас и тут забанят. Есть у меня такое предчувствие

И? Где ещё меня банили?

Гугл, как видишь, работает

http://www.sqlitetutorial.net/sqlite-sample-database/

Гугл, как видишь, работает

А голова у кого то не работает.

Я вообще удивляюсь, как люди не умеющие находить ответы в инете и правильно формулировать задачи, умудряются чего то там кодить... тайна сия велика есть

А голова у кого то не работает.

Я выше привел мой пример. Скорее всего он довольно медленный так-как идет перебор, да ещё и внутри медленного питона. Я думал может есть другие способы или решения, спросил у опытных

Я вообще удивляюсь, как люди не умеющие находить ответы в инете и правильно формулировать задачи, умудряются чего то там кодить... тайна сия велика есть

Выглядит как троллинг

Особенно интересно решается ли моя проблема используя булк инсерты, потому что они быстрые

Я выше привел мой пример. Скорее всего он довольно медленный так-как идет перебор, да ещё и внутри медленного питона. Я думал может есть другие способы или решения, спросил у опытных

Твой пример показывает что ты вообще не понимаешь что делаешь и зачем.

Твой пример показывает что ты вообще не понимаешь что делаешь и зачем.

Да нет, вроде понимаю.

Много users, проблема в конфликтах

Выглядит как троллинг

Выглядит как "закатывание глаз и крик в небо ЗА ЧТО?"

Много users, проблема в конфликтах

Смишьно

Много users, проблема в конфликтах

Давай пытаться думать. Откуда и почему конфликты?

Давай пытаться думать. Откуда и почему конфликты?

Потому что user_id уникален

Потому что user_id уникален

Продолжай

Где ты берешь этот уникальный ид?

Где ты берешь этот уникальный ид?

Беру с телеграма. Он уникален для каждого юзера. Проблема в том что бота (которого я делаю) могли запускать до того как запустить скрипт, который будет всех пользователей собирать через клинтское API (в боте реализовано добавление пользователя когда он входит в чат и изменение 'is_member', когда выходит). Так вот, если человек который захотел развернуть бота у себя, сначала его запустил, а потом ему понадобилось для некоторого функционала иметь в базе всех пользователей, он запускает специальную утилиту, которая как-раз таки и собирает этих пользователей (там кстати много полей, но в примере я сократил до двух). Именно из-за того что он мог запустить бота раньше и, например, вошел новый человек, а он его соберет и попробует вместе с другими в булк инсерте ввести в базу возникнет конфликт. Я вот и спрашиваю есть ли какой-то способ или алгоритм, что-бы решить проблему с этим максимально быстро и элегантно

Я не понимаю почему ты так накинулся на меня, вот. Если что - бот не для скама и плохих вещей, бот для Мехмата МГУ и возможно других. Проект не комерческий

Не знаю какие данные ещё нужно, если что - готов отвечать на вопросы

Я не понимаю почему ты так накинулся на меня, вот. Если что - бот не для скама и плохих вещей, бот для Мехмата МГУ и возможно других. Проект не комерческий

Ты перечитай свою задачу. Тебе нужно выяснить есть у тебя в базе такая запись или нет...

И в соотвествии с ответом реализовать один вариант действий или другой

Ты перечитай свою задачу. Тебе нужно выяснить есть у тебя в базе такая запись или нет...

Я думал есть что-то типа "игнорировать конфликты" внутри скуэля, например

Я думал есть что-то типа "игнорировать конфликты" внутри скуэля, например

Игнорируя конфликты сделать что?

Игнорируя конфликты сделать что?

Поменять значение is_member. Но это не критично

Можно просто проигнорировать

Можно просто проигнорировать

http://sqlite.org/lang_conflict.html

Можно загуглить

Гениально. Попробую найти у себя в ОРМ это, если нет, то перепишу запрос на сырой скл. Спасибо

Гениально. Попробую найти у себя в ОРМ это, если нет, то перепишу запрос на сырой скл. Спасибо

То есть сам спросить у гугля про конфликты ты не мог?

То есть сам спросить у гугля про конфликты ты не мог?

Не знал как правильно сформулировать + формулировал со словом peewee

Твой пример показывает что ты вообще не понимаешь что делаешь и зачем.

А я в этом моменте подумал что ты тупо тролишь

А я в этом моменте подумал что ты тупо тролишь

Ты и в этом тупишь? Какой смысл дать готовый ответ? Это как в той притче про голодного.. ".. дай ему удочку и он заведет себе инстаграм и канал о рыбалке на ютубе"

Всем привет, помогите решить проблемку: Использую peewee и SQLite. Это все на python Есть модель User, поля: user_id = IntegerField(unique=True) is_member = BooleanField() Добавление в базу осуществляется так: users = [ {'user_id': 1, 'is_member': 1}, {'user_id': 2, 'is_member': 0} ] with db.atomic(): User.insert_many(users).execute() Проблема заключается в следующем - я полный нуб в базах данных. В таблице users заранее могут быть строки, в которых user_id конфликтует с этим. Из-за этого будет выдавать ошибку peewee.IntegrityError: UNIQUE constraint failed: user.user_id. Как изменить архитектуру/алгоритм записи данных, что-бы кортежи в которых user_id конфликтует не записывались либо (что ещё лучше) в тех где конфликтует, что-бы в поле is_member значение менялось на 1?

Это вопрос целиком по Python и этому Peewee. Спрашивай там. Надо ОРМ у дать инструкцию генерировать id для этой таблицы через auto increment.

Особенно интересно решается ли моя проблема используя булк инсерты, потому что они быстрые

Bulk insertы не генерируют ключи обычно, их используют для перегрузки уже готовых данных.

Не знал как правильно сформулировать + формулировал со словом peewee

Peewee primary key generation strategies

Peewee primary key generation strategies

Предлагаешь сделать user_id primary key? Просто user_id это 9-ти значные числа, которые ну, скажем идут не по порядку. Кароче моя проблема уже решена, а так я не вижу смысла в создании уникального индекса по user_id. За отклик спасибо

PK не обязан или по порядку

Предлагаешь сделать user_id primary key? Просто user_id это 9-ти значные числа, которые ну, скажем идут не по порядку. Кароче моя проблема уже решена, а так я не вижу смысла в создании уникального индекса по user_id. За отклик спасибо

Кто генерирует эти числа?

Кто генерирует эти числа?

Telegram

Ну а с какого перепуга тогда там должны быть конфликты?

Ну а с какого перепуга тогда там должны быть конфликты?

Ну потому что база уже может существовать и там могут быть эти же юзеры

Тогда это user generated PK и все. А конфликт у тебя должен значить, что пользователь у тебя в БД уже существует, и надо использовать его

Ну потому что база уже может существовать и там могут быть эти же юзеры

Это целиком вопрос твоего приложения уже, даже не ОРМ.

Это целиком вопрос твоего приложения уже, даже не ОРМ.

Ну вопрос порешался в итоге on conflict, самой базой

Тогда сначала ищешь по ключу, если не нашел - создаёшь.

Ну вопрос порешался в итоге on conflict, самой базой

Не лучше так не делать

Хотя...

Это приложение должно делать явно.

Потому что если вдруг ты переключился на другую СУБД то там такой фамилией может не быть, тебе придется все равно делать это в приложении самому

Ну всё

Потому что если вдруг ты переключился на другую СУБД то там такой фамилией может не быть, тебе придется все равно делать это в приложении самому

Понял, спасибо

Всем привет, помогите решить проблемку: Использую peewee и SQLite. Это все на python Есть модель User, поля: user_id = IntegerField(unique=True) is_member = BooleanField() Добавление в базу осуществляется так: users = [ {'user_id': 1, 'is_member': 1}, {'user_id': 2, 'is_member': 0} ] with db.atomic(): User.insert_many(users).execute() Проблема заключается в следующем - я полный нуб в базах данных. В таблице users заранее могут быть строки, в которых user_id конфликтует с этим. Из-за этого будет выдавать ошибку peewee.IntegrityError: UNIQUE constraint failed: user.user_id. Как изменить архитектуру/алгоритм записи данных, что-бы кортежи в которых user_id конфликтует не записывались либо (что ещё лучше) в тех где конфликтует, что-бы в поле is_member значение менялось на 1?

Upsert, вот только хз, если он в лайте или нет

Upsert, вот только хз, если он в лайте или нет

К сожалению нет

нет его там

UPDATE OR IGNORE ... INSERT OR IGNORE ...

INSERT INTO old_entity ( BIN, name_kk, name_ru, CEO) SELECT BIN, name_kk, name_ru, CEO FROM old_entity_temp a, legal_entity b WHERE a.BIN = b.BIN and a.CEO <> b.CEO ON DUPLICATE KEY UPDATE name_kk = VALUES(name_kk), name_ru = VALUES(name_ru), CEO = VALUES(CEO);

Здравствуйте

помогите ошибку выдает

BIN is ambigous

тебе мускуль уже все сказал

я хочу залить в таблицу выбранные данные из двух таблиц

Всем добрый день! Подскажите насколько быстро выполняются операции с WHERE IN с кучей параметров?

Я вот думаю, стоит ли так делать вообще

я хочу залить в таблицу выбранные данные из двух таблиц

У тебя написано SELECT BIN, но этот столбец есть в обеих таблицах old_entity_temp a, legal_entity b. Нужно указывать алиас перед именем столбца чтобы БД знала какой именно тебе нужен

я все сделал уже спасибо

ребят. всем привет. есть одна задачка по выбору способа хранения информации. можете подсказать/направить?

подсказываю и направляю

нужно собирать статистику по пользователям. в статистике можно выбирать за какой период нужна инфа. допустим, сколько пользователей зарегались с 1 января по 31 марта. раньше уже с таким сталкивался. решал так: каждую минуту (для актуальности) писал в таблицу статистики все счетчики count_users, count_users_age (в другом поле указывал возраст). ну и так далее. а в 00:00 удалял все счетчики за прошлый день, кроме 23:59. итого, за каждый прошедший день у меня была инфа. и все норм работало. теперь проблема в том, что текущая статистика имеет много фильтров. можно выбрать период, дату регистрации, возраст и еще 10+ полей. все можно между собой комбинировать. если я буду использовать старый способ, то мне придется записывать счетчики для каждой комбинации фильтров. это фейл. вариант со сбором статистики сразу по пользователям, а не по отдельной таблице статистики, не подойдет, т.к. если я захочу посмотреть инфу за прошедшее время, у некоторых юзеров могут уже поменяться данные, некоторые удалятся и т.п.

вот. нужно как-то правильно организовать сбор счетчиков. потом из них делаю пай-чарты, диаграммы

народ как можно сделать, чтобы sql скрипт прошелся по всем файлам и создал таблицы по названию файлов

ну и информацию вбил из файлов