Я для себя понял, что происходит примерно следующее 1. begin 1 (!пох) 2. begin 2 (!пох) 3. select for update 1 (!ничерта не нашли пофиг) 4. select for update 2 (не блокируется предыдущим ) (!ничертане нашли пофиг) 5. insert 1 - встает в очередь за "select for update 2" (Пункт 4 в смятении, ибо тут приезжает какая-то новая бабуйня) 6. insert 2 deadlock из-за "select for update 1" (Содом и Гомора)

Кто знаком поближе с мускулем, поправте

Артур Евгенич, какие движки у таблицы -то ?

UP

ты шо не хипстор, use doker, luke

Вот чейчас обидно было...

Кто знаком поближе с мускулем, поправте

без вывода innodb это гадание на кофейной гуще

А не, я переосмыслил, если эта фигня базируется на индексах, а в условии нет подходящего, тогда она наверно возьмет дефалтовый кластерный индекс и залочит всю таблицу, не?

Есть 100 одновременных событий. При обработке каждого из событий, мы смотрем есть и запись о пользователе в определенной таблице - (если нет, то добавляем) после чего, в другую таблицу добавляем связанные данные, где запись из предыдущей будет внешним ключём. Сейчас возникает дедлок из за того что при попытке вытащить запись о пользователе в таблице, мы запрашиваем запись с несуществующеим ключом и из за этого блокируется табилца на вставку

А не, я переосмыслил, если эта фигня базируется на индексах, а в условии нет подходящего, тогда она наверно возьмет дефалтовый кластерный индекс и залочит всю таблицу, не?

если ты не нашел строк, что ты будешь блокировать?

Артур Евгенич, какие движки у таблицы -то ?

InnoDb

Я для себя понял, что происходит примерно следующее 1. begin 1 (!пох) 2. begin 2 (!пох) 3. select for update 1 (!ничерта не нашли пофиг) 4. select for update 2 (не блокируется предыдущим ) (!ничертане нашли пофиг) 5. insert 1 - встает в очередь за "select for update 2" (Пункт 4 в смятении, ибо тут приезжает какая-то новая бабуйня) 6. insert 2 deadlock из-за "select for update 1" (Содом и Гомора)

да всё верно

Ну тогда ничего оно не дожно блокировать. PK/FK есть ?

Только они могут Insert блокировать

сейчас два варианта или через retry хуярить или откатывать транзакцию после неудачной попытки селекта

И то только если UPDATE меняет ключи.

Я что ради этой херни буду этот долбаный MySQL ставить? НЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕЕ

как то я тебе не очень доверяю после этого сообщения))

сейчас два варианта или через retry хуярить или откатывать транзакцию после неудачной попытки селекта

А откатываать тебе надо и так и сяк, по-любому.

как то я тебе не очень доверяю после этого сообщения))

Дело твоё...

А не, я переосмыслил, если эта фигня базируется на индексах, а в условии нет подходящего, тогда она наверно возьмет дефалтовый кластерный индекс и залочит всю таблицу, не?

такая зхуйня примерно и происходит вопрос как это наиболее элегантно победить

Индекс под твое условие есть?

primary key

если ты не нашел строк, что ты будешь блокировать?

1. Если нашел индекс, то залочу промежуток до - после, что бы не возникто фантомных записей. 2. Если не нашел, то единственный верный путь залочить кластер.

такая зхуйня примерно и происходит вопрос как это наиболее элегантно победить

я так понимаю что словарнывй запас ограничен. но ты попробуй напрягись и пиши без мата. у тебя должно получится

я так понимаю что словарнывй запас ограничен. но ты попробуй напрягись и пиши без мата. у тебя должно получится

я так понимаю у тебя у ма хватает лишь на подколкки уровня детского сада, и когда в одном месте печет высказаться хочется а сказать по факту нечего?

1. Если нашел индекс, то залочу промежуток до - после, что бы не возникто фантомных записей. 2. Если не нашел, то единственный верный путь залочить кластер.

вот об этом я и говорю. покладем лок на все и сразу :)

1. Если нашел индекс, то залочу промежуток до - после, что бы не возникто фантомных записей. 2. Если не нашел, то единственный верный путь залочить кластер.

если условие не индексировано - будет лок всей таблицы... груздь

даже если ты не найдешь ничего

если условие не индексировано - будет лок всей таблицы... груздь

у меня не вся таблица лочится a gap lock происходит

надо же, какие ты слова знаешь...

но егохватате чтобы я не мог вставить так как вставляю определенный id

Гап лок по пк

какой гап лок по унику, алло

будет заблокирована только 1 запись, это же уник

будет заблокирована только 1 запись, это же уник

ЕЕ НЕТ!!!

меня волнует сейчас лишь вопрос формулировки

это не gap lock

это не gap lock

ты вот даже не дал ребенку слово красивое попользовать

имхо но ссуть тут в том что приложение спроектировано не правильно.

старался...

заместо того что бы создать очередь и разруливать накладки на уровне приложения, товарищ пхает все подряд в базу и надеется что оно там как то само рассосется

ты вот даже не дал ребенку слово красивое попользовать

Если у тебя комплексы детские какие-то, то ты пойми что я в этом не виноват, ок?

Ну так-то AI прав, очередь тебя спасет

Ну либо мирись с фулл локом таблицы

Ну так-то AI прав, очередь тебя спасет

очередь чего, конкретно? фотки и так добавляются из очереди, проблема в том что они параллельно это делают, и в случае если это новая фотка, возникает то что ты описал

Я мускуль в окно соседа видел, может есть решения, но я их не знаю

очередь чего, конкретно? фотки и так добавляются из очереди, проблема в том что они параллельно это делают, и в случае если это новая фотка, возникает то что ты описал

что мешает сделать insert ignore ?)

что мешает сделать insert ignore ?)

сейчас это 1 из двух рабочих вариантов

добавляются из очереди ПАРАЛЕЛЬНО.. новое слово в технологиях

вообще как мне объяснили ошибка эта возникла, т.к 5 лет назад не подразумевалась возможность параллелльного добавления фоток

а ты взял и всё сломал?)

а ты взял и всё сломал?)

не, давно ошибка висит уже, там небольшой процент фоток с дедлоками падает меньше 0.1

А зачем это все было сделано?)

А зачем это все было сделано?)

наверное не понравилось что уже 5 лет работает без проблем

всмысле зачем)) бизнесс задача) При добавлении фоток пользователь становится участником сервиса одного. Раньше фотки в ручную добавлялись, а сейчас они проходят авто модерацию, и может например 100 фоток сразу добавиться) вот и дедлоки возникли

дурная голова - рукам/ногам покоя не дает (С) старый пословица

дурная голова - рукам/ногам покоя не дает (С) старый пословица

вот ты смешная

в общем предлагаю задачу интереснее. эта какая то скучная. будем придумывать оптимальный алгоритм класификации.

@AlexCAD я так понимаю ты там с попкорном засидаешь

@AlexCAD я так понимаю ты там с попкорном засидаешь

мне жена с утра камин затопила в кабинете. сижу вот вытянул лапти к камину. с уноутом на коленях. думаю

всмысле зачем)) бизнесс задача) При добавлении фоток пользователь становится участником сервиса одного. Раньше фотки в ручную добавлялись, а сейчас они проходят авто модерацию, и может например 100 фоток сразу добавиться) вот и дедлоки возникли

Не я к тому что зачем паралель? Пакетом забрасывать не веселей?

Некто c bel собрал игровой 3D движок в табличках Excel. В описании видео есть ссылки на нужные файлы, чтобы самостоятельно походить по лабиринту в офисных таблицах. Возвращение рубрики "Больной ублюдок, как ты это сделал?!" https://youtu.be/iCeOEQVUWZ0

норкоманы чёртовы не знаю

неожидано

Не я к тому что зачем паралель? Пакетом забрасывать не веселей?

А как пакет сформировать? Сейчас есть очередь в которую для всех юзеров пушится события добавления фоток для всех юзеров, то есть может импорт из одноклассников например 100 пользователей сразу запустить и по 500 фоток и там в разном порядке добавляться. Думаю нет возомжности с агрегировать никак

а ну вот значит, сформулировал задачу. есть набор признаков, каждый законченный набор имеет свой маркер. при этом отдельный элемент из набора может принадлежать одновременно куче маркеров. задача выяснить к какому маркеру будет относится набор имея возможность посчитать к каким маркерам принадлежит каждый элемент

решение в лоб, пересчитать статистически общую сумму маркеров от каждого элемента не принесло результата

в смысле результат настолько замысловатый что я сам окосел

по этому результату наверное можно пару докторских по математике написать, ибо я не ожидал что оно вот так бывает

в общем если у кого есть идеи, то типа велком

Янифиганипонял ...

о, не я один такой))))

Нас много, просто не все такие честные, как мы с тобой.

В дерево уложить?

Нас много, просто не все такие честные, как мы с тобой.

ок пробую обьяснить еще раз. на примерах вот у тебя есть ряд овощей на каждом лежит куча признаков и маркер с названием овоща теперь у тебя есть новый овощ и ты хочешь узнать как он называется, в качестве референса у тебя есть куча признаков.

так понятнее?

Не не надо на примерах...

то есть если просто взять и посчитать признаки и соотнести с имеющими овощами то выясняется что оно ка кто все не очень сильно различается (мягко говоря)

Я так понял, что надо вычислять пересечения многих множеств и таким образом находить искомую группу

угу

вот кстати да. нужно идентифицировать множество по количеству признаков и с ним соотносить

щас попробуем

вот кстати да. нужно идентифицировать множество по количеству признаков и с ним соотносить

Ну не только по количеству...

По составу тоже

Нет разве?

По составу тоже

вот по составу. именно это сейчас и пытаюсь реализовать. ибо количество не прокатывает.

если состав маркеров не сильно часто меняется, есть смысл при сохранении сортировать по селективности и сначала проверять самые селективные маркеры

если состав маркеров не сильно часто меняется, есть смысл при сохранении сортировать по селективности и сначала проверять самые селективные маркеры

тут не так. тут граф который описывает множества

ему по барабану селективность.

просто согласно модели, это только половина модели. и в самой модели маркеры и работа с ними носит совсем другой характер. ни о каких явных классификациях речь не идет.

но для полной модели не хватает железа. потому пытаюсь поверх это сенсорно/аналитической половины налепить классификацию. которая тут как собаке пятая нога.

Т.е например если это белое, то это может быть белила, молоко, сливки, сметана, творог, если это жидкое, то это может быть вода, белила, молоко, сливки, если это сьедобное, то вода, молоко, совет, творог, А если все вместе, то получается молоко или сливки. Так?

примерно да

спасибо. ща добавим проверку состава и должон получится самолет

осталось придумать как это с базы запросить

Так получается просто пересечение множеств

N join ов...