На первый взгляд выглядит как простой join с подзапросом с условиями на равенство или неравенство

Ну, я не знаю, как это написать, как простой джоин. Меня особенно смущают эксклуды. Можно даже забыть пока про таблицу файлов. Нужно просто из одной таблицы BindedTags выбрать по заданным условиям. Может можно сгруппировать по TargetId и как-то условиями группы отсеять.

Ну, я не знаю, как это написать, как простой джоин. Меня особенно смущают эксклуды. Можно даже забыть пока про таблицу файлов. Нужно просто из одной таблицы BindedTags выбрать по заданным условиям. Может можно сгруппировать по TargetId и как-то условиями группы отсеять.

Тебе надо сначала выбрать все теги с заданными ид и каждому проверить, совпадает ли значение, а потом фильтровать файлы полученным списком?

Тебе надо сначала выбрать все теги с заданными ид и каждому проверить, совпадает ли значение, а потом фильтровать файлы полученным списком?

Ну это очень грубо, но да. Значения привязывыются не к тегу, а к связи тега с файлом. BindedTags таблица связей как раз. Так что эта проверка и есть фильтрация.

У если у тебя многие-ко-многим тогда вот так небось

SELECT * FROM Tags t JOIN TaggedFiles tf ON tf.TagId = t.Id JOIN Files f ON f.Id = tf.FileId WHERE t.TagText = 'xxx'

SELECT * FROM Tags t JOIN TaggedFiles tf ON tf.TagId = t.Id JOIN Files f ON f.Id = tf.FileId WHERE t.TagText = 'xxx'

Это конечно классно, но у меня структура немного сложнее -_-

Я несколько накидан в данный момент, но первым делом можно начать в лоб с такого: Select * from files f join bindedtags bt on f.id = bt.targetid join tags t on bt.tagid = t.id where t.exclude != 1 and t.id in (...) Но видимо надо вместо джоина с таблицей тегов сделать подзапрос, в котором выбирать теги по имени и значению

Это конечно классно, но у меня структура немного сложнее -_-

ну тебе же только список файлов протегированных или теги у файла вернуть?

Это конечно классно, но у меня структура немного сложнее -_-

откуда начинать читать? есть диаграмма?

В общем, господа, если кто-нибудь поделится какими-нибудь идеями, буду благодарен. У меня есть данные в базе, в виде картинки в следующем посте. Нужно выбрать коллекцию File ов. Входные данные множество TagId, опционально их значения (Value) и флаг показывающий, выбирать файлы с этим тегом, или без него (Include/Exclude). В данный момент в коде лютый ахтунг: http://pastebin.com/R81TY9TG и sql он генерит лютого вида: http://pastebin.com/3TybkRY4 Можно ли как-то сделать запрос эффективнее?

.

отсюда

Я несколько накидан в данный момент, но первым делом можно начать в лоб с такого: Select * from files f join bindedtags bt on f.id = bt.targetid join tags t on bt.tagid = t.id where t.exclude != 1 and t.id in (...) Но видимо надо вместо джоина с таблицей тегов сделать подзапрос, в котором выбирать теги по имени и значению

Сейчас подожди, я осознаю

Я несколько накидан в данный момент, но первым делом можно начать в лоб с такого: Select * from files f join bindedtags bt on f.id = bt.targetid join tags t on bt.tagid = t.id where t.exclude != 1 and t.id in (...) Но видимо надо вместо джоина с таблицей тегов сделать подзапрос, в котором выбирать теги по имени и значению

Теги вообще можно не джоинить, вся инфа есть в биндедтегс. Эксклуд это внешний параметр, он приходит вместе с тегами, по которым надо выбрать, а не хранится в базе. Чую, нужно пример замутить, или я сложно объясняю, или никто не понимает.

ну тебе же только список файлов протегированных или теги у файла вернуть?

нет.

Конечно не понимаем, это не так просто без контекста, сразу въехать в задачу

а где Include?

создал тип, создал сторедпроку, отфильтровал нужные айди, пульнул на сервер

Ожидаемый ответ: Мы не возвращаем первый файл, потому что у него нет тега 1 со значением some_value1 Мы не возвращает второй файл, по той же причине Мы возвращает третий файл, потому что у него есть тег 1 со значением some_value1, есть просто второй тег, и нет тега 3 со значением some_value3 мы не возвращаем четвертый файл, потому что у него нет тега 1 со значением some_value1 Ну и пятый, если представить, что у тега1 значение все же some_value1, то мы его не вернем, потому что у него есть тег 3 со значением some_value3 Один возвращенный файл.

а где Include?

По умолчанию инклуд. Exclude=f, это инклуд.

а много данных на входе?

а много данных на входе?

Можно ограничить 50 тегами.

CREATE TYPE TagIds AS TABLE ( Id int ); GO CREATE PROCEDURE SelectFiles @dt AS TagIds READONLY AS BEGIN SELECT * FROM @dt t JOIN TaggedFiles tf ON tf.TagId = t.Id JOIN Files f ON f.Id = tf.FileId END

а в проге: DataTable dt = new DataTable(); dt.Columns.Add("Id", typeof(int)); //забиваешь в дататейбл нужные Ид и шлешь в сторедпроку

CREATE TYPE TagIds AS TABLE ( Id int ); GO CREATE PROCEDURE SelectFiles @dt AS TagIds READONLY AS BEGIN SELECT * FROM @dt t JOIN TaggedFiles tf ON tf.TagId = t.Id JOIN Files f ON f.Id = tf.FileId END

Это просто выбор файлов по айди с тегами. А где эксклуды? А где проверка значений?

типа эксклюдишь в шарпе

создаешь список для выборки и фигачишь его в сторедпроку

и проверка значений там же

а абстрактный класс методом расширения расширить нельзя?

типа эксклюдишь в шарпе

Ничего не понял, если честно, что вернет эта процедура. Все связи переданных тегов с файлами? Там, например, есть теги которые есть у всех файлов и отличаются только значениями. Он будет грузить всю таблицу файлов, чтобы откинуть потом 99%? Это точно будет быстрее текущего кривоватого, но работающего метода? В таблице BindedTags 2 миллиона записей и будет расти.

@e1ee7 я правильно понял http://pastebin.com/dWbKTRZ9 ?

я только не знаю, сумеет энтити телепортировать туплы. то что массивы зачений на контейнс должен выполнить на сервере - 100%, а вот с туплами я хз

@e1ee7 я правильно понял http://pastebin.com/dWbKTRZ9 ?

Сейчас посмотрю

Ничего не понял, если честно, что вернет эта процедура. Все связи переданных тегов с файлами? Там, например, есть теги которые есть у всех файлов и отличаются только значениями. Он будет грузить всю таблицу файлов, чтобы откинуть потом 99%? Это точно будет быстрее текущего кривоватого, но работающего метода? В таблице BindedTags 2 миллиона записей и будет расти.

сервак отдаст только те, которые нужны

@e1ee7 я правильно понял http://pastebin.com/dWbKTRZ9 ?

вопрос в том, как ЕФ это развернет в SQL

вопрос в том, как ЕФ это развернет в SQL

+

ну так я просто написал на динку, что бы делал в хранимке

у меня оракл у меня всё в хранимках. я бы примерно такое в них бы шпарил

я оракл вообще ни разу не трогал, лол :)

так уж получилось

не переживай, лучше не трогать и пятиметровой палкой

да вот читаю всякое разное, и не только не переживаю, но еще и радуюсь

@e1ee7 я правильно понял http://pastebin.com/dWbKTRZ9 ?

Ну эксклуд тегс тоже с валуеми могут быть. Но основная проблема, если я правильно понял, в том, что эксклуд тут не работает. Если у тебя есть у какого-то файла строчка, которая включает тег эксклуда, то этого файла в результатах быть не должно. У тебя же будет, если у этого файла есть еще какой-нибудь тег, который в filters в инклудах.

понял

не переживай, лучше не трогать и пятиметровой палкой

Я пересел с mssql на оракл, а потом на MySQL. И оракл далеко не самый худший в этой цепочке.

Ну эксклуд тегс тоже с валуеми могут быть. Но основная проблема, если я правильно понял, в том, что эксклуд тут не работает. Если у тебя есть у какого-то файла строчка, которая включает тег эксклуда, то этого файла в результатах быть не должно. У тебя же будет, если у этого файла есть еще какой-нибудь тег, который в filters в инклудах.

мы выбрали все исключаемые теги. мы фильтруем файлы, чтобы на них не висели исключаемые теги

со значениями эксклуда надо просто продублировать логику инклудов

https://gist.github.com/stdray/766441295cec0b7ed7bd5904abba04c8

дописал и починил. вообще копипасту надо убирать, но в стандартном линке нету partition или подобного

https://gist.github.com/stdray/766441295cec0b7ed7bd5904abba04c8

ты починил только со значениями эксклудов, а что на счет таки их работы?

мы выбрали все исключаемые теги. мы фильтруем файлы, чтобы на них не висели исключаемые теги

Вот это не понял, если честно.

у тебя файл связан с кучей тегов, так?

у тебя файл связан с кучей тегов, так?

Да, так

Если есть хотя бы один тег в списке эксклудов, то файл этот возвращать не нужно.

ERROR: S client not available

у тебя есть 2 коллекции - идентификаторы исключаемых тегов, плюс идентетификаторы со значениями

и как у тебя такой тег попадёт в список? !(excludeTagIds.Contains(t.TagId) || excludeTagValues.Contains(new { t.TagId, t.Value })) && (includeTagIds.Contains(t.TagId) || includedTagValues.Contains(new { t.TagId, t.Value}))

ты просто не будешь джойнить такие теги с файлами

и как у тебя такой тег попадёт в список? !(excludeTagIds.Contains(t.TagId) || excludeTagValues.Contains(new { t.TagId, t.Value })) && (includeTagIds.Contains(t.TagId) || includedTagValues.Contains(new { t.TagId, t.Value}))

сек

у тебя есть 2 коллекции - идентификаторы исключаемых тегов, плюс идентетификаторы со значениями

http://pastebin.com/5ZZ9ShKf Вот, он вернет первый файл, хотя не должен.

понял

https://gist.github.com/stdray/766441295cec0b7ed7bd5904abba04c8

вот так тогда, через 2 подзапроса

тут можна разными способами написать. просто я плохо представляю возможности ентити, тк когда им пользовался, дважды с него мигрировал. плюс не знаю размеров твоих коллекций, с какой стороны заходить

https://gist.github.com/stdray/766441295cec0b7ed7bd5904abba04c8

Ну да, теперь вроде ок, но как он сконвертится в sql интересно. сейчас попробую натянуть на свой код. Размеры, коллекция тегов под 2 миллиона. Ну предположим, в 3 раза больше это максимум. Коллекция файлов - 60к, ну так же, раза в 3 больше это максимум.

а ты не знаешь часом

стандартные провайдеры линкупада не через ентити робят?

может ничо натягивать и не надо, а просто погонять проще?

как минимум можно подключить

для того, чтобы погонять скрипт и посмотреть запрос - самое оно

Господа

Чем можно СКРАППИТЬ БЫСТРО БЫСТРО

я не знаю такого слова)

У меня есть 999 страниц, на них инфа которую нужно запихнуть в бд. Там типа сумма денежек, время и другие поля.

Хпасом выдирать из сайта? Или есть более человеческий способ?

стандартные провайдеры линкупада не через ентити робят?

Не пользовался никогда, но нятянуть не сложно

Хпасом выдирать из сайта? Или есть более человеческий способ?

html agility pack

а, ну да, там хпас

Хпасом выдирать из сайта? Или есть более человеческий способ?

ну если тебе надо веб-странички распарсить, то вариантов мало 1. если знаешь хpath - то хтмагилитипак 2. если знаешь css/jquery selectors - csquery 3. если ищешь не подохшую либу - anglesharp

про скорость и многопоточность наверное нет смысла рассуждать на 999 страницах

ну если тебе надо веб-странички распарсить, то вариантов мало 1. если знаешь хpath - то хтмагилитипак 2. если знаешь css/jquery selectors - csquery 3. если ищешь не подохшую либу - anglesharp

Да мне нужно роттен томатов каждый фильм распарсить на его содержимое.