ну я тонкости работы драйверов на питоне не сильно знаю, за то хорошо разбираюсь в БД

Драйвера на питоне? Шта?

через * не стоит возвращать данные

у нас парни вставку делают без объявления столбцов, а тут какая-то выборка

Драйвера на питоне? Шта?

для вас америка, что для подключения к БД используются драйвера коннектов?

у нас парни вставку делают без объявления столбцов, а тут какая-то выборка

вставку без объявления на основе запроса - ОК и если кто-то делает "так", это не значит, что везде "так" надо делать...

Hey, let's switch to Telegram: https://telegram.org/dl

А filter.in_?

Да, это помогло, спасибо. Отрабатывает за 0.2 секунды.

Ура!

Было бы круто узнать почему. Кто-нибудь знает?

Потому что это не 5000 запросов, а 1?

Нет. Даже 5000 подобных запросов с одним url работают те же 0.2 секунды

Нет. Даже 5000 подобных запросов с одним url работают те же 0.2 секунды

так у вас 5к сырых запросов было

Может быть, что-то закешировалось. Я имел в виду составить список урлов и сделать один раз filter in, а потом работать с этой коллекцией

q = db.session.query(Movie).filter_by(url=t).one() # 3.0 s q = db.session.query(Movie).filter(Movie.url.__eq__(t)) # .16 s q = db.session.query(Movie).filter(Movie.url.in_([t])) # 0.2 s

В общем, не используйте filter_by

Всем спасибо за помощь!

3.0 s ???

3.0 s ???

На 5к запросов

А что профайлер говорит?

На чем там все застряло?

q = db.session.query(Movie).filter_by(url=t).one() # 3.0 s q = db.session.query(Movie).filter(Movie.url.__eq__(t)) # .16 s q = db.session.query(Movie).filter(Movie.url.in_([t])) # 0.2 s

вторая и третья строчка не выполняют запрос же

надо добавить .one() или что-то подобное, тогда будет честное сравнение

Лол, да

Даже внимания не обратил

надо добавить .one() или что-то подобное, тогда будет честное сравнение

Так неинтересно?

а вообще, надо включать echo=True и смотреть какой SQL генериться, см. http://docs.sqlalchemy.org/en/latest/faq/performance.html (сорри, если уже было, тред не читал)

вторая и третья строчка не выполняют запрос же

Я их сравнил один за другим, комментя каждую из строк. Это просто что-то вроде сводной таблицы: 'используемый метод' и 'время выполнения 5к раз'

есть ещё вот такая полезная тулза http://sqltap.inconshreveable.com/

Я их сравнил один за другим, комментя каждую из строк. Это просто что-то вроде сводной таблицы: 'используемый метод' и 'время выполнения 5к раз'

я понял, просто во второй и третьей строках ошибка (если они именно в таком виде выполнялись)

SQLAlchemy не выполняет запрос к БД до последнего момента, т.е. пока ты как-то не обратишься к данным

т.е. db.session.query(Foo).filter_by(id=x) только подготавливает запрос, а вот db.session.query(Foo).filter_by(id=x).one() уже выполнит запрос к БД и выдаст результат

я понял, просто во второй и третьей строках ошибка (если они именно в таком виде выполнялись)

Хех. Вы правы, ошибся.

for url in urls: q = db.session.query(Movie).filter_by(url=url).one() # 2.82 s q = db.session.query(Movie).filter(Movie.url.__eq__(url)).one() # 2.77 s q = db.session.query(Movie).filter(Movie.url.in_([url])).one() # 2.86 s q = db.session.query(Movie).filter(Movie.url.in_(urls)).all() # 0.18 s

В читаемом виде: https://gist.github.com/anonymous/c0c85cfcd06c544fc92f72eb207bef78

Можно перевод?

Для чего gist.github.com? Кто-то находит там "озарение"?

Или в виде батарейки? Типа: Как решить дважды два! <Код-шаблон>

for url in urls: q = db.session.query(Movie).filter_by(url=url).one() # 2.82 s q = db.session.query(Movie).filter(Movie.url.__eq__(url)).one() # 2.77 s q = db.session.query(Movie).filter(Movie.url.in_([url])).one() # 2.86 s q = db.session.query(Movie).filter(Movie.url.in_(urls)).all() # 0.18 s

вот, теперь похоже на правду. 1 и 2 должны быть абсолютно эквивалентны, 3 может генерировать чуть другой SQL, но разницы в производительности не должно быть. 4 -- как надо писать (имхо)

вот, теперь похоже на правду. 1 и 2 должны быть абсолютно эквивалентны, 3 может генерировать чуть другой SQL, но разницы в производительности не должно быть. 4 -- как надо писать (имхо)

Спасибо. И за ссылку на sqlalchemy/fag/performance в том числе.

почему ткая разница между 3 и 4, я понять не могу

из-за того что в .one() используется limit?

почему ткая разница между 3 и 4, я понять не могу

потому что в 4, как я понимаю, один запрос возвращающий N элементов, а в остальных случаях N запросов по одному элементу

вся разница в оверхеде на выполнение запроса (сгенерировать сам запрос + round trip по сети + всякая предобработка внутри СУБД), и в 4 ты платишь этот оверхед один раз, а не N

Товарищи, кто-нибудь использовал когда-нибудь ELASTICSEARCH?

Товарищи, кто-нибудь использовал когда-нибудь ELASTICSEARCH?

я использую. Думаю, нас тут много таких

А для каких целей, если не секрет.

я например в него логи собираю

раньше я им fts делал и анализ текстов

поиск текста

ну мы им тексты ищем и логи в него складываем. 33 применения. как у подорожника

тоже для логов с логстешем

А сложные агрегации делали?

Вроде посчитать количество записей для каждого тега в каком-то поле

Питонистов тут вроде нет, но всё равно загадаю загадку (не моя, из книжки): Что будет в результате t = (1, 2, [30, 40]) t[2] += [50, 60] a) (1, 2, [30, 40, 50, 60]) b) TypeError (кортеж не поддерживает item assignment c) ничего d) a и b

Господа, скажите как заставить джангу не кешировать шаблоны?

я сейчас ее рестартую после каждого изменения, чтобы увидеть изменения в интерфейсе (чуть не каждую минуту)

Питонистов тут вроде нет, но всё равно загадаю загадку (не моя, из книжки): Что будет в результате t = (1, 2, [30, 40]) t[2] += [50, 60] a) (1, 2, [30, 40, 50, 60]) b) TypeError (кортеж не поддерживает item assignment c) ничего d) a и b

b

d

где-то это недавно обсуждалось

b

да, d

>>> t=(1,2,[3,1]) >>> t[2]+=[3,5] Traceback (most recent call last): File "<stdin>", line 1, in <module> TypeError: 'tuple' object does not support item assignment >>> t (1, 2, [3, 1, 3, 5]) >>>

интересно, почему так. я бы ожидал a

а если делать через extend, то ок

а если делать через extend, то ок

очевидно

потому что не происходит ассайнмента вообще

интересно, почему так. я бы ожидал a

пушо += не атомарный. это сначала +, а потом =

операция += сначала в список добавит новые элементы, а потом переприсвоит список обратно в тупл

тот же самый список

d

но в тупл присваивать нельзя, даже то же самое

давайте подискутируем - 4 пробела или таб? почему в PSR, PEP, Java code convention - везде 4 пробела ?

4 пробела

4 таба

4 раза нажать или 1?

только не надо их набирать, нажимая на пробел

в чем логика

ничего не надо нажимать, надо использовать встроенные в редактор средства индентации

4 раза нажать или 1?

не нажимать ничего, ide сама всё сделает

более того, таб, который раскрывается в 4 пробелв

срач "пробелы или табы" неактуален и сводится к настройке иде "как делают все в моей команде"

и которые удаляются одним бекспейсом

Табы или пробелы? Давайте банить умников, которые в 2016 году вбрасывают так толсто – 18 ??????? 56% Табы – 8 ??? 25% Пробелы – 6 ?? 19% ? 32 people voted so far.

но опять же через настройку иде используется таб?

ну понятно что есть ctrl+alt+L

нет

Кажется и табы и пробелы проиграли в этом чудном опросе

чо за таб?

при нажатии на "таб" не печатается таб, выполняется операция "сделать отступ"

чо за таб?

Кнопка которой карта в думе открывается

таб это кнопка, которую я нажимаю чтобы вставить 4 пробела

но смысл - настраивать иде чтобы она через таб делала 4 пробела - значит есть используется таб по факту

выдыхай, бобёр, уже 2018

но смысл - настраивать иде чтобы она через таб делала 4 пробела - значит есть используется таб по факту

а ещё клавиатура и компьютер

смысл было делать 4 пробела если все равно все нажимают таб?