у try:есть finally: и else: но я не уверен что они здесь уместны

еще один?)

Ну Лок сам никуда не денется

Ну Лок сам никуда не денется

денется) его просто подождать надо

его другой скрипт использует просто

у sqlite есть возможность работать параллельно с двумя подключениями, но я не понял как подключиться туда сразу двумя скриптами)

скрипт 1 парсит значения и складывает в бд, а потом скрипт 2 обрабатывает эти значения

денется) его просто подождать надо

Окей, согласен

у sqlite есть возможность работать параллельно с двумя подключениями, но я не понял как подключиться туда сразу двумя скриптами)

Вроде как параметр timeout у коннекта

Вроде как параметр timeout у коннекта

When a database is accessed by multiple connections, and one of the processes modifies the database, the SQLite database is locked until that transaction is committed. The timeout parameter specifies how long the connection should wait for the lock to go away until raising an exception. The default for the timeout parameter is 5.0 (five seconds). попробую так c = sqlite3.connect(database = database_file, timeout= 5)

костыльно ориентированное программирование)

Blog.objects.filter(F('n_visits')=n_comments) В чем ошибка?

==

Что значит код без legacy?

Кто знает как сохранять символ. сылку на файл в постгрес на flask, спасибо

Кто знает как сохранять символ. сылку на файл в постгрес на flask, спасибо

Не совсем понятна задача, т.к. символическая ссылка - это специальный объект файловой системы, являющийся по сути ссылкой на сам файл. Сохранить такой объект в БД можно только строкой абсолютного пути до файла.

да, именно это и нужно. есть картинки и названия стянутые с сайта, нужна положить акуратно это все в базу, и когда юзер кликает то выдавать все подписаные карттнку

Вроде как параметр timeout у коннекта

а как сделать адекватнее?)

да, именно это и нужно. есть картинки и названия стянутые с сайта, нужна положить акуратно это все в базу, и когда юзер кликает то выдавать все подписаные карттнку

А зачем? Я так подозреваю ты складываешь всё в папку одну. Когда количество файлов стянутых разрастётся, то это больно тебя ударит. Высказывание на опыте.

а как сделать адекватнее?)

Ну не знаю. Взять постгрес

Но есть другие алгоритмы реализации хранения в ФС. Вопрос тогда к названиям файлов. Откуда они берутся и какую роль играют?

так, я вас понял. Сначала хотел картинки как бинарники в базе хранить, на форуме прочитал что нужно символ силки на файли, а файлы в файловой системе хранить

Хранить файлы надо в фс. Имена файлов надо делать на основе хеш суммы файла (это исключит дублирование файлов с одинаковым содержимым и разными именами). Ну и хранить в виде дерева на основе имени хеш суммы например по два символа хекс с тремя уровнями вложенности.

Ну и в БД можно хранить уже таблицу с хеш-суммой файла в качестве индекса.

да, я вас понял. спасибо. случайно не знаете ресурс или книгу где это описано в деталях?

Есть ещё одна проблема из-за ограничений ФС. При большом количестве мелких файлов и ФС, основанной на жестком выделении inode, может наступить ситуация нехватки inode, но при этом окажется много свободного места на сервере. В частности этим страдает EXT4

да, я вас понял. спасибо. случайно не знаете ресурс или книгу где это описано в деталях?

У меня это хранится в голове, моих проектах и возможно в моей веб-документации

Хранить файлы надо в фс. Имена файлов надо делать на основе хеш суммы файла (это исключит дублирование файлов с одинаковым содержимым и разными именами). Ну и хранить в виде дерева на основе имени хеш суммы например по два символа хекс с тремя уровнями вложенности.

И хеш функцию надо выбирать исключающую коллизии. Лучше вообще использовать uuid32.

И хеш функцию надо выбирать исключающую коллизии. Лучше вообще использовать uuid32.

Я использую sha256

И хеш функцию надо выбирать исключающую коллизии. Лучше вообще использовать uuid32.

Но это же не хеш функция

И хеш функцию надо выбирать исключающую коллизии. Лучше вообще использовать uuid32.

А не, вру. Кое-где остался md5

Но это же не хеш функция

Я вкурсе. Это я не правильно выразился. не проснулся еще.

Но с md5 вроде коллизий не будет в обозримом будущем.

В общем uuid специально создан для создания уникальных идентификаторов. потому он так и называется )

Кстати одно из преимуществ хеш-функции - защита от подделки файла, при условии доверия к данным в БД

Но с md5 вроде коллизий не будет в обозримом будущем.

https://ru.wikipedia.org/wiki/MD5#%D0%9A%D0%BE%D0%BB%D0%BB%D0%B8%D0%B7%D0%B8%D0%B8_MD5

Ещё есть sha3

В общем uuid специально создан для создания уникальных идентификаторов. потому он так и называется )

Все таки твой вариант подходит больше, когда мы не привязывается к содержимому

Ну или нужна скорость

так, я вас понял. Сначала хотел картинки как бинарники в базе хранить, на форуме прочитал что нужно символ силки на файли, а файлы в файловой системе хранить

Проблема хранения картинок в базе в том что они записываются битовой строкой для хранения. База тоже не волшебная и при например сортировке для выдачи результата должна перемещать эту гиганскую битовую строку туда сюда. В результате чего производительность на больших таблицах падает буквально до нуля. В этом можно убедится даже без картинок. просто сделать колонку со строкой в 1к или 2к символов. и посмотреть через EXPLAIN

да спасибо. но мне нуже пример кода чтобы разобрать как их сохранить не каряво

недостаток опыта у меня.

да спасибо. но мне нуже пример кода чтобы разобрать как их сохранить не каряво

А ты используешь какой то фреймворк или сам пишешь?

фласк

а скачал картинки супом

Смотри как в джанге реализовано

фласк

При недостатке опыта лучше делай на джанго. там многое за тебя сделано уже

понял, это ценный совет!

Проблема хранения картинок в базе в том что они записываются битовой строкой для хранения. База тоже не волшебная и при например сортировке для выдачи результата должна перемещать эту гиганскую битовую строку туда сюда. В результате чего производительность на больших таблицах падает буквально до нуля. В этом можно убедится даже без картинок. просто сделать колонку со строкой в 1к или 2к символов. и посмотреть через EXPLAIN

Зачем она при сортировке перемещает огромную строку? Указатели двигает, и все норм. Вот операции сравнения - это да

спасибо

Зачем она при сортировке перемещает огромную строку? Указатели двигает, и все норм. Вот операции сравнения - это да

У тебя данные в кеш должны с диска переместиться

Даже если если в оперу они не попадут, то их все равно надо будет прочитать чтобы отбросить

Зачем она при сортировке перемещает огромную строку? Указатели двигает, и все норм. Вот операции сравнения - это да

Не правильно выразился. чтобы выдать пользователю. она читает с диска не последовательно а кусками и собриает конечный массив.

фласк

Но если брать например джанговский подход то они хранят картинки в поддиректории с именем модели. чтобы в одной директории кучу картинок не хранить. названия рекомендуется задавать через uuid. а в базе хранится просто строка-путь к файлу в системе.

Но если брать например джанговский подход то они хранят картинки в поддиректории с именем модели. чтобы в одной директории кучу картинок не хранить. названия рекомендуется задавать через uuid. а в базе хранится просто строка-путь к файлу в системе.

Вроде как относительный путь указывается

Вроде как относительный путь указывается

Да. Исходя из MEDIA_ROOT и BASE_DIR в settings.py

Вот интересно, как оптимизация сортировки больших строк работает. Ведь оптимально не читать сразу все данные, а начать сортировку по первым блокам, и только в случае их равенства лезть за следующими

Вот интересно, как оптимизация сортировки больших строк работает. Ведь оптимально не читать сразу все данные, а начать сортировку по первым блокам, и только в случае их равенства лезть за следующими

Этим у тебя уже индексы занимаются

Уу, да тебе неплохо было бы прочитать учебник по бд

Всем привет! Подскажите, как правильно сделать - есть приложение на aiohttp нужно собрать глобальный конфиг и сделать так, чтобы к нему можно было обратиться из любого места за какими то настройками, которые в нем лежат. можно было бы добавить в app['config'], но app не доступен кроме как из вьюшек. как быть?

ERROR: S client not available

Уу, да тебе неплохо было бы прочитать учебник по бд

На хабре была крутая статья про индексы в постгресе. могу кинуть ссылку.

Этим у тебя уже индексы занимаются

Ну устройство индекса для двоичных данных, думаю, достаточно интересное.

кинь если не сложно

Всем привет! Подскажите, как правильно сделать - есть приложение на aiohttp нужно собрать глобальный конфиг и сделать так, чтобы к нему можно было обратиться из любого места за какими то настройками, которые в нем лежат. можно было бы добавить в app['config'], но app не доступен кроме как из вьюшек. как быть?

Один глобальный файл setrings.py с переменными и везде его импортируй

Один глобальный файл setrings.py с переменными и везде его импортируй

переменные должны подгрузиться в зависимости от переданного конфига т.е. сделать их вначале все None ?

переменные должны подгрузиться в зависимости от переданного конфига т.е. сделать их вначале все None ?

В этом же файле можешь читать файл с конфигом и присваивать значения

Всем привет! Подскажите, как правильно сделать - есть приложение на aiohttp нужно собрать глобальный конфиг и сделать так, чтобы к нему можно было обратиться из любого места за какими то настройками, которые в нем лежат. можно было бы добавить в app['config'], но app не доступен кроме как из вьюшек. как быть?

Хз как в питоне принято, общий паттерн, которым такое реализуется - синглтон

Более того можно даже коннекты к база инициализировать, главное чтобы там loop не создавался

Более того можно даже коннекты к база инициализировать, главное чтобы там loop не создавался

да - там и коннекты к бд, к редису и прочие кастомные настройки

то есть прописать все настройки в settings.py например DB_HOST = None а потом считав конфиг уже в рантайме присвоить значение? DB_HOST = config['db']['host]

то есть прописать все настройки в settings.py например DB_HOST = None а потом считав конфиг уже в рантайме присвоить значение? DB_HOST = config['db']['host]

Сразу значение из файла пихай

Сразу значение из файла пихай

а если где то там внутри аппа есть классы, у которых статичные поля зависят от значений в settings.py ?

Для каждой аппы можно сделать свой локальный settings.py ну или вычислимые настройки создавать как поля класса

вариант с локальным settings.py больше нравится спс!

кинь если не сложно

https://habr.com/company/postgrespro/blog/330544/

Там большой цикл статей. штук 10. Про всевозможные типы индексов. Крайне познавательно

https://habr.com/company/postgrespro/blog/330544/

спасибо

А есть у кого ссылка на реализацию алгоритма хранения данных и дерева B или B+ на питоне?

А есть у кого ссылка на реализацию алгоритма хранения данных и дерева B или B+ на питоне?

гуглится же за 5 минут. или тебе библиотека нужна?

http://aliev.me/runestone/index.html тут есть с примерами

гуглится же за 5 минут. или тебе библиотека нужна?

Библиотека. Так вроде понятно на схемах. Но как они отделяют мух от котлет, точнее блоки, листья в блоках от самих данных, на которые ссылается номер в листе.

http://knuth.luther.edu/~leekent/CS2Plus/chap10/chap10.html

вот неплохое описание реализации нашел

https://pypi.org/project/BTrees/

вот либа

вот либа

Спасибо! Сохранил, ознакомлюсь.

https://pypi.org/project/blist/

эти даже обещают производительность O(logN)