Кирилл 🤤
Nikita
Андрей
Tishka17
Кирилл 🤤
*facepalm*
Может, я глупость сказал, но я сравнил скорость тредов и тех же процессов, для меня там есть выигрышь по времени
Tishka17
Tishka17
Nikita
Мы все ещё про питон?
Ну, не про питонячьи треды с gil, а так-то морду к быстрой либе можно на питоне держать
Tishka17
Кирилл 🤤
Ребят, вы мне объясните, пожалуйста, каким образом мне manager'ом можно сделать shared memory на кастомный класс? Я, вроде, прочитал, что у manager'а есть list, dict, value, но я не понял, каким образом я могу сделать также с кастомным типом.
Tishka17
А мы все ещё не знаем что он там делает
Tishka17
Ребят, вы мне объясните, пожалуйста, каким образом мне manager'ом можно сделать shared memory на кастомный класс? Я, вроде, прочитал, что у manager'а есть list, dict, value, но я не понял, каким образом я могу сделать также с кастомным типом.
На кастомный? Вряд ли так просто
Tishka17
Шаред память - это просто память, поверх нее можешь городить свои классы
Tishka17
Кирилл 🤤
Окей, общий замысел такой: в неком lists.txt есть url'ки на файлы типов html, docx, pdf. Задача такова: мне необходимо обработать этот текстовый документ, скачав каждый файл, прочитав его и запихнув всю информацию из файла в отдельный .txt.
Кирилл 🤤
Так как url'ок много в этом файле, мне нужно как-то ускорить процесс обработки. Тут вступают процессы...
Tishka17
Ну тут ещё вопрос, что тормозит - скачивание или обработка
Кирилл 🤤
Обработка. Чтение файла.
Кирилл 🤤
Мне нужно, чтобы каждый процесс асинхронно читал свой файл и перезаписывал инфу из него в текстовик.
Tishka17
Если тормозит чтение/запись файлов, тут cpu измерять бессмысленно
Кирилл 🤤
Тишка, мне сказал заказчик сделать так, я делаю, как-то так... 🙂
Tishka17
Все бы заказчика слушать по техническим вопросам
Tishka17
Ну процессы так процессы
Кирилл 🤤
Ну, я так понимаю, сделать shared memory на кастомный тип - это unreal?
Tishka17
В общем, я бы предложил мастер сделать, который будет урлы читать и класть в очередь
Tishka17
И пул процессов пусть из очереди читает
Tishka17
У тебя явно нагрузка не на список урлов идёт
Tishka17
Nikita
Ну и отделить воркеров, что ходят в сеть от воркеров, что строят модели документов
Nikita
Да запрофилировать
Tishka17
Более того, можно вообще взять pool.map(file, function)
Nikolay
https://github.com/hoffstadt/DearPyGui
Nikolay
убийца сами знаете кого
Tishka17
Кирилл 🤤
Nikolay
Андрей
Блин, как во фласке с алхимией можно извернуться, чтобы db не таскать везде по модулям с моделями?
Андрей
вот этого вот наследование от db.Model вообще криво как-то
Tishka17
Андрей
Tishka17
Или в чем проблема?
Андрей
https://github.com/pallets/flask-sqlalchemy#a-simple-example
я не хочу db по всем модулям таскать, где модели использую
Андрей
это криво как-то
Tishka17
Ну я и говорю, можешь юзать голую алхимию, а не этот плагин
Tishka17
Я в целом отказался от этой штуки, больнл сильно она к фласку привязана, а профита мало
Андрей
Tishka17
Tishka17
Base будет только в моделях и он ничего не знает о коннектах и прочем
Tishka17
А таскать ты будешь коннект
Tishka17
В целом ты можешь воспользоваться паттерном "репозиторий" и скрыть коннект в нем
Андрей
Но модель-то надо отнаследовать от результата declarative_base(), который точно также придется таскать
Андрей
Tishka17
Tishka17
Тебе какая разница от какого базового класса наследоваться? Встроенного в алхимию или своего?
Андрей
нет разницы
я просто не хочу таскать его везде)
Tishka17
Не везде
Tishka17
Только в моделях
Андрей
а где модели
Tishka17
У тебя будет
from .base import Base
class User(Base):..
И все
Alex
Андрей
Tishka17
Если у тебя модели в нескольких пакетах, вероятно у них и Base может быть свой
Андрей
да, но это вроде не проблема
Tishka17
я по сущностям группирую
Просто модели группируешь по модулям или прям "мини-приложения" со вьюхами и логикой делаешь?
Андрей
Tishka17
Ну тогда у каждого приложения свой бейз
Tishka17
И они связаны через какую-то более высокоровневую апишку чем связи в БД
Tishka17
Иначе от деления толку мало
Tishka17
Если у тебя все модели сильно связаны, то логично их и держать вместе
Tishka17
Если такой связи нету - делай на каждый набор свой бейз и свои миграции
Tishka17
И хоть вообще в разные БД клади
Андрей
А если они связаны между собой, то лучше их в пакете общем держать?