scrapy не хватает чтоли*
Хочется самому все написать
Petr
gigimon
Petr вам aiohttp пойдет, т.к. у вас основные тормоза это io сетевое, но вам правильно говорят, не делайте сразу 20к запросов, делайте по 10-20 в параллель (а лучше сделать бенчмарк вашего сетапа, проксей и т.п.). И старайтесь сразу прятаться (юзер агенты, прокси, разные интервалы на парсинг)
gigimon
Petr если вам aiohttp будет тяжел (все таки асинхронщина), то можно взять мульти трединг, очередь и requests
Petr
Да не в запросы ответы обработчики вроде вник
Petr
Nikolay
😂
Vladyslav 🇺🇦🇪🇺
Сорян за офтоп
Переезжаю в #Киев
#Ищу офис
#middle #python
Опыта полно
Умею многое
Сейчас на фрилансе.
Вот профиль - https://freelansim.ru/freelancers/codefather
Проекты есть.
Текущий в анкете на хабре.
Могу показать.
Дякую до гори сракою 🙋♂🙅♂🙆♂
Denis
Anonymous
/dev/manool
чуваки, а никто с инстой не работал? прилетели заказы на маски и вяские механики с ними, а я чет даже хз, где почитать
нет макбука - не берись
это делается в приложении Фейсбука для масок
Mike
нет макбука - не берись
это делается в приложении Фейсбука для масок
да я нашел уже, даже мак нашел. а что по одобрению беты? не знаешь, сколько времени одобряют обычно?
/dev/manool
/dev/manool
у меня нет мака((((
/dev/manool
а столько идей (((
/dev/manool
вот если бы подкинули биткоин на смену авы манула, манул сразу бы зажиииил
Nikolay
😂
Xottabb14
Опять Манул🤷♂️
Ivan
Парни, подскажите пожалуйста, у меня в игре, когда завершается раунд, на пользователя тратится на моем компе 0.3 sec(INSERT, пару SELECTs). БД SQLite. Меня базу или я просто говно написал и поэтому так долго?
Nikolay
2ое
Vladyslav 🇺🇦🇪🇺
Vladyslav 🇺🇦🇪🇺
Он как минимум умеет в асинхрон
Ivan
Да не, чтобы склайт не могла 100 записей в секунду — бред. Очевидно руки из жопы. У меня таблица 60к, происходит 3 селекта, 2 инсерта, занимает 0.3-0.4 с
Проставка индексов поможет в данном случае?
Vladyslav 🇺🇦🇪🇺
Хз
Vladyslav 🇺🇦🇪🇺
Меня такие вещи обычно не парят
Vladyslav 🇺🇦🇪🇺
Работает - не трогай
Ivan
У меня нагрузку бот не держит
Vladyslav 🇺🇦🇪🇺
Я думаю решение это асинхрон на питоне и замена на постгресс
Vladyslav 🇺🇦🇪🇺
Если у тебя бд узкое место
Ivan
До утра не успею, лол
Vladyslav 🇺🇦🇪🇺
Ну до утра вариантов не много
Vladyslav 🇺🇦🇪🇺
Либо
Vladyslav 🇺🇦🇪🇺
Если хочешь скорость - юзай редис
Vladyslav 🇺🇦🇪🇺
Как бд
Ivan
Да, подумываю, спасибо
Vladyslav 🇺🇦🇪🇺
Но имей ввижу
Vladyslav 🇺🇦🇪🇺
Упадет сервак - данные с бд слетают
Vladyslav 🇺🇦🇪🇺
Постоянные бекапы
Ivan
Окей, спасибо, Важное предупреждение :)
Vladyslav 🇺🇦🇪🇺
Редис это хранилище в оперативной памяти
Vladyslav 🇺🇦🇪🇺
Соответственно обнуление посое ребута
Ivan
Я не настолько отстал :D Но знаю об этом
Gio
Как написать правильны мултиплатформни Linux (Daemon) Windows (службы)
Gio
Есть здесь канал на Джанго ?
UglyKoyote
а поиск сломался? django в поиск, и минимум 1 канал есть
Tishka17
Как написать правильны мултиплатформни Linux (Daemon) Windows (службы)
Написать две запускалки
Tishka17
Есть какие-нибудь модули на примете ?
Эм. Ну для Линукса тупо юнит для systemd, а для винды гугли
Gio
а поиск сломался? django в поиск, и минимум 1 канал есть
В поиске 3000 результатов кто-нибудь использует канал Джанго?
Maria
привет
Gio
Эм. Ну для Линукса тупо юнит для systemd, а для винды гугли
Значит всё таки отделно делать? На винде есть win32service
Tishka17
В Линуксе демон - обычная прога, в винде - нет
Tishka17
Плюс в автозапуск они добавляются по разному
Tishka17
В целом конечно можешь через if else сделать проверку
Kop
Спасибо за ответ если есть ещё советы буду рад
Пиши на винде лучше в реестр и не забудь запросить права
Maria
привет, а что нужно знать, чтобы быть джуном в питоне, какие проекты делать?
Kop
привет, а что нужно знать, чтобы быть джуном в питоне, какие проекты делать?
Джун, человек понимающий синтаксис питона и алгоритмы, но человек не способный мыслить за пределами языка и реализации продукта в целом
Anonymous
Джун, человек понимающий синтаксис питона и алгоритмы, но человек не способный мыслить за пределами языка и реализации продукта в целом
бред, человек может знать несколько языков но в питоне быть джуном
Anonymous
алгоритмы джун?)
Anonymous
несовместимы
Tishka17
бред, человек может знать несколько языков но в питоне быть джуном
Это обычно очень быстро проходит
Kop
бред, человек может знать несколько языков но в питоне быть джуном
Джун это не только знание языков, это больше состояние души и опыт
Tishka17
Меня в прошлый раз взяли синьором без знания языка.
Kop
алгоритмы джун?)
Мы говорим видимо про разных джуниоров, в вашем понимание это вчерашний студент который кое как закончил вуз и может вывести принт и хочет 80 к.
Для компаний это человек знающий синтаксис и способный в алгоритмы, но сам задачу часто не решит, так как не способен увидеть всю картину. ( у всех компаний все по своему )
Kop
Меня в прошлый раз взяли синьором без знания языка.
У знакомой часто такое бывает, набила работы на Upwork и ее зовут тупо руководителем проектов
Kop
Мне вот интересно как становятся сеньорами за 1-2 года
Anonymous
ну джуну должны сейчас 80к платить
требуют то дохуя
Anonymous
это минимум
Kop
Так как вроде уже не джун, но в полной мере не дорос и нужно помочь
Anonymous
алгоритмы и паттерны это уже уровнем выше
Anonymous
ладно это холивар, бб
Kop
алгоритмы и паттерны это уже уровнем выше
Попробуйте походить по собеседованиям и убедиться что картинка в мире немного другая