Tishka17
В кредсах наверное ничего важного, АПИ ключ и всё
А за счёт чего мы гарантируем, что никакой лишний код при этом не будет выполнен?
Maxim
Эм. Обычный дженерик, не?
Обычный — это который class Test(Generic[T])? Если да, то я изначально интересовался, можно ли узнать тип после инита класса.
Tishka17
Обычный — это который class Test(Generic[T])? Если да, то я изначально интересовался, можно ли узнать тип после инита класса.
Так а зачем узнать тип после инита? Пример плиз. Одно дело валидировать в mypy, другое - юзать в рантайме
Blurry Biose
Переменные окружения сейчас канон.
Чел!!! Мне нужно реюзнуть их после перезапуска проги
Tishka17
Я просто знаю что ты любитель хейтить пикл
Конечно. И у меня есть причины. В отличие от вас, любителей его юзать
Bad Man
Чел!!! Мне нужно реюзнуть их после перезапуска проги
Ну так? Ты знаешь что их не в программе задают? Читал доку?
Tishka17
Чел!!! Мне нужно реюзнуть их после перезапуска проги
Задай в конфиге/переменных окружения и реюзай в проге сколько хочешь
Blurry Biose
Вы не поняли
Tishka17
Видимо, нет
Bad Man
Вы не поняли
Давай нам пример. Проще будет разговор идти
Maxim
Так а зачем узнать тип после инита? Пример плиз. Одно дело валидировать в mypy, другое - юзать в рантайме
Просто копаюсь в питонячем тайпинге, интересно, хранятся ли аннотации и всё около этого в рантайме
Blurry Biose
У меня есть мои ключи АПИ от приложения, я их использую чтобы получить у юзера разрешение. После получения разрешения у меня уже креденшиалс для конкретного юзера, их и надо сохранить
doctor
а декораторы это что в питоне? Я че-то не догнал. Во фласке есть @app.route - по логике это значит,что если маршрут определен, то вызовется соответствующая функция
Tishka17
Просто копаюсь в питонячем тайпинге, интересно, хранятся ли аннотации и всё около этого в рантайме
Хранятся. Но ты показываешь не аннотацию, а базовый класс, для него по идее есть механизм TypeErasure
memchik
Такая ошибка:вызываю saveWallPhoto,приходит {'id': 457258810, 'album_id': -14, 'owner_id': *, 'sizes... Где * это айдишник моей страницы,хотя должен выводить айдишник группы,в чем проблема? Библиотека vk
Blurry Biose
Ах ты во как. Обычно бд используют
Даже если креденшиалс хранятся у самого юзера, а приложение юзает то, что лежит у него?
Tishka17
Просто копаюсь в питонячем тайпинге, интересно, хранятся ли аннотации и всё около этого в рантайме
Вот пример как можно юзать аннотации в рантайме: https://github.com/Tishka17/dataclass_factory Пул реквесты принимаются
Tishka17
Просто копаюсь в питонячем тайпинге, интересно, хранятся ли аннотации и всё около этого в рантайме
https://habr.com/ru/company/lamoda/blog/435988/ Вот тут я немного про аннотации в рантайме писал
Maxim
Большое спасибо :)
doctor
а что скажите по поводу pyqt и wpf? Вроде,слышал,шарп сейчас лидер в десктопе
Tishka17
На Линуксе я все ещё его не признаю
Blurry Biose
Конечно. И у меня есть причины. В отличие от вас, любителей его юзать
О, там есть джейсонизация, кайф, никаких пиклов
Blurry Biose
У объекта креденшиалс
Bad Man
Даже если креденшиалс хранятся у самого юзера, а приложение юзает то, что лежит у него?
В принципе хоть в пикл, хоть в файл. Главное его зашифровать
Tishka17
А в твоей либе есть какие либо преимущества над pydantic’ом?
Есть: 1. Не нужны плагины для mypy 2. Можно юзать стандартный dataclass 3. Чуточку шустрее по моим тестам 4. structure flatten + name style (см доку)
Bad Man
Будет кейринг тогда
Кстати есть ещё shelve, но данные всё равно нужно шифровать вручную
Blurry Biose
В принципе хоть в пикл, хоть в файл. Главное его зашифровать
Как же не хватает человеческих контейнеров в линуксе
Blurry Biose
(общепринятых)
Bad Man
Тот же пикл, только в профиль
Ну не соглащусь. pickle - сериализация, shelve - постоянное хранилище
Blurry Biose
pickle man bad
Blurry Biose
Шелв юзает пикл
Что скажешь про пандасовский ТУ_ПИКЛ?
doctor
А фласк такой быстрый что ли? При запуске asp net mvc сайта несколько минут жду,пока запуститься. А тут вообще сразу
Blurry Biose
https://www.deepcode.ai/
Bad Man
А фласк такой быстрый что ли? При запуске asp net mvc сайта несколько минут жду,пока запуститься. А тут вообще сразу
C# компилируемый язык, Python интерпретируемый. asp mvc проект нужно компилить. В проде, ты разницы между приложениеми на asp mvc и flask не заметишь
doctor
Давно с .net знаком?
я толком не знаком. Я в принципе ток с языком знаком - c#, ток синтаксис знаю на опр.уровне ,а в проектах я не оч. Ток на питоне скрипты какие-то мелкие пишу или программы мелкие. Вот захотелось вебом чё-то заняться
Vic
Задачка из универа на эффективный парсинг ооочень большого лога - Есть лог, он большой - формат данных такой: IP_адрес - - дата_время_TZ запрос код_ответа размер_ответа(байт) referrer User_Agent время_обработки - Нужно считать много статистики исходя из лога — самый частый IP, самый быстрый запрос и т.д. - Вопрос как всё это хранить, если в память лог загружать нельзя - Нет, про regexp я слышал, конечно, но всё равно не понимаю как это сделать эффективно, если нужно считать статистику от уже пропаршенных данных
Vic
а, окей, я могу незагружая в память целиком прочитать построчно: i = 0 while i < 500000: line = FILE.readline() if line == "": # Cuts off if end of file reached break m = re.search('key=([^&]*)', line) count_words[m.group(1)]+=1 i += 1 Как-то так наверное... но будет ли это достаточно эффективно? Но ведь я не знаю сколько строк лог, получается его придётся делить таким образом?
Ivan
Можно проще: with open('file') as f: for line in f: do_things
Vic
Можно проще: with open('file') as f: for line in f: do_things
А это не загрузит его в память?
Ivan
Нет
Ivan
Можно ещё заранее скомпилить регулярку через re.compile() чтобы быстрее искать
Ivan
Если там лог, который пробелами разделён, то проще будет через line.split() разделить столбцы
Vic
Что можно использовать по заданию для решения этой задачи и насколько большой лог?
29гб лог (который типо для примера, но я думаю для тестов меньше исп), можно использовать только стандартный Python
yakimka
29гб лог (который типо для примера, но я думаю для тестов меньше исп), можно использовать только стандартный Python
Тогда я бы взял clickhouse, данные засунул бы в эту БД, а потом уже можно считать, агрегировать как душа пожелает.
yakimka
29гб лог (который типо для примера, но я думаю для тестов меньше исп), можно использовать только стандартный Python
А, использовать стандартный Пайтон. Только его, ни баз данных ничего такого нельзя?
yakimka
Ну тогда как советовали выше
doctor
Походу,функционала фласка мне мало. Там на всё библиотеки нужны. Ну начинать ли с джангом ,если ничего не смыслю в вебе? Тут ещё такая фигня - что я в программировании только с синтаксисами языков знаков и алгоритмами,немного общей теории,как они устроны. Но тот же фласк и джанго я в VS создаю,там уже всё настроено для работы и вообще с любыми проектами только так делал
Anonymous
Вопрос про pythonpath. В python path должен лежать путь к папке python 3.7. Он у меня по команде which python или это может быть любая папка в системе? И как у вас устроено окружение?
Dmitry
Задачка из универа на эффективный парсинг ооочень большого лога - Есть лог, он большой - формат данных такой: IP_адрес - - дата_время_TZ запрос код_ответа размер_ответа(байт) referrer User_Agent время_обработки - Нужно считать много статистики исходя из лога — самый частый IP, самый быстрый запрос и т.д. - Вопрос как всё это хранить, если в память лог загружать нельзя - Нет, про regexp я слышал, конечно, но всё равно не понимаю как это сделать эффективно, если нужно считать статистику от уже пропаршенных данных
критерии эффективности могут быть очень разные - тяп ляп готово - легко читать/менять - быстро и не жрет память логи обычно построчно пишутся — одна запись/одна строка, читай через file.readline() в очередь, и пачка воркеров с парсером и анализатором если нужно терабайты ворочать, возможно использовать Си расширения, написанные с использованием http://www.colm.net/open-source/ragel/ если надо легко поддерживать, использование PLY дает хорошо читаемый код на Питоне (наборы правил лексера и парсера)
Алексей
как из async_generator сделать обычный list ?
Bogdan (SirEdvin)
[x async for x in async_generator]?
Алексей
[x async for x in async_generator]?
спасибо, работает
Shell
Телеграмм бот если долгое не посылать ему сообщения выдает ошибку 504(timeout), как пофиксить?
Игорь
подробнее надо
Shell
Нет