Amber
Подскажите как выключить все логгеры кроме моего приложения
Андрей
Частенько бывает
Андрей
Отвисает сам по себе иногда Иногда приходится xkill делать
Андрей
В чем проблема так и не разобрался пока
Андрей
Такого не было
Андрей
У меня было на двух разных машинах, под убунтой 18.04 Пичарм просто фризится и ничего не сделать.
Андрей
Обе машины с нормальных железом
Андрей
Не знаю даже, что это Так что думаю не связано
elessar
есть строка представляющая дату
elessar
2020-06 к примеру
elessar
как мне получить две строки... начало и конец месяца
elessar
2020-06-01, 2020-06-30
Айван
String.split('-')[1] как вариант
vvzvlad
Есть строка вида "E2UP * watchdog\\00Boreas-0513440020[!!!] The Thermometer n", из которой надо вытащить "0513440020". Смещение может меняться. Внутри строки может быть все разнообразие ascii. Как мне вытащить номер, используя, например, pyparsing? Я так и не додумался, как там сделать пропуск любого количества любых символов перед номером.
Филипп Бедросович
2020-06-01, 2020-06-30
Есть в доке по библиотеке time как можно вытянуть только месяц, и т.д. и их можно соеденить так как вам надо
vvzvlad
Isdigit?)
что Isdigit? Сам номер это что-то вроде Word(srange("[0-9]"), exact=10), например. А как пропустить все ненужное?
decorator-factory
Что значит "ненужное"? Какие есть ограничение на этот номер и на не-номер?
decorator-factory
И что в строке может меняться?
vvzvlad
мусор+"Boreas-"+"{нужный номер}"+мусор
decorator-factory
Boreas-(\d+) 🤷🏻‍♂️
Anonymous
мусор+"Boreas-"+"{нужный номер}"+мусор
уже лучше нужный номер - фиксированное число символов?
vvzvlad
при чем тут пипарсинг? регуляркой вытаскивай есть общее какое-нибудь правило как такие строки формируются? ну или примеры
пипарсинг потому что он уже есть в проекте, и не хочется еще один тип логики парсера писать
vvzvlad
уже лучше нужный номер - фиксированное число символов?
да, 10 цифровых символов, перед ним всегда Boreas-
decorator-factory
Boreas-(\d{10})
decorator-factory
не знаю, зачем pyparsing
decorator-factory
а
Dastan
Какой линтер установить(выбрать) (лучший по вашему мнению) в вс коде?)))
decorator-factory
с каждой минутой вопрос становится всё лучше и лучше
decorator-factory
ну, у vscode тут, похоже, перемешаны линтеры, которые просто следят за стилем, и тайп-чекеры
Dastan
че такое еще не достотачно чтоли)?
Anonymous
как мне получить две строки... начало и конец месяца
In [1]: from datetime import date, timedelta ...: ...: def last_day_of_month(any_day: date) -> date: ...: next_month = any_day.replace(day=28) + timedelta(days=4) ...: return next_month - timedelta(days=next_month.day) ...: ...: def dt_pair(s: str) -> tuple: ...: y, m = s.split("-") ...: dt = date(int(y), int(m), 1) ...: d = last_day_of_month(dt) ...: return f"{dt}", f"{d}" ...: In [2]: dt_pair("2020-06") Out[2]: ('2020-06-01', '2020-06-30') In [3]: dt_pair("2019-02") Out[3]: ('2019-02-01', '2019-02-28')
Dastan
autopep8 --in-place --aggressive --aggressive <filename> а вот так же нужно использовать или есть шаблон полегче?
Dastan
просто показывает где ошибки
Kop
Здравствуйте уважаемые, нужен совет по оптимизации, объясните почему 1 работает медленее 2ого https://pastebin.com/WLttM8nd https://pastebin.com/0FvHVvxL
Kop
Прошу не бить тапками, так как код не мой и я рассматриваю сейчас варианты ускорения. Это pandas объект и мне непонятно, как процессы могут проигрывать в скорости последовательным операциям
Anonymous
Дело не в том, что 1 работает медленее 2ого дело в том, что не надо так писать код. Ни 1 ни 2.
Kop
а насколько большой объект-то?
2 миллиарда значений
Kop
тестилось на выборке 2 миллионов
Kop
на 2 ух миллионах занимает порядка 22 минут в первом случае и 20 во втором
Tigran
может, он копирует твой объект каждый раз 🤔
Kop
может, он копирует твой объект каждый раз 🤔
Так на самом деле и происходит, так как памяти очень много требовало, но не совсем понятно как засунуть его в процессы не передавая заново
Tigran
насколько я знаю, multiprocessing для передачи аргументов использет pickle
Kop
я обращаюсь через self к словарю
Tigran
ну и https://docs.python.org/3/library/multiprocessing.shared_memory.html
Tigran
я обращаюсь через self к словарю
так он у тебя, скорее всего, пиклит из-за этого и self, и всё содержимое
A🐊🇺🇦
на 2 ух миллионах занимает порядка 22 минут в первом случае и 20 во втором
Офтоп. Может в таком случае ещё вычисления на видеокарте делать?😅
Tigran
2 миллиарда значений стоит на хадупе делать, если уж на то пошло
Kop
Что такое хадуп?
штука для дата аналитиков
A🐊🇺🇦
Tigran
Что такое хадуп?
то есть про вычисления на видеокартах ты уже знаешь, а про хадуп ещё нет
Kop
2 миллиарда значений стоит на хадупе делать, если уж на то пошло
Но тут проблема в том, что надо данные видоизменить для аналитиков и выделить новые столбцы
Tigran
Ну у меня тоже так было)
салют, Егор) я это к тому, что это не то положение, в котором уже пора другим какие-то советы давать
Kop
теперь осталось выделить global в классе из аргумента
Kop
Потому что shared memory немного не про то
Kop
Есть ли еще варианты к моему случаю? Правильно ли я понимаю что вся проблема в итоге из-за постоянной передаче словаря, хотя он вроде как не должен передаваться?
Tigran
это гипотеза, которую стоит проверить первой
Anonymous
А я бы код переписал.
Kop
А я бы код переписал.
Чтобы что-то переписать, надо понять в чем фундаментальная ошибка, переписывать чужой проект нет желания
Kop
Сейчас стоит задача разобраться, почему процессы проиграли старому коду
Anonymous
Этот чужой проект он опенсорсный или закрытый? Данные в публичном доступе или закрытые? Воспроизвести как-то можно или надо угадывать?
Kop
это гипотеза, которую стоит проверить первой
Не в этом дело class CClass: ddd = {'asd': 123, '123': 'grtrg'} def __init__(self): pass def some_func(kkk): print(f'kkk is {id(kkk)}') s = CClass() print(f'ddd is {id(s.ddd)}') some_func(s.ddd) ddd is 2163452607360 kkk is 2163452607360