Anonymous
Ему json похоже приходит
Marsel
А нельзя в json писать массив, а не строки с дампом питоновского списка?
Можно:) Новые данные уже записываются нормально Вот старые хочу распарсить
👑OGURCHIK🖤
Вполне возможно, что юрлиба на питоне все разбивает, а этих сайтов там очень много
🤔есть либа в которой уже все сделано и предусмотрено. Зачем вам что то свое колесо строить?
Oleg
Какой смысл тогда добавлять в pypy3 в принципе поддержку pandas?
О какой именно поддержке идет речь? Через эмуляцию cpython c api?
Pavel
Можно:) Новые данные уже записываются нормально Вот старые хочу распарсить
Тогда тебе лучше пихать это в eval(), надеясь, что тебе не подсунули свинью и распарсить урлы с помощью urllib
Евгений
О какой именно поддержке идет речь? Через эмуляцию cpython c api?
list of compatibility c офф сайта pypy http://packages.pypy.org/ Там есть pandas. Если честно, не знаю как именно он должен ускорить pandas.
Anonymous
Распарсить урлы... Как звучит то...
👑OGURCHIK🖤
🤔а надо всего-то домен вытащить из юрл
Oleg
list of compatibility c офф сайта pypy http://packages.pypy.org/ Там есть pandas. Если честно, не знаю как именно он должен ускорить pandas.
Сам pandas он не ускорит. Если у тебя почти все нагузка в pandas, то ожидать какого-то буста от pypy странно
Евгений
Сам pandas он не ускорит. Если у тебя почти все нагузка в pandas, то ожидать какого-то буста от pypy странно
Ну основная часть нагрузки это как раз циклы, в которых просто создаются срезы основных датафреймов. Поэтому и подумал, что он должен ускорить. Видимо, мне поможет только асинхронность.
Pavel
Спасибо!
Хотя, да, можно список этот просто json запихать, зачем тебе eval() небезопасный
Tishka17
Спасибо!
попроси разработчиков в поле писать json.dumps(somelist) а не str(somelist)
Pavel
а откуда гарантии, что это сработает?
А что может помешать? Если эти строки писали доверенные лица, то всяких бобм там не должно быть. ДА и я уже предложил абсолютно безопасный вариант
Tishka17
Pavel
попроси разработчиков в поле писать json.dumps(somelist) а не str(somelist)
Сказали же, что надо старые логи распарсить, а с новыми уже все ок
Tishka17
а. ок
Pavel
я не уверен но вроде str(obj) даже не пытается гарантировать, что результат будет машинно читаемый
Списки строк будут эквивалетны питоновскому коду. Там же нет других объектов или рекурсивных ссылок на списки
Tishka17
наверно, хз
Yegor
Что на этот вопрос могут ответить профессионалы? Питоны стандартными модулями умеют считать: дата + РАБОЧИХ дней? всмысле дни кроме сб, вс
Евгений
Ну так в теле цикла у тебя используется pandas. Про асинхронность вообще не понял. Причем она здесь?
Просто разобью все итерации цикла на части равному количеству ядер в процессоре и запущу асинхронно. Получу ускорение скрипта. Еще интересная вещь, нашел либу для ускорения pandas - modin. Она тоже только замедляет скрипт. В общем, поэтому и остается только асинхронность.
Yegor
Читал доку по datetime?
нед, там буквы не русские
Pavel
нед, там буквы не русские
Либо datetime тебе поможет сделать это, либо из стандартных бибилиотек ничего ен поможет
Yegor
а если у кого-то график работы 2 через 2
нет, а если не бывает не может быть. Надо постчитать количество дней без сб, вс
Tishka17
нет, а если не бывает не может быть. Надо постчитать количество дней без сб, вс
хорошо, у нас в Башкирии есть выходной на Ураза байрам
Tishka17
а в москве - нет
Tishka17
что делать?
Pavel
нет, а если не бывает не может быть. Надо постчитать количество дней без сб, вс
А что сложного подсчитать кол-во полных недель, умножить на 5, а потом обработать последнюю неделю?
Tishka17
угу
Tishka17
и они каждый год в разные дни вроде
Евгений
Что на этот вопрос могут ответить профессионалы? Питоны стандартными модулями умеют считать: дата + РАБОЧИХ дней? всмысле дни кроме сб, вс
Ты можешь написать функцию, которая будет принимать на вход дату, а возвращать bool в зависимости от того сб, вс это или нет. Дальше просто ставь проверку и считай
Pavel
Чего???
В неделе 5 рабочих дней (если забыть про праздники), поэтому на 5 умножить надо количество недель
Oleg
и они каждый год в разные дни вроде
нужен актуальный производственный календарь, т.к. праздничные дни отличаются от года к году и четкого алгоритма как это происходит, по-моему, нет
Pavel
Посчитай 01.11.2019 + 4 рабочих дня
В каком формате тебе ответ нужен?
Tishka17
Yegor
Товарищи, мне не нужны праздники и другие возможные приколы. Мне просто надо чтоб питон не считал сб и вс
Oleg
ага, и от местности
я не уверен, что местные празники имеют юридическую силу
Tishka17
у нас федерация же
Евгений
Моя первая программа была на вход которой даешь дату, она возвращает день недели, так что пиши функцию проверки
Pavel
Посчитай 01.11.2019 + 4 рабочих дня
Это задача совершенно отличается от исходного вопроса
Yegor
я не уверен, что местные празники имеют юридическую силу
имеют. Допустим у нас на заводе день машиностроителя - праздник и в этот день - выходной
Ser
я не уверен, что местные празники имеют юридическую силу
30 августа выходной день в татарстане например, а еще есть курбан байрам который там тоже выходной в отличие от
Tishka17
то нужны рабочие дни, то не надо считать субботу и воскресенье, но щас выяснится что над опо дискордианскому календарю считать
Oleg
имеют
т.е. если у меня будет договор, в котором будет указано, например, 10 рабочих дней, то для определения календарных дней будет использоваться не государственный производственный календарь, а какой-то местный?
Tishka17
в том числе местные
Tishka17
но не выходные на заводе
Yegor
Конкретизирую, Нужно считать дату + дни кроме дней которые сб и вс
Yegor
зачем?
Чтоб самому по календарику не высчитывать
Tishka17
Чтоб самому по календарику не высчитывать
зачем тебе такое высчитывать без учета праздников?
👑OGURCHIK🖤
Мб только чекать по дате день недели и отнимать от всех дней
Ser
Конкретизирую, Нужно считать дату + дни кроме дней которые сб и вс
берешь дату потом date.weekday() или date.isoweekday(), если не 5/6 или 6/7 то + счетчик и так далее пока период не кончится