tfhx8
у фиббоначи постоянные значения будут
Tishka17
да, у меня просто равномерно размазанные числа
Tishka17
ты же просил "как можно дальше друг от друга"
Tishka17
это достижимо только если равномерно распределить
tfhx8
да, у меня просто равномерно размазанные числа
нормально, только чет такое не сработало
tfhx8
def parts(sum, count): dn = (count+1)*count//2 d = sum//dn for i in range(1, count): yield d*i
Kop
Добрый вечер можете подсказать как подобную конструкцию обернуть в асинк, хотя по логике лучше в мультипроцессорность. data["type"] = None data['upgrade'] = None position = 0 for i, j in data[['event_dict', 'action']].values: data.at[position, "type"] = extract_type(i, j) data.at[position, "upgrade"] = extract_upgrade(i, j) position+=1
Kop
Думаю в процессы запихнуть, но делать это каждый раз не муторно ли
Андрей
Мультипроц и асинк для разных задач так-то
Kop
В асинке скорее всего не даст ничего, какие данные у тебя скажи
pandas дикт из миллиарда значений для преобразования
Kop
кажется придумал как решить. Создать отдельный процесс на каждую итерацию, для всех))
а хто
Можешь использовать Pool.map/Pool.starmap из multiprocessing
Андрей
@Tishka17
а хто
кажется придумал как решить. Создать отдельный процесс на каждую итерацию, для всех))
Только учти, что много процессов твой компуктер не выдержать может
а хто
Ну да, юзай пул
а хто
Ты просто так написал, как будто хочешь просто процессов наплодить
Kop
Ты просто так написал, как будто хочешь просто процессов наплодить
Я хочу запихнуть процессы внутри цикла для каждой функции. Я скинул искуственный пример, на деле там 40 функций
Kop
и хотелось бы за итерацию ждать не последовательно, а чтобы все вместе выполнялись или хоть несколько сразу
Kop
@Tishka17 выручишь по процессам?
Tishka17
Вряд ди
Kop
Вряд ди
Тут вопрос больше из серии. Одна итерация и запуск общего процесса на нее или же итерация и запуск процесса под каждую функцию
Kop
но значения то нужно сохранять в общий массив данных
Nikolay Markov
Тебе поможет векторизация, а не процессы
Kop
Если это пандас, то проблема не в асинке/процессах, а в том, что в пандасе нет смысла вообще использовать циклы, за редким исключением
Этот тот случай, когда цикл лучше. Изначально было 45 apply, которые применялись к одним и тем же выборкам данных. Просто функции были разные и результат сохранялся в другие поля
Nikolay Markov
Ищи способ переписать ту же логику векторно, это и будет правильным решением
Kop
Цикл практически никогда не лучше. Более того, apply - это тоже цикл
Тогда у меня вопрос к вам. Как подобное заменить? data['type'] = data[['event_dict', 'action']].apply( lambda row: extract_type(row['event_dict'], row['action']), axis=1) data['upgrade'] = data[['event_dict', 'action']].apply( lambda row: extract_upgrade(row['event_dict'], row['action']), axis=1) data['boosters'] = data[['event_dict', 'action']].apply( lambda row: extract_boosters(row['event_dict'], row['action']), axis=1) data['attemp'] = data[['event_dict', 'action']].apply( lambda row: extract_attemp(row['event_dict'], row['action']), axis=1)
Kop
Если не цикл, то сомневаюсь
Nikolay Markov
Конечно, не цикл. Если при работе с пандасом используется цикл - то это явный признак того, что что-то делается не так
Nikolay Markov
Попробуй мыслить в терминах векторов, а не перебора строк. То есть применяй функцию сразу к вектору целиком
Kop
Конечно, не цикл. Если при работе с пандасом используется цикл - то это явный признак того, что что-то делается не так
Тогда что? Я вам скинул пример того, что было раньше и на что я это заменил. Я не вижу других решений, в связи с тем, что с пандас до этого не работал
Kop
См выше
Я бы попросил вас мини пример того, о чем вы говорите, потому что не совсем понимаю, как векторизация решит проблему переиспользования одних и тех же данных
Nikolay Markov
Примерно в этом идея
Kop
У тебя должно быть не data['foo'] = data[...].apply(lambda r: extract_foo(...)), а data['foo'] = extract_foo(col1, col2)
data["type"] = None data['upgrade'] = None position = 0 for i, j in data[['event_dict', 'action']].values: data.at[position, "type"] = extract_type(i, j) data.at[position, "upgrade"] = extract_upgrade(i, j) position+=1
Kop
Вот пример
Kop
Без цикла по values
миллиард значений и 42-46 функций которые применяются к выборкам
Kop
Без цикла по values
Вы ведете к тому, что сгенерьте сразу и потом сохраните
Nikolay Markov
Вы ведете к тому, что сгенерьте сразу и потом сохраните
Я веду к тому, что даже генерация временных дополнительных колонок лучше, чем цикл по рядам, в ста процентах случаев
Kop
Но проблема в том, что выборка всегда идет по data[['event_dict', 'action']] и постоянный рееинит не даст скорости и будет медленее чем тот же цикл
Nikolay Markov
Просто с телефона неудобно писать очень подробно, сорри
Sadness
можно передавать в кеш промежуточный результат и работать с ним
Kop
Векторизация всегда будет быстрее цикла
Есть синтетический пример, возможно на нем показать? я явно недопонимаю. Могу докинуть деталей
Kirill
Ребят, уже долго ищу, у кого есть готовые коды на питоне для создание телеграм бота, чтобы я смог отредактировать код под себя. Могу заплатить за помощь
Denis
У меня есть
Sadness
ещё можно 46 функций на миллиард значений дёргать заранее определив границы кеша через range того что ты дёргаешь через соглашение с переменной. например можно попробовать опредиться через range уникального индентификатора в вборке или в выборках. что то в духе: op_time = car_number(df_n) # формирование длинны кеша for _ in range(op_time): table,vision,one = call(one,df_n,warp)
Sadness
Мы вернулись к тем же циклам
хочешь без циклов - пиши векторы через мультииндекс
Владислав
Программисты здравствуйте
Владислав
Хочу стать как вы
Kop
хочешь без циклов - пиши векторы через мультииндекс
Так я ж и говорю, что здесь циклы и выходят в любом случае. Я веду к тому, что здесь создание процессов может ускорить вроде как
Sadness
но я сразу говорю чт ов скалярных задачах заранее определённый кеш решает по производительности
Владислав
Шо мне делать для начала?
Denis
Хочу стать как вы
Зачем тебе это? В мире столько нормальных профессий
Anonymous
Хочу стать как вы
зачем? цель есть?
Sadness
в половине случаев можно генерить мультииндекс фукнцией поверх основной выборки и дёргать явно влоб по нему.
Владислав
Зачем тебе это? В мире столько нормальных профессий
Мне это очень интересно В первую очередь А второе Это будущее как есть
Kop
не в любом.
То ли лыже не едут, то ли я долбо.... 46 функций применяются для одной и той же выборки и сохраняются в новые созданные columns. Что здесь кроме циклов и прцоессов юзать, как кэш поможет в этом?
Владислав
зачем? цель есть?
Цель Понять как это все работает Первое что привлекло это беспилотники такси Яндекса Читал что они писаны на Питоне И по считал что это мощно
Sadness
То ли лыже не едут, то ли я долбо.... 46 функций применяются для одной и той же выборки и сохраняются в новые созданные columns. Что здесь кроме циклов и прцоессов юзать, как кэш поможет в этом?
ты долбоёб. у меня 15К строк функций в отношении одной входящей выборки. тебе русским языком говорят либо мультиндекс там где он возможен влоб, либо циклы. что непонятно?
Владислав
Т.е лучше начать с литры чем с ютуба? Правильно ?
Mudrblй
Как у вас с математикой, уважаемый?
Kotikstar
Есть юристы?
Андрей
Ого, какие люди
Anonymous
Цель Понять как это все работает Первое что привлекло это беспилотники такси Яндекса Читал что они писаны на Питоне И по считал что это мощно
ну смотри во-первых есть еще группа для начинающих по питону https://t.me/ru_python_beginners там в закрепе есть инфа для этих самых начинающих https://github.com/ru-python-beginners/faq/blob/master/README.md беспилотники ездят не на прогах написанных на питоне, а весь современный искуственный интеллект машинное обучение и обработка данных проще пишутся на питоне, да но для работы с этими вещами надо хорошо знать математику матанализ, линейная алгебра, теорвер, статистика это как бы обязательная программа для таких вещей
Sadness
и комбинаторику. а ещё миру нужна новая более объекто ориентированна либа, которая позволит работать с нессимитричными матрицами в кеше хоты бы в рамках перехвата исключений
Anonymous
и комбинаторику. а ещё миру нужна новая более объекто ориентированна либа, которая позволит работать с нессимитричными матрицами в кеше хоты бы в рамках перехвата исключений
комбинаторика идет как начала теорвера обычно (если в школе не проходил) про матрицы в кеше это что-то очень специфичное и у тебя есть прекрасная возможность порадовать мир новой либой!