всем привет. Есть файл excel, в нем 5 миллионов строк, нужно посчитать среднее значение. Pandas считает очень долго. Как решить лучше вопрос?

вопрос нуба: а выгрузить из excel в БД не вариант?

вопрос нуба: а выгрузить из excel в БД не вариант?

можно

А чем бд поможет в арифметике?

всем привет. Есть файл excel, в нем 5 миллионов строк, нужно посчитать среднее значение. Pandas считает очень долго. Как решить лучше вопрос?

Посчитать в самом экселе

Посчитать в самом экселе

удачи

удачи

мне не надо, но считал бы я именно так

А чем бд поможет в арифметике?

в арифметике - ничем. но может хоть работать с БД будет быстрее, чем с excel

мне не надо, но считал бы я именно так

в проблема в том ,что компьютер даже открыть файл такого объема не может

в проблема в том ,что компьютер даже открыть файл такого объема не может

это калькулятор, смени его нахрен

в проблема в том ,что компьютер даже открыть файл такого объема не может

3млн строк? Сделай уже csv.

в проблема в том ,что компьютер даже открыть файл такого объема не может

можно выгрузить только определенные столбцы, по-простому

3млн строк? Сделай уже csv.

это и так csv

это и так csv

Тогда попробуй загрузить все же не через пандас

это и так csv

внезапно выясняется что никакого отношения к экселю файл не имеет

и к питону и к пандасу. проблема в производительности и скорости чтения

Хз как там пандас грузит, но csv на несколько миллионов строк, это от силы сотни три метров. Не?

и к питону и к пандасу. проблема в производительности и скорости чтения

Все же попробуй без пандаса загрузить. Должен в память влезть

Если не влезает - понятно где проблема

Свап медленный

это и так csv

понял?

создай tmpfs положи файлик туда

На самом деле значения не имеет в данном случае csv это или xlsx.

Да просто блин через csv загрузить, ну

и в том и в том случае долго очень

И сравнить

На самом деле значения не имеет в данном случае csv это или xlsx.

Тебе просто поболтать или хоть что-то попробуешь?

и в том и в том случае долго очень

задача какая? это разовая процедура?

да

Нет, как то тупит на моменте смены файлов. Если работать с множеством маленьких - ждать приходится пару секунд чтобы сменить файл.

Если что, то никогда не стоит хранить код на гуглдиске. Для этого есть гит.

Если что, то никогда не стоит хранить код на гуглдиске. Для этого есть гит.

Ахахпхпх, нет Там картинки + видео, или по русски мэмы

Ахахпхпх, нет Там картинки + видео, или по русски мэмы

?

Норм тогда

да

тогда пробуй что угодно и жди. всмысле когда прочитается

Если разовая, то долго - больше суток

Если меньше - смысла оптимизировать (если нет очевидных косяков) нет

Всем привет! Мы команда разработчиков из Сибири. Нам надоели сложные медленные неповоротливые сервисы для проектирования и рисования схем типа draw_io, lucidcharts, glyphy и им подобные. Поэтому мы решили разработать сервис диаграмм для разработчиков. Сейчас мы разбираемся с тем насколько эта идея интересна, и какого именно функционала не хватает в существующих инструментах. У нас есть небольшой опрос. Мне кажется, вам такой инструмент был бы полезен, и если вы примете участие в опросе то сможете повлиять напрямую на наш продукт. Опрос не займет более 5 минут! Но эти 5 минут, возможно, в будущем сэкономят вам гораздо больше! https://docs.google.com/forms/d/e/1FAIpQLSfG2Q1bkCTeetprp5Fq8aFE6YtsiSwCKh6v2p1iQxP_jZpilw/viewform?usp=sf_link

о, теперь знаю полезные удобности. а то кроме plantuml ничего не трогал ?

Я именно на plantuml и сижу

Главное преимущество: можно исходники диаграмм нормально мерджить

Всем привет! Мы команда разработчиков из Сибири. Нам надоели сложные медленные неповоротливые сервисы для проектирования и рисования схем типа draw_io, lucidcharts, glyphy и им подобные. Поэтому мы решили разработать сервис диаграмм для разработчиков. Сейчас мы разбираемся с тем насколько эта идея интересна, и какого именно функционала не хватает в существующих инструментах. У нас есть небольшой опрос. Мне кажется, вам такой инструмент был бы полезен, и если вы примете участие в опросе то сможете повлиять напрямую на наш продукт. Опрос не займет более 5 минут! Но эти 5 минут, возможно, в будущем сэкономят вам гораздо больше! https://docs.google.com/forms/d/e/1FAIpQLSfG2Q1bkCTeetprp5Fq8aFE6YtsiSwCKh6v2p1iQxP_jZpilw/viewform?usp=sf_link

переборщили с градацией оценки. сделайте да - нет - не знаю

переборщили с градацией оценки. сделайте да - нет - не знаю

Спасибо учтем.

Спасибо учтем.

добавьте пункт с перечисленными продуктами, и успользуют ли их. и какой чаще и какой удобнее.

добавьте пункт с перечисленными продуктами, и успользуют ли их. и какой чаще и какой удобнее.

Отличная мысль! Благодарю.

А реально, кто как решает вопрос версионирования диаграмм?

Как вы диффы, например смотрите?

Можно хранить диаграммы текстом

Ну это как раз plantuml

Других таких не знаю

Есть кто юзает пирамиду с 3 питоном?

Всем привет. Необходимо собрать все из for, затем собрать все в одну переменную. В php делается это через .= А вот в питоне не получается, пробовал с += - выдает только последнее

Всем привет. Необходимо собрать все из for, затем собрать все в одну переменную. В php делается это через .= А вот в питоне не получается, пробовал с += - выдает только последнее

Что, все?

Покажи код

+= абсолютно такой же как в си

Ладно не такой же. В питоне + может работать со строками

for row in userlist: userlistfrom ='' userlistfrom += str(row[4]) print(userlistfrom)

вне цикла объяви переменную

он вне, это скопировалось так

userlistfrom = ''.join(str(row[4]) for row in userlist) print(userlistfrom)

for row in userlist: userlistfrom ='' userlistfrom += str(row[4]) print(userlistfrom)

У тебя внутри цикла каждый раз переменная обнуляется

На каждой итерации

Вынеси переменную за тело цикла

Собственно на пхп так же работало бы

спасибо вам огромное!)

за что вы так в питоне со строками? += худший наверно способ

за что вы так в питоне со строками? += худший наверно способ

Почему?

Какой же лучше?

он же каждый раз новую строку создаёт

Нет

там выше джойн предложили

Не создаёт

за что вы так в питоне со строками? += худший наверно способ

Смотря с какой точки зрения

он же каждый раз новую строку создаёт

Сто лет как не создаёт

Сто лет как не создаёт

ВНЕЗАПНО

Не создаёт

это же вроди как только Cpython так, оригинальный, а всякие pypy и жпитоны могу и создавать?

ВНЕЗАПНО

Ага. Это вам не джава

/me ушёл курить чейнджлоги

это же вроди как только Cpython так, оригинальный, а всякие pypy и жпитоны могу и создавать?

Могут создавать и при джойне

/me ушёл курить чейнджлоги

Где-то в 2.6 что ли. Обсуждали в чате

Ага. Это вам не джава

Ибо юзайти стринг билдер

Где-то в 2.6 что ли. Обсуждали в чате

тут ~2+к сообщений в день, легко пропустить :)

Всем привет! Мы команда разработчиков из Сибири. Нам надоели сложные медленные неповоротливые сервисы для проектирования и рисования схем типа draw_io, lucidcharts, glyphy и им подобные. Поэтому мы решили разработать сервис диаграмм для разработчиков. Сейчас мы разбираемся с тем насколько эта идея интересна, и какого именно функционала не хватает в существующих инструментах. У нас есть небольшой опрос. Мне кажется, вам такой инструмент был бы полезен, и если вы примете участие в опросе то сможете повлиять напрямую на наш продукт. Опрос не займет более 5 минут! Но эти 5 минут, возможно, в будущем сэкономят вам гораздо больше! https://docs.google.com/forms/d/e/1FAIpQLSfG2Q1bkCTeetprp5Fq8aFE6YtsiSwCKh6v2p1iQxP_jZpilw/viewform?usp=sf_link

как в том комиксе. — Есть 8 разных интсрументов. — Какой ужас нам срочно нужно сделать один который будет лучше них всех. — Есть 9 разных инструментов.

с какой-то версии еще 2.x конкатенацию строк очень сильно оптимизировали

я это уже очень давно читал. вот что быстро нагуглилось на этот счет http://blog.mclemon.io/python-efficient-string-concatenation-in-python-2016-edition

эта оптимизация работает, если ты промежуточное состояние строки нигде не используешь. условие ресайза строки - количество ссылок на нее равное 2 (1 твой объект и еще +1 во время += создается)

как в том комиксе. — Есть 8 разных интсрументов. — Какой ужас нам срочно нужно сделать один который будет лучше них всех. — Есть 9 разных инструментов.

Прекрасно что имеете мнение на этот счёт xD