
Alex
30.06.2017
08:46:33
привет народ
не одскажите как посчитать сколько оперативной памяти использует словарь словарей, например с миллионом словарей?
т.е. включая содержимой словарей)

Zart
30.06.2017
08:47:09
с превеликим трудом

Eugine
30.06.2017
08:49:09

Alex
30.06.2017
08:56:54
Гуглить пытался?
да, нашел функцию getsizeof, но результат одинаковый несмотря на то что содержимое разное
число 99999999999999999999.9 и 1 очевидно занимают разное количество памяти
import sys
size1 = 0
size2 = 0
s1= {}
s2= {}
s11 = {}
s22 = {}
for i in xrange(10**6):
s1[i] = 1
s2[i] = 99999999999999999999.9
for j in xrange(10**6):
s11[j] = s1
s22[j] = s2
size1 += sys.getsizeof(s1)
size2 += sys.getsizeof(s2)
print size1
print size2

Google

Eugine
30.06.2017
08:57:50
может ты попытаешься еще немного? например почитать чем занимается sys.getsizeof

Zart
30.06.2017
09:01:41
гетсайзоф считает лишь размер указанного PyObject
т.е. не будет считать содержимое контейнерных классов
там тяжко всё изза референсов
главное не пытаться считать в лоб

Alex
30.06.2017
09:18:09
а как же тогда считать? искать ссылки внутри словаря и смотреть их размер?
хотелось бы знать инструмент который даст понять что памяти осталось мало и нужно срочно записать то что есть в докмент, а потом продолжить обработку

Eugine
30.06.2017
09:21:05
да погугли ты уже
почитай стековерфлоу

Alex
30.06.2017
09:22:05
да погугли ты уже
ну че я не гуглил чтоли, я б не стал тревожить сообщество если бы все понял)

Eugine
30.06.2017
09:22:29
видимо нет. я уже погуглил, почитал и понял что там полностью описаны ответы на твои вопросы

Zart
30.06.2017
09:23:54
мм... нормального способа считать память толком нет один хер
была вроде пара либ для такого

Alex
30.06.2017
09:24:24

Google

Zart
30.06.2017
09:24:51
вот только ему скорее надо не считать размеры, а знать сколько осталось свободно 8)))

Eugine
30.06.2017
09:25:31
сирисли

Alex
30.06.2017
09:30:03
может мою проблему могут решить генераторы, и не надо ничего считать
вообщем нужно обработать json с миллионом записей
и вносить нужное в документ
если читать и записывать построчно, то много времени займет
если читать сразу то памяти не хватит
вот и пытаюсь найти решение

Zart
30.06.2017
09:30:27
джсон с миллионом записей - это пример дизайнера-дебила

Alex
30.06.2017
09:31:51

Zart
30.06.2017
09:32:27
a = []
a.append(a)
считай размер списка, суммируя размеры элементов ;)

Alex
30.06.2017
09:45:29

Alexey
30.06.2017
09:46:00
Потому что.

Alex
30.06.2017
09:48:03

Zart
30.06.2017
09:48:33

Lina
30.06.2017
09:48:45
a.append(a)
Как замысловато.

Alexey
30.06.2017
09:49:12
Что именно замысловато?

Zart
30.06.2017
09:49:37

Lina
30.06.2017
09:50:40
А вообще, 10^6*(10^6+1)/2

Zart
30.06.2017
09:51:41
откуда 10^6 аще

Alexey
30.06.2017
11:35:44

Zart
30.06.2017
11:36:11
и тут венге

morda
30.06.2017
11:40:03
фальстарт!

Alexey
30.06.2017
11:40:20
С хуя ли?

Google

morda
30.06.2017
11:42:18
Еще вчерашнее не проветрилось!!!

Alexey
30.06.2017
11:43:17
Щас же. У меня пятница на старте.

Vladimir
30.06.2017
11:43:58
Разделю с тобой пятницу.

morda
30.06.2017
11:44:49
#&$^&^$&%^&%#&%

Alexey
30.06.2017
11:46:07
О, джекуха, обнимемся.

Andrey
30.06.2017
11:46:30
Память jupyter - %memit %mprun http://pynash.org/2013/03/06/timing-and-profiling/
http://fa.bianp.net/blog/2014/plot-memory-usage-as-a-function-of-time/

Max
30.06.2017
12:13:20
Не совсем по теме, но все же, приложение, например TODO, как хранить записи пользователей более корректно, все заметки всех пользователей в одной таблице? или для каждого пользователя создавать таблицу с его задачами? второй вариант наиболее быстрый с точки зрения запроса, но слишком много таблиц будет в итоге, первый же более удобный для обслуживания, но медленный, как лучше? может есть более хорошее решение?

Eugine
30.06.2017
12:23:02

Alexey
30.06.2017
12:23:28

Eugine
30.06.2017
12:23:41
Не совсем по теме, но все же, приложение, например TODO, как хранить записи пользователей более корректно, все заметки всех пользователей в одной таблице? или для каждого пользователя создавать таблицу с его задачами? второй вариант наиболее быстрый с точки зрения запроса, но слишком много таблиц будет в итоге, первый же более удобный для обслуживания, но медленный, как лучше? может есть более хорошее решение?
если у тебя оракл, то ты заводишь на каждую запись по табличке

dmks
30.06.2017
12:24:09

Eugine
30.06.2017
12:24:18
угу:(

Zart
30.06.2017
18:37:54
эх, завтра домой

Stanislav
30.06.2017
21:24:13

luchezar
30.06.2017
21:44:44

Stanislav
30.06.2017
21:45:06
Нет различий

Zart
30.06.2017
21:46:34
пепси слаще коки
по крайней мере в этой стране

Google

morda
30.06.2017
21:46:55
Пепси говно)

luchezar
30.06.2017
22:04:59
пепси слаще коки
удваиваю, они туда каким то образом умудряются замешать ЕЩЕ сахара, хотя я думал кола уже насыщенный раствор
по законам природы если потрясти пепси там должен сахар кристаллизоваться начать

morda
30.06.2017
22:06:12
На самом деле конечно нет) это подсластитель)

Zart
30.06.2017
22:11:13
знатоки... а я её просто пью и не заморачиваюсь

morda
30.06.2017
22:13:20
А кто запретит-то

Xonant
01.07.2017
03:39:35
@FolderArchive - канал, где сливают платный полезный - образовательный контент и курсы, например можно скачать курсы "Нетологии" или все курсы "Бизнес Молодости".

Milton
01.07.2017
04:47:55
Блэт тэлэга. Простые юзеры не могут репортить спам в чатах. Совсем не могут. А какие-то пидоры просмотры на своём ебаном канальчике накручивают, деньги отрабатывая

Call Me Maybe
01.07.2017
06:20:14
@zartsoft исправишь?

Zart
01.07.2017
06:21:20
это ты меня удачно между рейсами застал

Ilgiz
01.07.2017
06:21:20
Зарт че админ в этом чате?

Zart
01.07.2017
06:23:27
список юзеров всем доступен вроде

Ilgiz
01.07.2017
06:25:16
не знал что звезда это и озночает

Alexey
01.07.2017
07:13:46

Ilgiz
01.07.2017
07:15:14
я говорил что не устраивает?

Alexey
01.07.2017
07:47:50
Ты ещё не прекратил отвечать вопросом на вопрос?

Ilgiz
01.07.2017
08:06:35
Это был единичный случай, я и не начинал

Stanislav
01.07.2017
08:08:53

Alexey
01.07.2017
08:09:19

Stanislav
01.07.2017
08:09:35

Google

Alexey
01.07.2017
08:09:41

Stanislav
01.07.2017
08:09:59

Alexey
01.07.2017
08:10:51

Stanislav
01.07.2017
08:11:13

Alexey
01.07.2017
08:11:25

Stanislav
01.07.2017
08:12:22

Alexey
01.07.2017
08:12:39
А разве все должны мыслить поиском?

Stanislav
01.07.2017
08:13:08

Alexey
01.07.2017
08:13:19

Stanislav
01.07.2017
08:13:29

Alexey
01.07.2017
08:13:44

Ilgiz
01.07.2017
08:13:52
:D

Stanislav
01.07.2017
08:13:53

Alexey
01.07.2017
08:13:57
Пидора еда!
Слив засчитан!

Stanislav
01.07.2017
08:14:41
Ну так я не упустил шанса назвать тебя пидором ?

Alexey
01.07.2017
08:15:06
Ну вообще это про тебя было, только всё равно — не оправдывайся, уже поздно, проебал так проебал.