загрузил 10кк строк в массив, почему размер файла 300мб, а в памяти это дело аж 900 занимает

загрузил 10кк строк в массив, почему размер файла 300мб, а в памяти это дело аж 900 занимает

В оперативной?

да

загрузил 10кк строк в массив, почему размер файла 300мб, а в памяти это дело аж 900 занимает

вангую-телепачу там изначалтно был пустой слайс и туда добавлялось аппендом слайс расширялся, копируяси во все больший размер, старые версии удалялись сборщиком мусора нл система память назад сразу не просила, поэтому неиспользуемую память процесс не вернул

и если посмотреть на используемвй хип - там будут те самые 300 мегов

https://paste.ofcode.org/T9sDVA5QS46eb64TKmqLFb вот фнкция чтения

хех, я смотрел видос на ютубе, где вы читали лекцию и говорили про этот момент как раз)) Вроде тут его нету

на 13-й строчке он

и на 1й

где вы слайс создаете

в слай сппендиься постояннл

ну да, только проблема в том, что файл может быть и 1кк и 100кк, я не могу заранее указать размер т.к просто не знаю его

попробуйте создать его преалоцированным на нужный размер, хотя бы апрксимированно по размеру файла

Гошка оперативку в том числе не сразу освобождает, а держит для своих нужд

ну или живите с этим)

если не частая операция

единоразавая

но печально всёровно :(

а почему нельзя расширять по 10 000 строк например?

но печально всёровно :(

ничгео печального. GC начинает работать только когда прога занимает опредённые обьем памяти. Сколько не помню. Где то было видео или статья по этой теме

хм, а что если сначала посчитать скок там строк, а потом уже создать слайс под это

Кстати кто то знает как GC прнудительно запустить?

Кстати кто то знает как GC прнудительно запустить?

runtime.GC()

runtime.GC()

блин... семён семёныч. точно. Спасибо

?

Даров.

Кстати кто то знает как GC прнудительно запустить?

если речь идёт о дебагинге то советую вместо runtime.GC() использовать https://golang.org/pkg/runtime/debug/#FreeOSMemory

если речь идёт о дебагинге то советую вместо runtime.GC() использовать https://golang.org/pkg/runtime/debug/#FreeOSMemory

Я хотел бы в работающей проге когда я знаю что кусок кода потребляющий память закончен. Сделать очистку

не в дебаге

Я хотел бы в работающей проге когда я знаю что кусок кода потребляющий память закончен. Сделать очистку

rly necessary?

rly necessary?

ага

а я думаю, что нет

кому, кроме go эта память может понадобиться?

а go разберется сам, когда gc позвать

aerospike )))

:)

да, и failovered

не, по TTL, обычно

там есть запись на диск, но, по слухам в opensource-версии она кривая, поэтому да, если кластеры разом упадут, то все накроется

но я еще ни разу такого не видел )))

прямая она там вполне

и от платной версии не отличается

прямая она там вполне

по слухам же, сам не видел, прямая или нет, может полтора года назад проблемы были

я весь 2016 в него играл, с тестами надежности и прочим

все там ок

это клево, спасибо, буду иметь ввиду

собственно, у меня там было 2 неймспейса

может тот, кто слухи пускал имел кривые девайсы не из плеч ))))

один с данными в памяти и синхронизацией на диск

и второй с данными на диске

оба работали хорошо

у нас "кривость" была признана примерно на 6 млн записей в кейспейс с 5 нодами

надо самому поковырять

5 нод, 20М записей

ну здорово, тогда область применения спайка может расшириться у нас в конторе )

в Go можно из json сделать struct если сам json описывает поля структуры?

вопрос не ясен

в Go можно из json сделать struct если сам json описывает поля структуры?

да, reflect, но зачем?

ну вот есть такая структура - для примера http://iss.moex.com/iss/history/engines/stock/markets/shares/boards/TQTF/securities.json

зачем рефлект? вроде - это типичный unmarshal

мне надо из этого выдергивать некоторые позиции по названию бумаги

а go разберется сам, когда gc позвать

Пока он разберётся, другой программе может не хватить

ERROR: S client not available

мне надо из этого выдергивать некоторые позиции по названию бумаги

https://mholt.github.io/json-to-go/ все ненужное - закомментить

зачем рефлект? вроде - это типичный unmarshal

насколько я понял он имеет ввиду создать структуру имея описание в JSON. Т.е. не анмаршалить в уже известную структуру а динамически создать тип

это я видел и использую .... благодарю

в go нельзя динамически создать тип!

Пока он разберётся, другой программе может не хватить

тогда я должен вас огорчить. runtime.GC() не отдаст память системе, Go в этом плане очень жадный и не отдаёт по возможности память чтоб оптимизировать новые allocation'ы. Поэтому я собственно и предложил debug.FreeOSMemory, ибо эта функция постарается отдать максимум памяти, но это только для дебагинга в основном

тогда я должен вас огорчить. runtime.GC() не отдаст память системе, Go в этом плане очень жадный и не отдаёт по возможности память чтоб оптимизировать новые allocation'ы. Поэтому я собственно и предложил debug.FreeOSMemory, ибо эта функция постарается отдать максимум памяти, но это только для дебагинга в основном

Она отдаст если это будет не дебагинг?

Она отдаст если это будет не дебагинг?

в смысле? если что будет "не дебагинг"?

Пока он разберётся, другой программе может не хватить

какой такой другой программе? это же нищебродство - пытаться память шарить в одной машине между разными приложениями

какой такой другой программе? это же нищебродство - пытаться память шарить в одной машине между разными приложениями

Мобилки и расбери

Нищебродство :)

в смысле? если что будет "не дебагинг"?

Возможно я фразу вашу не так понял. Я подумал чт это работает только в дебаггинге

Возможно я фразу вашу не так понял. Я подумал чт это работает только в дебаггинге

имеется ввиду что это функция пакета debug, т.е. явно не для продакшна

Ок. В любом случае спасибо за информацию

если острой надобности нет восвобождать память то лучше не восвобождать вручную

Мобилки и расбери

тогда надо не в gc играть, а выделять правильное количество памяти

тогда я должен вас огорчить. runtime.GC() не отдаст память системе, Go в этом плане очень жадный и не отдаёт по возможности память чтоб оптимизировать новые allocation'ы. Поэтому я собственно и предложил debug.FreeOSMemory, ибо эта функция постарается отдать максимум памяти, но это только для дебагинга в основном

Вроде упоминалось что через 5-15 минут все таки отдаёт

Вроде упоминалось что через 5-15 минут все таки отдаёт

да, но опять же не всю, но это не точно

Кто-нибудь может, пожалуйста, пояснить почему нельзя делать так msg.(tgbotapi.VideoConfig).Caption = p.Message.Caption

cannot assign to msg.("gopkg.in/telegram-bot-api.v4".VideoConfig).Caption

не хочет без промежуточной переменной

хочет копирование осуществить

а это адекватное поведение для языка или будут допиливать?

в качестве веб-фреймворка, годного и сайтик показать, и рест какой-никакой запилить мне больше echo зашел.

chi

а это адекватное поведение для языка или будут допиливать?

думаю - так и останется

думаю - так и останется

неудобно же, или так только у меня?

ну - неудобно, да

но всем плевать

Подскажите люди добрые как в темплэйте взять параметр выше уровнем если я в цикле? Честно гуглил прежде чем задать вопрос. {{range .Cmd}} // {{.Comment}} {{ .Time}} Time находися в структуре выше {{end}}

Подскажите люди добрые как в темплэйте взять параметр выше уровнем если я в цикле? Честно гуглил прежде чем задать вопрос. {{range .Cmd}} // {{.Comment}} {{ .Time}} Time находися в структуре выше {{end}}

{{$.Time}}

$ - корень