чёт кажется там хмл вообще никаким боком забыл какой-нибудь ридер закрыть и все

нет

ну и в любом случае зачем гадать если есть pprof

но более полезным оно от этого не станет

если не задать заранее cap то программа выжрет сразу после парсинга ~400 мб. А в моём случае всего ~150

если не задать заранее cap то программа выжрет сразу после парсинга ~400 мб. А в моём случае всего ~150

ну да, меньше. 200 vs 50 (с нодой спутал)

ну да, меньше. 200 vs 50 (с нодой спутал)

значит где-то говнокод.

говнокод везде. Здесь вопрос где именно

Везде же

pprof религия не даёт использовать?

Везде же

??

Func Auto Update, в ней цикл for, в нем var lastUpdate - строка 265

pprof религия не даёт использовать?

а что он даст, если у нас цикл

Переменная создается но не очищается gc возможно

а что он даст, если у нас цикл

да какая разница цикл или не )

да какая разница цикл или не )

большая

Потому что внутри блока

окей, убедил

а что он даст, если у нас цикл

гениально.

Везде же

аргументный аргумент. Но мне вообще практическую задачу на нём решать

Автор! Алле? Объясни строку 265?

Автор! Алле? Объясни строку 265?

Может 267?

мне уже кажется что жирновато троллит автор )

Автор! Алле? Объясни строку 265?

и что?

мне уже кажется что жирновато троллит автор )

не ребят, я просто делюсь болью

Может 267?

Да точно, поправлю

и что?

Зачем ты в бесконечном цикле создаешь заново переменную?

Да точно, поправлю

тоже нет, там не мегабайты

Зачем ты в бесконечном цикле создаешь заново переменную?

с этим сборщик справляется без проблем

по факту

Но зачем?

согласен, можно нанооптимизировать

Но зачем?

Да нормально, компилятор выносит декларацию за цикл

По крайней мере для нативных типов

Автор, где течь?

Автор, где течь?

смотри в парсинг xml

Выше по тексту писал, что нашел

Потом что-то о стд

Потом что всё-таки твой код

Потом что всё-таки твой код

боль в 256 (как символично) строке

там редко говнокод, который течёт.

удивишся

удивишся

а я и не отрицал. Но мой опыт написания этой программы говорит лишь о том, что нужно хорошо понимать свой рантайм, и builtin типы

а причём тут хмл? ну держит твой слайс backing array

и не даёт сборщику его собрать

причём тут и хмл....

а я и не отрицал. Но мой опыт написания этой программы говорит лишь о том, что нужно хорошо понимать свой рантайм, и builtin типы

Просто как работают слайсы:)

я ожидал, что структуры будут переинициализированны

и слайсы в них тоже

что было ошибкой :)

отличная история

Завуалировали знатно:) но новичкам пойдет

Так у тебя s.RknService глобальный слайс и везде по ссылке передается и никогда не освободится

Так у тебя s.RknService глобальный слайс и везде по ссылке передается и никогда не освободится

так оно. Но он резетится при очередном парсинге в len=0

Где?

Где?

256 строка

но

это не освобождает ранее созданные структуры в этом слайсе

т.е. при очередном парсинге, ранее созданные структуры только пополняют свои слайсы и увеличиваются в размере

и естественно сборщик их не дропает

Ну да, я об этом и говорю

вообще да, в си было бы так же

я же не менял capacity

Есть разные алгоритмы сборки мусора и читал я об этом, прости господи, в книжке про Java.

У го и явы, конечно, есть отличаи, но если я правильно понимаю не в этом

http://stackoverflow.com/questions/16971741/how-do-you-clear-a-slice-in-go

Просто непонятно вовсе зачем делать глобальный объект и очищать его в методе

мне бы этот ответ не подошёл) Я хотел создать слайс подходящей длинны с запасом. И переиспользовать его (чтобы не выделять эту память при каждой итерации). Но для этого нужно было бы пройтись по каждому элементу созданного слайса и зарезеттить каждое поле структуры, которая в этот сайс входит

Бесконечный цикл в методе тоже говнокод на мой взгляд. Запускаешь какой нибудь my.base.Download() а оно у тебя зависает как то непредсказуемо.

ERROR: S client not available

Бесконечный цикл в методе тоже говнокод на мой взгляд. Запускаешь какой нибудь my.base.Download() а оно у тебя зависает как то непредсказуемо.

понятно, что таймауты нужны. Это прототип

мне бы этот ответ не подошёл) Я хотел создать слайс подходящей длинны с запасом. И переиспользовать его (чтобы не выделять эту память при каждой итерации). Но для этого нужно было бы пройтись по каждому элементу созданного слайса и зарезеттить каждое поле структуры, которая в этот сайс входит

Алле? Там в ответе твой метод очистки слайса с коментарием что он может создавать утечку памяти.

мне нужно было понять как работает сборщик в го

Алле? Там в ответе твой метод очистки слайса с коментарием что он может создавать утечку памяти.

неотдетектил

This might be the optimal approach in some scenarios. But it might also be a cause of "memory leaks" - memory not used, but potentially reachable (after re-slicing of 'slice') and thus not garbage "collectable"

This might be the optimal approach in some scenarios. But it might also be a cause of "memory leaks" - memory not used, but potentially reachable (after re-slicing of 'slice') and thus not garbage "collectable"

именно то, что я у себя обнаружил

Ну отлично, посмотри остальные советы.

Ну отлично, посмотри остальные советы.

Ещё раз повторяю: я всё понял ещё задолго вопроса здесь (и сразу сказал, что ошибка в моём коде). Мне было важно показать пример, когда на коде ревью и в го баги не сразу распознаются

Я бы логику таймаутов оставил в main, выделение памяти бы сделал в вызываемой функции работы с данными и очищалась бы она автоматом по завершении. Совсем не та задача где требуется переиспользование памяти.

это реальная история кодинга на го

Я бы логику таймаутов оставил в main, выделение памяти бы сделал в вызываемой функции работы с данными и очищалась бы она автоматом по завершении. Совсем не та задача где требуется переиспользование памяти.

а теперь представь, что бакенд парсит данные, и принимает запросы. На основе распарсенных данных принимает решения

данных реально много. Да, можно хранить в in-memory бд, но такой задачи пока не стоит. Проще несколько тхреадов

Я уже предлагал в чате nag.ru использовать для этих целей Тарантул

Используя k/v базу данных легко пробегать по записям, проверять изменения и делать инкрементиальные процедуры

Используя k/v базу данных легко пробегать по записям, проверять изменения и делать инкрементиальные процедуры

ты безусловно прав. Но у нас пока не реальной необходимости в такой нано оптимизации. У нас все общения между сервисами происходят по rpc поверх некоторой шины (с нешаредной памятью между сервисами). И самым простым решением было бы написать сложный сервис на го так, что есть огромная структура данных (изменяемая только мастером), и куча вокреров (тхреадов), которая только читает эти данные и отвечает клиентам

но тем не менее да, твой вариант сто пудово рабочий в моём случае. Я просто тещщу оба варианта, чтобы принять решение

Я уже предлагал в чате nag.ru использовать для этих целей Тарантул

а вот это. не потестить ли нам тарантула под реальной нагрузкой

и не сравнить ли нам его с тем же аэроспайком

Мне интересен хайп вокруг него

одинокого, и в кластере из трех нод

Почему он не аэро

Потестить, сравнить. Да

Или редис

Ну редис понятно

Чем тарантул так привлекателен ?

Если одним словом

Настоящие транзакции

Если в Lua на стороне сервера ?

Базы*

но тем не менее да, твой вариант сто пудово рабочий в моём случае. Я просто тещщу оба варианта, чтобы принять решение

Это надо написать, и выложить в ОпенСорс. Потому что бремя этой херни ложится на сообщество операторов

Если в Lua на стороне сервера ?

Поясни

Это надо написать, и выложить в ОпенСорс. Потому что бремя этой херни ложится на сообщество операторов

а зачем тарантул, если есть многопоточная схема: я с помощью rw мастера шарю r-only данные между потоками