Там про ГК пишут

Reason #2: structs are normally value types (though you can make them reference types if you work at it). Classes are always reference types. So, if you want a value type, choose a struct. If you want a reference type, it's easiest to go with a class.

Структуры живут в стеке и освобождают память (и, соответсвенно, вызываются их деструкотры) при выходе из контекста. Поэтому file структура.

Структуру можно и не на стеке создать, тогда по идее разницы никакой

Иначе говоря. Структуры вообще вне компетенции ГК)

В компетенции, GC их сканирует на наличие указателей

А структуры ГК как то иначе обрабатываются? На форуме есть тема почему File это структура а не класс

А дай плиз ссылку

GC сканирует только память выделенную в куче. А вообще это нужно чтобы не парится о закрытии и свалить всё на RAII

http://forum.dlang.org/post/mailman.146.1477204596.3398.digitalmars-d@puremagic.com

http://forum.dlang.org/post/mailman.146.1477204596.3398.digitalmars-d@puremagic.com

https://github.com/dlang/phobos/blob/v2.071.2/std/stdio.d#L348

Тут короче вся фишка в том, что D'шный File это враппер над *FILE, который приходит из ядра операционки. Просто для удобства. Если бы File был классом, то ты бы смог отнаследовать его, и не имел бы предсказуемого высвобождения из памяти. Что ессесено лишено всякого смысла.

Ибо число хендлов *FILE ОГРАНИЧЕНО!

Если бы GC не успевал высвобождать хендлы (а он и не будет успвать by design) то твоя прога бы крешилась в таких ситациях

Ну и наследовать "class" File, который держит указатель "на хз что-то лежащее в ядре" просто странно было бы.

GC сканирует только память выделенную в куче. А вообще это нужно чтобы не парится о закрытии и свалить всё на RAII

Передаю привет твоим локальным переменным)

Передаю привет твоим локальным переменным)

Структурам по умолчанию выделяющимся на стеке передай лучше

Структурам по умолчанию выделяющимся на стеке передай лучше

https://blog.mozilla.org/jorendorff/2007/08/09/conservative-stack-scanning-101/

Я так понимаю что мало кто знает как работает GC, но просто скажу что он даже регистры сканирует, не то что стек.

есть кто? вопрос в том, как удалить словарь. он обьявлен локально в функции, GC.collect() в конце и присвоение переменной null не помогли

есть кто? вопрос в том, как удалить словарь. он обьявлен локально в функции, GC.collect() в конце и присвоение переменной null не помогли

Как определил утечку?

И покажи код)

по размеру программы в оперативке и заполнил перед обнулением словарь еще раз

class Reader{ BinaryArray!(string, Node*) nodesList; public: this(string dateFrom){ Node*[string] nodesListTemp; // заполняем nodesListTemp данными с файла //передаем его в другую функцию по ссылке nodesListTemp = null; writeln(nodesListTemp); }

Так может он в "другой функции" остался? Что происходит если удалить у него все элементы?

Или другая это writeln чтоль

Да может просто GC виртуальную память не отдает. Попробуй несколько раз такие словари создать и уничтожать, память по идее будет на одном уровне

если удалить их через nodesListTemp.remove(key) то не помогает, я даже коментировал строчку с передачей его другой функции

несколько раз там же, можно

Да может просто GC виртуальную память не отдает. Попробуй несколько раз такие словари создать и уничтожать, память по идее будет на одном уровне

ну если их в цикле создавать, то на одном уровне, да. но эту то переменную я не в цикле создаю, как ее так переопределить, что бы память освободилась?

Поищи у GC функцию вроде "высвободить зарезервированную память"

Можно понизить пул и резерв

А к чему вообще такое действо?

как раз читаю об этом на хабре

А к чему вообще такое действо?

Он же память всеравно для себя хранит для ускорения работы

да цель же была заменить словари на массив с бинарным поиском, но для его заполнения все равно нужно предварительно создать словарь

слишком много хранит, выходит

GC штука мало предсказуемая, но мне кажется ты зря паришься

Врядли резерв будет сильно расти

ну он по факту растет на столько, на сколько увеличить этот словарь

А потом он просто его переиспользует

У тебя же в цикле память не росла

но ему не будет нужно столько памяти, вот в чем дело

после создания всех структур они просто висят в памяти и по ним делается поиск иногда

Если действительно критично - понижай пулл/резерв

Но может ударить по скорости

Если действительно критично - понижай пулл/резерв

странно это выглядит, но если другого пути нету, то видимо надо. спасибо

А мне кажется что проблемы нет, память просто всегда будет чуть выше чем нужно, но не более того

D это всетаки не JavaScript, чтобы гигабайтами память жрать

ну сейчас он ее гигибайтами и жрет. хотя я что-то не так делаю, видимо

Хах

Может у тебя числа в куче аллоцируются? Или массивы (или что там) слишком часто ресайзятся?

Судя по тексту я думал у тебя там мегабайт 20 оверхеда

честно говоря хз) да нет, там намного больше

ну словарь этот я создаю и потом дописываю в него

Больше кода можешь кинуть?

Файлом

хотя он же хранит указатели на стрктуры, которые я не удаляю, может поэтому и сами указатели не удаляются?

хотя он же хранит указатели на стрктуры, которые я не удаляю, может поэтому и сами указатели не удаляются?

А может у тебя структуры и весят гигабайтами? Рассчётно сколько должно выходить?

рассчетно для тестового примера несколько мегабайт, может десятков, точно не 100+

class Reader{ BinaryArray!(string, Node*) nodesList; public: this(string dateFrom){ GC.disable(); auto F=File("nodes/"~dateFrom,"r"); // create temporary dict for parsing Node*[string] nodesListTemp; while(!F.eof()){ try{ //writeln(F.readTrans); auto t=F.readTrans; if(t.src==t.dst) continue;//ignore internal links Node* src=new Node(); Node* dst=new Node(); //find src node or init new one if(t.src !in nodesListTemp){ src.nodeKey=t.src; nodesListTemp[t.src]=src; }else{ src=nodesListTemp[t.src]; } //find dst node or init new one if(t.dst !in nodesListTemp){ dst.nodeKey=t.dst; nodesListTemp[t.dst]=dst; }else{ dst=nodesListTemp[t.dst]; } Arc* a=src.findArc(dst); ArcParams* ap=new ArcParams(); ap.id=t.id; ap.amount=t.amount; a.params~=ap; }catch{ break; } } F.close(); // create nodesList from nodesListTemp // закоментировал создание своей структуры вообще //nodesList.loadFromDict(nodesListTemp); // Вот тут если заполнять словарь, то рантайм програмы увеличивается //for(int i=0; i<2; i++){ // foreach(string key, Node* node; nodesListTemp){ // nodesListTemp[key~i.to!string] = node; // } //} nodesListTemp = null; writeln(nodesListTemp); } вот полностью конструктор класса этот

GC.disable(); huh?

ну это уже позже я пробовал, а в конце вызывал GC.collect(), без него все так же

не т.е. с этой строчкой прога 175 мб, без нее 115, она конечно влияет, но 115 все равно много

Ты же говорил гигабайты

ERROR: S client not available

Ладно, понизь пул/резерв и перепроверь

Ты же говорил гигабайты

это на тестовых данных так, а когда на полных, то там уже 8-9 гигов

nodesList.loadFromDict(nodesListTemp) ссылку не хранит на nodesListTemp?

Нужно цикличные зависимости искать

Может то что ты ложишь в nodesListTemp указывает на nodesListTemp

Если не критично, сделай ArcParams не классом, а структурой

И Node тоже

nodesList.loadFromDict(nodesListTemp) ссылку не хранит на nodesListTemp?

auto loadFromDict(ref T[K] dict){ K[] sorted_keys = dict.keys; sort_alg(sorted_keys); foreach(K key; sorted_keys){ data ~= Pair(key, dict[key]); } } по ссылке передаю, т.ч. не хранить по идеи же. ну и я для теста закоментил эту строчку вообще ArcParams, Node и так структуры

А какой структуры здесь создается больше всего?

Какая-то нетривиальная у нас ситуация!

Ладно, понизь пул/резерв и перепроверь

Не помогло?

ну конкретно сейчас создаются только Node'ы

я не совсем понял пока, как это сделать, тестирую. т.е. до какого значения понизить подбираю

./test "--DRT-gcopt=profile:1 maxPoolSize:1 initReserve:10" ну вот с такими параметрами даже немного больше прога стала

Значит таки что-то в коде засело

void main(string[] args){ string[string] aa; for(int i=1000000; i>0; i--){ aa[i.to!string]=i.to!string; } aa = null; //wait writeln(111); File p; p.popen("sleep 10"); writeln(222); }

вот тестовый код

sleep сборщик не вызывает

А с GC.collect что?

ну это только, что бы успеть посмотреть размер

А с GC.collect что?

никак не повлиял

вот-вот... надеюсь кто-то придет и скажет что тут не так. в таком то виде тут вроде грешить на код уже не приходится

А компильни через LDC/LDC2

знать бы еще как, ну сейчас загуглю

https://github.com/ldc-developers/ldc/releases

Работает по-сути как DMD

хм, это оказалось очень легко

LDC 1.1.0 beta 3 и LDC 0.17.2 разные компиляторы, оба попробуй

ничего не изменилось

ну я через пакмена поставил какой-то, сейчас посмотрю

Только GC.collect вставляй перед wait