когда чел писал, что-то для операционки чтобы команды считывать(?) и про это говорили

такое ощущение что у тебя узлы много весят

хз без кода сложно сказать

ну или переполнение буфера

Гц отрабатывает не сразу если что, но причина скорей всего не в нем

Ты код покажи тех функций что память выделяют, вполне может быть что у тебя гдето утечка

А сколько горутин ты создаешь

Вместо тысячи слов https://go.dev/src/runtime/mgc.go

может ты там файлы читаешь в память полностью?

может читаешь слишком много сразу, больше чем памяти есть, либо ссылки остаются и гц не собирает

профайлером пройдись

https://go.dev/src/runtime/pprof/pprof.go

в первой строке это имя флага, а не путь

оставь как есть в примере

а потом запускай с флагом

go test -memprofile mem.prof -bench .

go tool pprof mem.prof

https://go.dev/doc/diagnostics#profiling

https://tproger.ru/translations/memory-leaks-investigation-in-go-using-pprof/

https://pkg.go.dev/net/http/pprof - это юзай

Базу юзаешь? ограничение на Кол-во соединений стоит?

Какие ещё внешние ресурсы есть?

Какие другие?

Вообще без ограничения кол-ва соединений никто не работает

SetMaxIdleConnections или как-то так

Ну поставь ограничение в 2 соединения и посмотри падает или нет по памяти, и если не падает, то отвечает ли вообще

а вообще часто флаги для запуска используются?

https://pkg.go.dev/flag

у меня тоже самое было при коннекте к постгресу. запросы не успевали обрабатываться и зависали в памяти. память в конце концов заканчивалась, по результату паника. решилось ограничением на запуск горутин

поставил ограничение на запуск новой горутины, покуда не отработала старая

делается через семафор

Ну если профайлить не выходит... Попробуй подменять функции заглушками, возвращающими необходимый результат, постепенно продвигаясь выше ниже по стеку. Чтобы локализовать "вредный" код.

Ну если профайлить не выходит... Попробуй подменять функции заглушками, возвращающими необходимый результат, постепенно продвигаясь выше ниже по стеку. Чтобы локализовать "вредный" код.

да у него там 100% какая то трабла с горутинами, которые выполняют какой то сложный ворк и забивают память. либо их запускается пзц как много и они не оспевают отработать)

А db в данном случае, что за объект?

Ну типа метод .dml()

Ну метод неэкспортируемый, значит свой, там хз что может быть в нем, я об этом

В мускуле ты так дыры в айдишниках создаешь)

Ну и соответственно авто инкремент сдвигаешь. Может кончится

Вообще это неправильный подход. В гошке можно накапливать и отдельной го рутиной раз в н минут сбрасывать

Если у тебя ещё индекс на изменяемом поле, то весело может быть

Если страшно потерять каунтер, то уже в редис какой писать и отдельным скриптом вычитывать и слать в мускуль

вообще это прям анти-паттерн: func (d *Database) selectRows(query string, params *[]interface{}) *[]map[string]interface{} func (d *Database) getResult(rows *sql.Rows) map[string]interface{} { Лучше вот эти две функции выкинуть и описывать нормально структуры под строчки, которые хочешь получить и не пользоваться ужасным map[string]interface{}

К делу не относится, но лучше так не делать

зачем, если можно этот этап пропустить?

посмотри тогда sqlx

var records []Record err := db.Select(sqlStr, &records)

быстро и нет таких странных накладных расходов

так а профилирование что говорит?

а на какой ОС работает программа?

Посмотри, не вырубает ли у тебя линукс программу, через команду dmesg

Точно нет никакого вложенного цикла или функции?

Да как бы go убрать и проверить ок - не ок

я тут как то начал либу делать

гляньте

https://github.com/bless-rng/marmot

мигратор

примитивный довольно

Это первое подобие поделки на го

Ну и эт не итоговый вариант. Я пока не придумал как сделать наиболее адекватно. И думаю излишнюю свободу юзеру давать не обязательно.

Может быть вообще закрыть от расширения, сделать только что бы вот какие есть сейчас ОРМ в поддержке те пусть и будут, нужно будет добавить просто я сам добавлю диалект и всё, и пользуйтесь.

https://github.com/bless-rng/marmot

А ШО ТАК МОЖНО БЫЛО?

всегда писал через Up = state(«UP»)

Может быть вообще закрыть от расширения, сделать только что бы вот какие есть сейчас ОРМ в поддержке те пусть и будут, нужно будет добавить просто я сам добавлю диалект и всё, и пользуйтесь.

Это означает, что мигратор будет только для чего-то вроде горма, но не sqlx/pgx ?

Нет, это означает что он будет поддерживать например только постгрес, майскуэль, майкрософтскуэль и эскуэль лайт. И нельзя будет менять структуру таблицы миграций, управлять тем как она заполняется

С одной стороны дать такую возможность это хорошо, с другой это потенциальные вопросы.

Ну и надо еще подумать как сделать выполнение миграций. Наверняка нужна команда выполнить все, но нужна ли «выполнить определенную». В целом такая возможность заложена.

Я каждый может по своему реализовать вообще все ап, даун и все остальное. В своем проекте. У меня тут будет чисто базис

То есть сейчас это генерация файлов миграции, их парсинг и выполнение, сохранение миграций в таблицу миграций

Это чисто для себя или умеет то, чего не умеют другие?

Как использоваться должно?

Я конечно не на что не намекаю, но выглядит так словно ты делаешь c2 для ботнета. Айайай

Тогда понятно.

Это команд контрол сервер для управления ботами, используется злоумышленниками.

типа фронтовая часть для общения с сервером, в котором лежит логика ботов?

а, прогуглил, окей

что она делает?

а сколько idle connection есть?

Это чисто для себя или умеет то, чего не умеют другие?

Сначала для себя делать начал, потом подумал для всех. Что умеет - расширяться для любых субд на стороне юзера, не зависеть от драйвера(можно использовать любой какой захочется, так как дб коннект передается в зависимости). Ну и создавать голые sql для миграций с секционированием up, down и возможностью выполнять несколько команд за одну миграцию, посредством разделения блоков через комментарий —then

Если бы чисто для себя делал я бы не закладывал бы возможность расширения извне, что бы помимо mysql, postgresql, microsoftsql и sqlite можно было другие юзать, реализовав 4 метода в собственном «диалекте» и используя его. Но я думаю скрыть эту возможность и расширять функциональность посредствам развития проекта.

Всем привет! Подскажите какой нибудь курс по Go, где много практики. Спасибо.