а есть разница по памяти для небольшого файла?

ну прочитаешь ты условно 1 мб в оперативку а потом останется только то что нужно все остальное сотрется и произойдет все на столько быстро что и глазом не успешь моргнуть

да я про реальный мир когда последний раз у вас был текстовый файл со строками по 500кб каждая?

представления не имею. но у меня и задачи обычно бывают написать алгоритм чтения файла, а не чтения определенного файла, размер которого 10 кб

представления не имею. но у меня и задачи обычно бывают написать алгоритм чтения файла, а не чтения определенного файла, размер которого 10 кб

ну да. видимо задача "прочитать конфиг приложения" у вас решается кластером, ведь "а вдруг там пара петабайт упадет"

представления не имею. но у меня и задачи обычно бывают написать алгоритм чтения файла, а не чтения определенного файла, размер которого 10 кб

тогда уже читать по \n не вариант, так как 1 строка может Гб занимать

задача все же частенько определяет границы данных

окей, по памяти эффективнее читать два раза, согласен. но по скорости явно быстрее считать все, т.к. обращение к файловой системе

тут зависит от того, как часто обращаются к этим данным, рандомное чтение с SSD вполне себе быстро отдает данные, если человек задается такими вопросами, очевидно что у него не хайлоад с кучей запросов, возможно и сервер тоже не имеет много оперативки, чтобы хранить большой слайс в памяти. тут уж сам автор выбирает что ему, дрочить диск по IOPS и прыгать по сдвигу, или загрузить все в память и работать с этим. я честно говоря не читал вводные, но на маленьких строках можно залить все в слайс и не парится.

ну прочитаешь ты условно 1 мб в оперативку а потом останется только то что нужно все остальное сотрется и произойдет все на столько быстро что и глазом не успешь моргнуть

в таком случае, если не нужна экономия в памяти, почему не написать простой и красивый код, а не извращаться с двумя циклами и перемоткой файла в начало

в таком случае, если не нужна экономия в памяти, почему не написать простой и красивый код, а не извращаться с двумя циклами и перемоткой файла в начало

+

тогда уже читать по \n не вариант, так как 1 строка может Гб занимать

так пусть занимает, тебе то что? Ты хранишь номер байта где кончается строка)

какая перемотка файла

ioutil.ReadAll, strings.Split и вот это все

пусть добавит if'чик, и запаникует, когда файл будет больше 64МБ)))

какая перемотка файла

в самое начало промотай, я это сразу и кинул

тогда о чем спор?) не понимаю)

ну да. видимо задача "прочитать конфиг приложения" у вас решается кластером, ведь "а вдруг там пара петабайт упадет"

задача не так стояла. конфиг можно и нужно прочитать весь

тогда о чем спор?) не понимаю)

вот я тоже теперь не понял, ты о скорости что-то заявил

тогда уже читать по \n не вариант, так как 1 строка может Гб занимать

и?

вот я тоже теперь не понял, ты о скорости что-то заявил

скорости? когда?

тогда уже читать по \n не вариант, так как 1 строка может Гб занимать

чтобы \n прочесть, всю строку держать в памяти не нужно

это уже оффтоп и переливание воды

есть разница за сколько времени прочитать конфиг з прокси?)

хватит

задача не так стояла. конфиг можно и нужно прочитать весь

задача стояла "файл на 2000 строк" можно конечно нафантазировать случай когда "а если там каждая строка по терабайту?" но в реальности все же ограничения на данные более понятны обычно

есть разница за сколько времени прочитать конфиг з прокси?)

вы спорили что быстрее прочитать 1 раз или 2 )

есть разница за сколько времени прочитать конфиг з прокси?)

автор читал рандомную строку а не конфиг

proxy, err := url.Parse(insta.Proxy) if err != nil { return body, err } insta.Transport.Proxy = http.ProxyURL(proxy) client.Transport = &insta.Transport

в котором лежат (как я понял) прокси, много разницы?

Прокси так ставить?

А то у меня ошибка :(

я просто кричу с Артёма, тихо вбросил и ушел

Не кричи)

я для своих нужд делал сервис прокси

посмотри как сделал, поможет

нужно в транспорте свою функцию Dial поставить

Спасибо, но это вроде не совсем то

proxy, err := url.Parse(insta.Proxy) if err != nil { return body, err } insta.Transport.Proxy = http.ProxyURL(proxy) client.Transport = &insta.Transport

хотя наверное можна и и так

Мне нужно сделать запрос с использованием прокси

А это у вас для проксирования запросов

Который на сервер идут

все запросы делаются через транспорт

Возможно просто не так понял

Нужно ли для https какие-нибудь доп параметры? Или разницы с http нет?

нет

у меня есть прога, которая парсит прокси с сайтов где их выкладывают (пару адаптеров сделал), и рядом есть пакет, который дает рандомную прокси и прокси чекер который их чекает в фоне, но писал я это когда только начал писать на go, и там есть косячки, из-за которых подтекает память и может иногда начинаться паника. но мне эта хрень нужна была чтобы отработать около 30 минут, что собственно оно и сделало.

Нужно ли для https какие-нибудь доп параметры? Или разницы с http нет?

нужно чтобы сама прокся поддерживала https

Поддерживает

я с https прокси не подружился а socks5 то шо надо

ещё советую указать на клиенте таймауты, потому что если прокся не вменяемая можно потерять клиент, который будет ждать бесконечно таймаут, не помню какие таймауты по дефолту выставлены

ещё советую указать на клиенте таймауты, потому что если прокся не вменяемая можно потерять клиент, который будет ждать бесконечно таймаут, не помню какие таймауты по дефолту выставлены

Поставил

в исходниках можно посмотреть какие там стоят и себе такие же поставить или чуть больше

если новую структуру инициализировал

у тебя 90 сек

да, я ставил несколько больше чем в исходниках го

Почему паник не показывает номер строки на которой вылетел

Почему паник не показывает номер строки на которой вылетел

я уже отвечал на этот вопрос тут :)

Можно еще раз, пожалуйста?)

Ты панику ловишь?

Да

http: panic serving

ну это твой http клиент видимо ловит, хотя хз, знаю что сервер в хендлерах ловит панику. вообще, когда ловишь панику, то получаешь только ошибку, которая была указана внутри panic(), юзай https://golang.org/src/runtime/debug/stack.go?s=587:606#L11 вот это чтобы получить стектрейс

ну и лови панику на уровень ниже чем её ловит http

если панику никто не ловит, тогда она крашится вместе со стек трейсом

ну и лови панику на уровень ниже чем её ловит http

как это сделать?

через recover() ))

как ты делаешь запрос?

proxy, err := url.Parse(insta.Proxy) if err != nil { return body, err } insta.Transport.Proxy = http.ProxyURL(proxy) client.Transport = &insta.Transport

Сам момент установки прокси

Без прокси то работает

смотри ты можешь создать свой клиент https://golang.org/src/net/http/client.go?s=1915:4037#L46

смотри ты можешь создать свой клиент https://golang.org/src/net/http/client.go?s=1915:4037#L46

ты уже с етим моментом разобрался как я вижу

var req *http.Request req, err = http.NewRequest(method, u.String(), bytes.NewBuffer([]byte(o.PostData)))

Сам реквест так создается

PostData ты ее разве не должен отправлять а не читать?

Зачем мне её читать?

bytes.NewBuffer([]byte(o.PostData))) ну как я вижу это чтение, нет?

Я то её читаю ,но только чтобы понять какой запрос

Гет или пост

method := "GET" if len(o.PostData) > 0 { method = "POST" }

Нет