в main ждать Wait()

ну и первый запуск Crawler сделать тоже в горутине

хорошо, спасибо. есть идеи, почему не работает так, как сделано?

потому, что crawler блокируется на чтении из канала, и в него некому писать

если я правильно понял defer close(ch) должен прекратить ожидание. он вызывается в любом случае

на случай, если действительно некому писать

а как до дефера дело-то дойдет?

канал открыт, мы его читаем

а, не, там же сначала запись в канал, который некому читать

Если я в горутине делаю defer file.Close() и запускаю бесконечный цикл, defer выполнится при завершении main()?

Если я в горутине делаю defer file.Close() и запускаю бесконечный цикл, defer выполнится при завершении main()?

мэйн не имеет доступа к горутине

это я сегодня в доках читал :)

Итак, ответ - нет?)

defer не выполнится

Итак, ответ - нет?)

исходя из вышеозвученного факта, мэйн не имеет прав что либо выполнить в горутине. думаю, что нет. но можно проверить

но дескриптор файловый освободится так или иначе)

Благодарю

Если я в горутине делаю defer file.Close() и запускаю бесконечный цикл, defer выполнится при завершении main()?

https://play.golang.org/p/qBxw_gXGfVd

нет

нет

что-то он даже до цикла не доходит)

а он быстрый

что-то он даже до цикла не доходит)

https://play.golang.org/p/Sy2Cf-aYX0f

https://play.golang.org/p/6eFIzNnAYwK

Хм, а зачем усложнять если я правильно понял? Это что парсер? Зачем каналы тада?

Хм, а зачем усложнять если я правильно понял? Это что парсер? Зачем каналы тада?

Т.к. глава посвящена и каналам в том числе, я решил сделать так. Но, кажется, я что то упустил

Если у вас парсер, то не обязательно юзать каналы. Каналы хороши когда вы мульён адресов пытаетесь читать паралельно...

Т.к. глава посвящена и каналам в том числе, я решил сделать так. Но, кажется, я что то упустил

go tour?

Если у вас парсер, то не обязательно юзать каналы. Каналы хороши когда вы мульён адресов пытаетесь читать паралельно...

зачем на го парсер писать, который в один поток батрачит?)

зачем на го парсер писать, который в один поток батрачит?)

Плят, вот я парсю два сайта, инфа там обновляется может раз в полчаса, час, поэтому приложуху кладу спать.... смысл парсить его каждую секунду?

так это можно и напитонить или нарубить быстрее

go tour?

Ага

Ну хз, с goquery за ночь с перекурами, с просмотрами киношек написал...

Причём, сначала собирал ссылки на отдельной странице, потом переходил по этим ссылкам, и выгребал картинки, текст и прочее...

А если бы знал синтаксис JQuery, было-бы быстрее... пришлось вспоминать как оно там...

На gо есть целый фрейм для парсинга, colly

На gо есть целый фрейм для парсинга, colly

Спасибо, посмотрю.

Оно умеет само собирать ссылки и пробегаться по ним + всякие плюшки

http://go-colly.org

Ага, я уже нашёл, спасибо.

https://play.golang.org/p/6eFIzNnAYwK

по минимуму https://play.golang.org/p/J87vDD3vaX5

по минимуму https://play.golang.org/p/J87vDD3vaX5

Зачем второй лок и еще одна проверка?

Зачем второй лок и еще одна проверка?

ну между ними же анлок, т.е. в это время другие горутины могут работать и внести изменения

ну между ними же анлок, т.е. в это время другие горутины могут работать и внести изменения

Там выше лок не пропустит дубли.

Т.е. это просто best practice озаботиться от случайностей?

)))))))0

не слушай меня в общем)

лок тоже не нужен

В общем, благодаря примеру Атас я увидел кау пофиксить - нужно из мейна crawl запускать как горутину тоже

Но пока я не понял, почему не работает как у меня было в начале

Получается если не запускать как горутину, то до range в мейне никогда не дойдет, а значит читать будет некому?

Канал закроется раньше return

В смысле, раньше чем начнетсч рэндж. Вот так

Спасибо всем за помощь ?

Но пока я не понял, почему не работает как у меня было в начале

в цикле for i, u := range urls еще косяк

был с results

у тебя длина его равна кол-ву ссылок в первоначальной выдаче

у тебя длина его равна кол-ву ссылок в первоначальной выдаче

Верно, потом создается канал на каждый урл по i

еще происходит захват i, который как раз таки равен этому кол-ву всегда

и всегда приходит 1 результат, даже если Crawl как горутину пускать

еще происходит захват i, который как раз таки равен этому кол-ву всегда

там индекс текущего элемента,;разве нет?

неа, go func(u string, i int) { .... }(u, i) надо делать, когда переменные из ренжа передаёшь в горутину

ERROR: S client not available

неа, go func(u string, i int) { .... }(u, i) надо делать, когда переменные из ренжа передаёшь в горутину

Понял, из скопа выше читается. Спасибо

Получается если не запускать как горутину, то до range в мейне никогда не дойдет, а значит читать будет некому?

да

Походу, на этот индекс вообще не стоит полагаться. Нужно делать как у Атас в примере

Походу, на этот индекс вообще не стоит полагаться. Нужно делать как у Атас в примере

не обязательно можно и так https://play.golang.org/p/42Z_j0c5SRE

не обязательно можно и так https://play.golang.org/p/42Z_j0c5SRE

хах, вот меня мучает вопрос: в чем разница между этим result[i] = make(chan string) go Crawl(u, depth-1, fetcher, cache, result[i]) и этим: go func(u string,i int) { result[i] = make(chan string) Crawl(u, depth-1, fetcher, cache, result[i]) }(u,i)

хах, вот меня мучает вопрос: в чем разница между этим result[i] = make(chan string) go Crawl(u, depth-1, fetcher, cache, result[i]) и этим: go func(u string,i int) { result[i] = make(chan string) Crawl(u, depth-1, fetcher, cache, result[i]) }(u,i)

порядок выполнения разный

хах, вот меня мучает вопрос: в чем разница между этим result[i] = make(chan string) go Crawl(u, depth-1, fetcher, cache, result[i]) и этим: go func(u string,i int) { result[i] = make(chan string) Crawl(u, depth-1, fetcher, cache, result[i]) }(u,i)

если не создавать result[i] сразу то range по нему ниже увидит пустую переменную

горутина завершится, те что в рекурсии повиснут

не обязательно можно и так https://play.golang.org/p/42Z_j0c5SRE

да, спасибо. теперь все ясно, было 2 ошибки

#вакансия #golang #fulltime #москва #blockchain Привет! Ищу Golang разработчика в международную fintech компанию (основное представительство в Ирландии), которая разрабатывает торговую платформу для трейдеров и инвесторов. Стэк: Golang, PostgreSQL, RabbitMQ. Будет плюсом знание Python Условия: ЗП до 250 т.р.+премии, оформление по контракту или ИП. Офис в центре Москвы. Команда сформирована из специалистов, участвовавших в развитии крупнейших банков (Deutsche, ING, Royal Bank). Сам проект тоже фондирован крупынми банками. Если заинтересовались - присылайте резюме в личку :)

#вакансия #golang #fulltime #москва #blockchain Привет! Ищу Golang разработчика в международную fintech компанию (основное представительство в Ирландии), которая разрабатывает торговую платформу для трейдеров и инвесторов. Стэк: Golang, PostgreSQL, RabbitMQ. Будет плюсом знание Python Условия: ЗП до 250 т.р.+премии, оформление по контракту или ИП. Офис в центре Москвы. Команда сформирована из специалистов, участвовавших в развитии крупнейших банков (Deutsche, ING, Royal Bank). Сам проект тоже фондирован крупынми банками. Если заинтересовались - присылайте резюме в личку :)

@golangjobfeed

хах, вот меня мучает вопрос: в чем разница между этим result[i] = make(chan string) go Crawl(u, depth-1, fetcher, cache, result[i]) и этим: go func(u string,i int) { result[i] = make(chan string) Crawl(u, depth-1, fetcher, cache, result[i]) }(u,i)

result[i] = make(chan string) внутри go func приводит к тому что в последующем range по result можно попасть на nil в его элементе, так как канал еще не успел создаться, горутины не успели до make дойти , а цикл их порождающий завершон и управление уже передано дальше и тогда ловим deadlock и делать так не стоит а вариант https://play.golang.org/p/eqOcfS74CfN это лишний вызов функции и совсем не красиво, тем-более что вызов так же не бесплатен, это около 4ns лишних , так что почему и не написать сразу result[i] = make(chan string) go Crawl(u, depth-1, fetcher, cache, result[i])

Парни, посоветуйте Socks proxy на Go

Хочу в цифровом сопротивлении поучаствовать и поираться с нагрузками

Парни, посоветуйте Socks proxy на Go

так гугел сразу же выдает

вторые сутки - полет нормальный

Выдает это понятно. Насколько он стабильный/производительный?

так 443 нормально для сокса юзать?

Хочу в цифровом сопротивлении поучаствовать и поираться с нагрузками

лучше бы луковый релэй, если уж хочется поучаствовать)

а фиг его знает… но в systemd пришлось строчку дописать чтоб стартануть не под рутом на этом порту

так 443 нормально для сокса юзать?

не очень, будет просить рута, чтобы прибиться к порту

лучше бы луковый релэй, если уж хочется поучаствовать)

Позже

+ это порт для https

1080 вроде стандартный порт

+

чтоб никто не догадался!

=)

если серьезно - я просто посмотрел на каких портах крутили sock5 самые распиаренные прокси для телеги