Сложная задачка?

сейчас скину тз личным сообщением, минуту

у них что ошибка в документации?

делаю: req, err := http.NewRequest("GET", "http://httpbin.org/user-agent", nil) ... response, err := client.Do(req) req.Body.Close()

оно логично падает

м?

странно что в доке не проверили на nil

м?

https://golang.org/pkg/net/http/#example_Get

тут нет проверки что боди пустая в примере

хотя по хорошему обертка над гет делает - req, err := NewRequest("GET", url, nil)

тоесть должно все рухнуть

А зачем ты тело реквеста закрываешь?

А зачем ты тело реквеста закрываешь?

так в примере так ?

потому что там может быть буффер, его надо закрыть

после запроса

В примере респонс закрывается

упс

не внимательно глянул ?

ай яй яй

ех понеслась!

только надо sync.Map прикрутить щаз и кааак

или через каналы сделать...

у меня паук тут на парсер, в 5 потоков пока что. Что быстрее через каналы кормить в гоурутину и там сохранять в мапу или через sync.Map сразу писать в мапу...

у меня паук тут на парсер, в 5 потоков пока что. Что быстрее через каналы кормить в гоурутину и там сохранять в мапу или через sync.Map сразу писать в мапу...

А паук весь тырнет шерстит? Зачем пять потоков?

sync.Map грят не так производительно, может я что путаю.

нашел бенч

https://gist.github.com/cyfdecyf/4562635

у меня паук тут на парсер, в 5 потоков пока что. Что быстрее через каналы кормить в гоурутину и там сохранять в мапу или через sync.Map сразу писать в мапу...

на 5 горутинах, да ещё и с парсингом оверхед на мютек будет незаметен вообще

но таки сделал через каналы ?

контроля больше

хотя один хрен мне надо этот мап читать, в каждом потоке. Что бы исключить дубли

краулер делаешь?

ага

что умеет?

переделал через мапы, работает вроде ?

что умеет?

грабить корованы ?

сайт один специализированный парсит

грабить корованы ?

Парсишь страницы?

json

сайт один специализированный парсит

Что юзаешь?

стандартный http.Client + json.marchal + sync.Map

сайт один специализированный парсит

а. я делал краулер, который сайт зеркалирует

результаты пихаю в GOB

стандартный http.Client + json.marchal + sync.Map

Я не вовремя спросил, я думал страницы парсишь.

прямо всю коллекцию в бинаре ?

3731 запись за час

медленно конечно, но на каждую сущность надо субзапрос делат

А с версией 1.10 не пробовали? Он там вроде бы кэширует при build.

не пробовал

привет а кто подскажет почему gorm Where("smth_id in ?", []int{1,2,3}) делает такое: where smth_id in ['1', '2', '3'] ?

Насколько увеличивается время компиляции?

оно не увеличивается, оно констатно 30 секунд.

привет а кто подскажет почему gorm Where("smth_id in ?", []int{1,2,3}) делает такое: where smth_id in ['1', '2', '3'] ?

https://stackoverflow.com/questions/20271123/how-to-execute-an-in-lookup-in-sql-using-golang

замени на Where("smth_id in ?", 1,2,3)

замени на Where("smth_id in ?", 1,2,3)

у меня переменное количество в слайсе

sql := "select * from foo where id=? and name in (?" + strings.Repeat(",?", len(stuff)-1) + ")" ?

slice...

такое не провернёшь через prepare, я думаю

возможно, есть другой способ

такое не провернёшь через prepare, я думаю

на постгресе - можно, там есть функция any

на остальных - придется сделать запрос с нужным количеством вопросиков

https://github.com/golang/go/issues/16235

Написал array to string функцию для таких случаев... Вообщем то не напрягает она меня, и используется во многих местах

прикол в том, что необходимость поддержания целостности на каждой транзакции - это утопия, далекая от природных явлений (в природе всегда встречается временная неконсистентность в виде шума). а раз нет в природе, то и человеку не надо.

с БД на прямую работают машины, а не люди. Для людей неконсистентность БД - это что-то вроде неправильного баланса на депозите.

прикол в том, что необходимость поддержания целостности на каждой транзакции - это утопия, далекая от природных явлений (в природе всегда встречается временная неконсистентность в виде шума). а раз нет в природе, то и человеку не надо.

да, с таким подходом в финансовом секторе вам не место. Идите в космическую отрасль.

обычно консистентность поддерживают чтобы на лету считать агрегированные данные, соответствующие сырым данным. реляционность тоже из этой серии.

нет, не только для этого. ACID -гарантий как правило мало не бывает.

ERROR: S client not available

kv на sql не совсем верно - там kv это индексы. а индексы сами по себе не живут, там еще балласта вагон

ключи в kv, внезапно, тоже индекс. Но в том же постгресе можно выбрать тип индекса, а в монге - нет

да, с таким подходом в финансовом секторе вам не место. Идите в космическую отрасль.

куда то ходить мне уже поздно, могу только другим помогать ходить :) и да, осознание ущербности перфекционизма в лице acid приходит только с годами :))

у любой технологии есть ограничения. Любые абстракции текут.

ну так есть случаи когда acid не нужен. Картинки с котегами хранить например. подумаешь отрубили электичество, сервер грохнулся, пара котиков пропала, делов то. А есть опердни, для которых падение сервера - катастрофа.

не о падении говорим, а о рассогласованности данных в течение конечного отрезка данных, на котором эти данные доступны (в отличие от acid, где доступ к ним в ходе транзакции запрещен)

отрезка времени

ключи в kv, внезапно, тоже индекс. Но в том же постгресе можно выбрать тип индекса, а в монге - нет

в sql движке индексы это вспомогательная технология, в отличие от kv. между клиентом и данными sql вставляет балласт: сетевой протокол с преобразованием типов, транслятор в план запросов, интерпретатор плана запросов, кэш запросов, балансировщик и т.д. вся эта хрень жрет ресурс в то время как тебе всего то надо найти данные по ключу

сэнкъю, кэп

sql over kv

гы

привет а кто подскажет почему gorm Where("smth_id in ?", []int{1,2,3}) делает такое: where smth_id in ['1', '2', '3'] ?

Where("smthn_id in ?",vals...)

только придётся vals пересобирать в []interface{}

https://gist.github.com/cyfdecyf/4562635

Так и что быстрее?

есть годный сабж для обсуждения. надо сделать SQL запросы с фильтацией по динамическому набору полей. ORMы на подобие hibernate это решают более или менее Я по религиозным соображениям ORM не использую, пишу отдельные запросы на каждую комбинацию полей. Это писец конечно. Внимание вопрос. 1) А как это вообще сделать нормально в Го без ORM? 2) Есть пример для gorm? я чет не понял из доков

Ох

Уже ничего не поможет?

squirrel

https://github.com/Masterminds/squirrel

спасибо, я подумаю

есть годный сабж для обсуждения. надо сделать SQL запросы с фильтацией по динамическому набору полей. ORMы на подобие hibernate это решают более или менее Я по религиозным соображениям ORM не использую, пишу отдельные запросы на каждую комбинацию полей. Это писец конечно. Внимание вопрос. 1) А как это вообще сделать нормально в Го без ORM? 2) Есть пример для gorm? я чет не понял из доков

2. есть типобезопасная обертка над gorm, лучше юзать ее вместо gorm https://github.com/jirfag/go-queryset

2. есть типобезопасная обертка над gorm, лучше юзать ее вместо gorm https://github.com/jirfag/go-queryset

спасибо

https://github.com/Masterminds/squirrel

да, похоже это оно - решение

Подскажите, пожалуйста для чего нужна переменная окружения GOPATH. Никак не пойму из документации. Она обязательно должна быть в системе? Проекты не могут располагаться по другому пути?

Подскажите, пожалуйста для чего нужна переменная окружения GOPATH. Никак не пойму из документации. Она обязательно должна быть в системе? Проекты не могут располагаться по другому пути?

GOROOT хранит core-библиотеки; GOPATH хранит всё, что ты скачаешь из интернетов.

Ага. Чтобы отделить основу от твоего рабочего окружения

в документации в первой же строчке написано что это такое: The GOPATH environment variable specifies the location of your workspace.

Ага, может вам и понятно, а я только открыл доку и это ничего не говорит новичку )

Понятно только, что есть какие-то воркспейсы, но на каждый проект или глобальный должен быть хз

переменная окружения носит глобальный характер. и хоть ее можно и переопределять контекстно, но удобнее держать в одном месте. прописать куда следует и забыть

Ага, может вам и понятно, а я только открыл доку и это ничего не говорит новичку )

как правило мы делаем следующим образом: GOPATH=~/golang где ~/golang/src/… папка для исходного кода ваших проектов, в идеале для своих проектов нужно придумать какой нибудь namespace, чтобы их можно было красиво импортировать import "namespace/myawesomelib/package", соответственно лежать этот проект будет в ~/golang/src/namespace/myawesomelib ~/golang/bin - папка с бинарниками, которую желательно включить в PATH системы