@gogolang
Kirill13.07.2018
19:54:55
19:54:55
сколько ж времени мог сэкономить
AleksandrKirill13.07.2018
20:02:02
20:02:02
как я смог это не нагуглить
Google
Oleg13.07.2018
21:05:00
21:05:00
Всем привет )
Не у кого случайно не завалялось требований на синьйора/тех лида? Что-то вроде маст хэв требований
Slava13.07.2018
21:12:27
21:12:27
Всем привет )
Не у кого случайно не завалялось требований на синьйора/тех лида? Что-то вроде маст хэв требований
главное - чтобы человек был добрыйGoodMoodDealler13.07.2018
21:20:08
21:20:08
А мы можем задать полю структуры два поля json или или?
GoodMoodDealler13.07.2018
21:20:33
21:20:33
Ну я так и думал
но ты можешь написать свой JsonUnmarshal метод
То есть он меня будет один ключ приравнивать к другому?Ну как вариант
GoodMoodDealler13.07.2018
21:22:06
21:22:06
Просто это костыли очередные и не хочется код портить(
Slava13.07.2018
21:27:52
21:27:52
костыли у вас начались когда вы захотели разные джейсон поля поместить в одно поле структуры
GoogleSlava13.07.2018
21:28:02
21:28:02
а щас вы ищете воркэраунд =)
GoodMoodDealler14.07.2018
09:57:33
09:57:33
Теперь возник такой вопрос. Я слышал что Голанг даёт большие погрешности при операциях с плавающей точкой. Как лучше всего работать с денежными значениями?
Мерлин14.07.2018
10:00:41
10:00:41
Теперь возник такой вопрос. Я слышал что Голанг даёт большие погрешности при операциях с плавающей точкой. Как лучше всего работать с денежными значениями?
любой язык даёт большие погрешности при работе с числами с плавающей точкой
используй целые числа, big.Int и специальные пакетыGoodMoodDealler14.07.2018
10:01:28
10:01:28
Vadim14.07.2018
10:01:38
10:01:38
Теперь возник такой вопрос. Я слышал что Голанг даёт большие погрешности при операциях с плавающей точкой. Как лучше всего работать с денежными значениями?
Используй int, но 1 должен быть равен одному центу, а не одному евро.
Alexandr14.07.2018
10:58:01
10:58:01
Коллеги, подскажите, пожалуйста, по парсингу сайтов.
Задача - вытащить весь текст со страницы. Не html, а уже результирующее представление.
Тренировочная страница - https://golang.org/
Суть проблемы - не получаю часть контента (см. скрин, обведено красным). То что обведено зелёным - получаю.
Пробовал посредством headzoo/surf, PuerkitoBio/goquery результат одинаковый (
Александр14.07.2018
11:00:15
11:00:15
давайте пример
Alexandr14.07.2018
11:03:35
11:03:35
у меня такое чувство, что там какими-то скриптами эта часть подгружается уже после того, как сгенерирован контент и отдан криенту
Nikita14.07.2018
11:04:32
11:04:32
Пробовал посредством headzoo/surf, PuerkitoBio/goquery результат одинаковый (
Всё же до банальности простоNikita14.07.2018
11:04:52
11:04:52
данные подгружаются через ajax этим запросом: https://blog.golang.org/.json?jsonp=feedLoaded&_=1531566209567
по тому ты не можешь спарсить их со страницы
Alexandr14.07.2018
11:05:50
11:05:50
тогда вопрос - как получить результирующий текст страницы с уже отработанными скриптами?
GoogleNikita14.07.2018
11:06:18
11:06:18
Это я честно говоря не в курсе, я парсингом не занимаюсь)
? но проблему я обозначил)
Alexandr14.07.2018
11:08:07
11:08:07
ну я так то и понял что скрипт потом контент подкидывает.
Nikita14.07.2018
11:09:12
11:09:12
ага, я просто не знаю как ведёт себя парсер, если он реальную страницу после загрузки парсит, то самое банальное, это попробовать какой нибудь sleep поставить в пару секунд
Alexandr14.07.2018
11:09:26
11:09:26
неа, не помогает, пробовал
Nikita14.07.2018
11:10:21
11:10:21
значит парсер не грузит скрипты или не делает ajax запросы
Alexandr14.07.2018
11:10:42
11:10:42
а вот хотелось бы )
Nikita14.07.2018
11:11:38
11:11:38
? как мне говорит продажник на работе: "Мир не идеален". Я думаю стоит посмотреть информацию на stackoverflow, 100% кто-то уже с этим сталкивался)
Alexander14.07.2018
11:11:48
11:11:48
Смотри в сторону phantom.js selenium.
Alexandr14.07.2018
11:19:58
11:19:58
спасибо, ребята. Погляжу.
The14.07.2018
11:40:30
11:40:30
chrome headless юзай
ребятки, а кодо генерацию вы делаете из шаблонов или из ast?
мне вот надо нагенерировать кучу файлов, и вот думаю, просто втыкать в шаблон строки и писать в файл, или через go/printer и кучу AST делать?
The14.07.2018
11:41:55
11:41:55
погугли
Alexandr14.07.2018
11:42:20
11:42:20
ок спс
Илья14.07.2018
11:49:37
11:49:37
мне вот надо нагенерировать кучу файлов, и вот думаю, просто втыкать в шаблон строки и писать в файл, или через go/printer и кучу AST делать?
зависиьт от контекста, если хватит шаблонов, то используй их, иногда не хватает, тогда приходится ast юзатьGoogle
Pawel14.07.2018
11:55:24
11:55:24
у меня такое чувство, что там какими-то скриптами эта часть подгружается уже после того, как сгенерирован контент и отдан криенту
твой выбор - https://github.com/chromedp/chromedpAlexandr14.07.2018
11:55:48
11:55:48
твой выбор - https://github.com/chromedp/chromedp
Ты его юзал? у него есть конкретно настройка ожидания пока все скрипты не выполнятся? а то в примерах у них написано time.Sleep(time.Second * 5)
?
s3rj1k14.07.2018
12:08:28
12:08:28
The14.07.2018
12:34:59
12:34:59
хромедп на винде выделывался, ещё создал темп файлов на 17 гб
можно как-то через AST получить путь для импорта пакета?
мне нужно в пакете А импортировать пакет B
AdminERROR: S client not available
The14.07.2018
12:56:15
12:56:15
или как это правильно делается? отрезать $GOPATH/src/, и получим путь для импорта?
все, нашел: https://golang.org/pkg/go/build/
Человек14.07.2018
14:22:42
14:22:42
Почему не работает UPDATE текущего запроса в postgre SQL? Код: https://pastebin.com/1BdZeKa6, вывожу SQL добавляются всё новые и новые айдишники... У меня в таблице будет 10000 записей, один бот = 1 одна постоянная запись, бот запоминает ID запроса INSERT которого он сделал, и этот бот будет просто изменять СВОЮ строку путем UPDATE, а ботов может быть сотня, и каждый обновляет свою запись (строку). Тоесть вторую запись один бот - не имеет права создавать
Vladimir14.07.2018
14:26:09
14:26:09
спасибо погляжу
Если тебе нужен 1. Быстрый парсер с малым потреблением памяти (хром/фантом легко по 150 МБ на страницу заберут) 2. Ты знаешь структуру страницы, которую будешь парсить (например, это конкретный инет магазин и т.п) 3. Задача - получить конкретные данные => ты можешь сам из кода генерить хттп реквесты аналогично тем, что делает браузер при обработке скриптов на странице и обрабатывать результаты. Это дольше, чем использовать хедлесс хром/фантомжс, но выигрыш в скорости работы и памяти. Исходящие запросы на странице можешь посмотреть в инструментах разработчика браузера.Alexandr14.07.2018
14:27:16
14:27:16
Если тебе нужен 1. Быстрый парсер с малым потреблением памяти (хром/фантом легко по 150 МБ на страницу заберут) 2. Ты знаешь структуру страницы, которую будешь парсить (например, это конкретный инет магазин и т.п) 3. Задача - получить конкретные данные => ты можешь сам из кода генерить хттп реквесты аналогично тем, что делает браузер при обработке скриптов на странице и обрабатывать результаты. Это дольше, чем использовать хедлесс хром/фантомжс, но выигрыш в скорости работы и памяти. Исходящие запросы на странице можешь посмотреть в инструментах разработчика браузера.
1. не волнует
2. не знаю структуру, страницы всегда разые
3. требуется проверять, присутствует ли на странице определённая строка.Vladimir14.07.2018
14:27:40
14:27:40
Значит это не твой кейс)
Alexandr14.07.2018
14:28:39
14:28:39
да вроде хедлес хром подходит.
@nordborn А ты не в курсе, может есть какой-то вариант обратиться к сайту типа http.Get только каким-то образом всё-таки дождаться всех скриптов? ...
(в условиях неизвестности)
Vladimir14.07.2018
15:11:12
15:11:12
Это не получится. http.Get получает текстовый контент и ничего не знает о скриптах, для него они / просто текст на странице. Чтобы их запустить, нужен браузерный движок.
Alexandr14.07.2018
15:11:39
15:11:39
жаль. ладно, спасибо =) движок так движок.
GoogleVladimir14.07.2018
15:11:50
15:11:50
)
Daniel14.07.2018
15:22:39
15:22:39
GoodMoodDealler14.07.2018
15:23:45
15:23:45
Тип что вообще беда
2 Тим Лида
Daniel14.07.2018
15:24:28
15:24:28
Волшебно
Zaur14.07.2018
15:24:40
15:24:40
Видимо максимальное количество значащих цифр имеют ввиду
Daniel14.07.2018
15:24:48
15:24:48
Но знайте - они ошибаются
GoodMoodDealler14.07.2018
15:25:11
15:25:11
Ну я уже через пакет decimal сделал на всякий случай
Daniel14.07.2018
15:25:17
15:25:17
Zaur14.07.2018
15:25:38
15:25:38
Это понятно конечно
Daniel14.07.2018
15:25:57
15:25:57
Не
Байки про погрешность растут из того, что на границе точности двоичное округление не совпадает с десятичным. Но это не проблема golang
Aliaksandr14.07.2018
15:50:24
15:50:24
Я сначала неправильно прочёл. Спасибо за наводку, это, похоже, то что нужно
только из ub нельзя получить доступ к полям user, не входящим в UserBase, в отличие от наследования. Вернее, можно, но только через пакет unsafe.как мне нужно назвать структуру если она динамическая"1219": {
"order": 25300,
"name": "бла бла",
"type_site": 2,
"is_dop_stat": 0,
"data": {
"97511568": {
"blocks": {
"T": {
"Tm": {
используй fastjson - он парсит все без структур. https://github.com/valyala/fastjson
Алексей14.07.2018
16:21:46
16:21:46
The14.07.2018
16:29:17
16:29:17
GoodMoodDealler14.07.2018
16:29:36
16:29:36
Крч сходил в вайлдбериз и очень сильный осадок остался
The14.07.2018
16:31:30
16:31:30
сколько у них разработчиков в штабе?)
Открыть в Telegram