
Nikolay
26.09.2017
12:45:34

/dev
26.09.2017
12:45:41

Nikolay
26.09.2017
12:45:52
но вообще да

Google

Nazar
26.09.2017
12:48:39
Народ.
Пытаюсь спарсить сайтец. Проблема в следующем.
Если курлом тыкнуться, то все ок, данные прилетают.
Если тыкаюсь через requests, то нет
https://gist.github.com/anonymous/02c5560f7d0a217b6e7f0c94ea1d2115

Nikolay
26.09.2017
12:49:25

Nazar
26.09.2017
12:49:45
так я хидеры и куки вставил те, которые в курле юзаются

Nikolay
26.09.2017
12:50:11
ну, видимо, не все вставил. На идентичные запросы будет идентичный ответ
посмотри в вайршарке, например

Mike
26.09.2017
12:51:27
ты куки не отправляешь реквестом

Андрей
26.09.2017
12:51:51

Mike
26.09.2017
12:52:04
покажи где это в коде
requests
переменная cookie не использована нигде

Андрей
26.09.2017
12:53:04

Олежка
26.09.2017
12:53:32
Уходи.

Google

Mike
26.09.2017
12:54:16
еще кстати ItemId в curl один раз упомянута в реферере

Nazar
26.09.2017
12:55:39

Mike
26.09.2017
12:55:41
а в реквесте дважды

Nazar
26.09.2017
12:56:21
я и в хидере их отправлял и как параметр передал
r = session.get(base_url, headers=headers, params=params, data=data, cookies=cookie)

Mike
26.09.2017
12:56:55
ну и хз, что за боди в гет запросе
эт как-то странно
но скорее к сайту вопрос чем к тебе
попробовал твой curl, он на SSL выругался
так что мб у тебя в системе чет написано для керла чтобы он не ругался
а requests не подхватывает это

Nazar
26.09.2017
12:58:54
а покажи пожалуйста, что за ошибка?

Mike
26.09.2017
12:59:25
а мб это моя чисто

Nazar
26.09.2017
13:00:01
из-за цепочки сертификатов скорее всего ругается
мне то ответ прилетает

Mike
26.09.2017
13:00:21
а что тебе реквестс-то говорит?

Nazar
26.09.2017
13:01:12

Mike
26.09.2017
13:01:54
и это неправильно тем, что ...?

Google

Nazar
26.09.2017
13:05:48

Anna
26.09.2017
13:11:10
здрасте
urllib.request.urlretrieve(url)
принимает только url с http?
то есть, чтобы юзер загрузил файл с компа необходимо поднять http-сервер?

Ruslan
26.09.2017
13:26:00
камрады, кто крутил aiomongodel? как там поискать по RefField ?

Nikolay
26.09.2017
13:26:26

Anna
26.09.2017
13:26:40
чтот не так?

Kirill
26.09.2017
13:27:18

Anna
26.09.2017
13:28:20
ну да, идея в том, что пользователь загружает файл csv, а сервер должен обработать данные с него

Romka
26.09.2017
13:30:38
Всем привет. Как развернуть три бота для месенджеров на одном серваке? Создать 3 папки в корне, установить 3 виртуалки и запускать в фоне по очереди с разными портами?

Yaroslav
26.09.2017
13:32:04

Romka
26.09.2017
13:32:46
докер))
Есть какие-то гайды как такое сделать под докером?

Nikolay
26.09.2017
13:33:18
Что за боты?

Kirill
26.09.2017
13:33:22
Раз у тебя возникают такие вопросы - попробуй начать с запуска в screen, чтобы понимать, что вообще происходит.

Romka
26.09.2017
13:33:52
на винде
но как такое сделать на сервере я не шарю

b0g3r
26.09.2017
13:35:03

Romka
26.09.2017
13:35:41
По этому гайду попробовал, спустя 3 часа получилось поднять одного бота https://www.8host.com/blog/razvertyvanie-veb-prilozheniya-flask-na-osnove-uwsgi-i-nginx-na-centos-6-4/

Google

Kirill
26.09.2017
13:36:22
Телеграмские боты же ничего не слушают, а сами ходят в api телеги с long polling, про какие порты ты говоришь?)
Короче, давай я напишу тебе в личку.

Admin
ERROR: S client not available

Mike
26.09.2017
13:36:39

Ruslan
26.09.2017
13:37:19
посоветуйте чатик асинхронщиков

Kirill
26.09.2017
13:37:29

b0g3r
26.09.2017
13:38:06

Nikolay
26.09.2017
13:38:26

Nikolay
26.09.2017
13:59:02
Боты

Corwin
26.09.2017
14:01:20
Приветствую всех, помогите нубу вместиться в память. Делаю матрицу расстояний, 20к значений. Матрица 20к*20к. np.ones(20000*20000).reshape(20000,20000) выдает MemoryError . Пока придумал такую штуку, как записывать одну строку из 20000 в один массив, потом добавлять её в общую матрицу, но в сути то ему всё равно придется 20к^2 значечний в памяти держать?

b0g3r
26.09.2017
14:02:03
почему 20000*20000?
почему не np.ones((20000, 20000)), зачем reshape ?
dtype ещё поиграйся

Kolyann
26.09.2017
14:03:07

Nikolay
26.09.2017
14:03:24
Купи памяти бродяга

Kolyann
26.09.2017
14:03:25
(на случай если значений в самой матрице мало)

Tigran
26.09.2017
14:03:26
ну энивей печально, если два экземпляра матрицы не помещается в память
что ты с ней сможешь сделать-то в таких условиях

Nikolay
26.09.2017
14:03:52
Память дешевле работы программиста

Google

Nikolay
26.09.2017
14:03:57
Купи память

Nikolay
26.09.2017
14:04:06
заюзай dask
вместо numpy
тот же API, но умеет out of core

Nikolay
26.09.2017
14:04:26

b0g3r
26.09.2017
14:04:27
я вангую, что достаточно dtype поставить в нужное значение

Corwin
26.09.2017
14:04:35

Nikolay
26.09.2017
14:05:19
Аренду вдс с нужным количеством памяти

b0g3r
26.09.2017
14:06:25
https://docs.scipy.org/doc/numpy-1.13.0/user/basics.types.html

Corwin
26.09.2017
14:07:58