Всем привет. Питон 3,4. Есть структурированный текстовый файл данных. Много строк. В каждой строке данные с разделителем пробелом. Необходимо работать с этими данными в pymath: из строки взять необходимые данные и построить график. Грубая аналогия данных: координаты перемещения объектов. В строке: номер объекта, время измерения координат, координаты. Объектов много разных. Проблема: файл загружаются в память, делаю из строки list.split. далее пытаюсь обратиться к строке по индексу - не получается. Пытаюсь выбрать строки по наличию в них номера объекта - не получается. Подскажите, куда копать и что гуглить? Я так понял, что хоть файл и в памяти, но оперирую только с последней строкой файла

.join?

>не получается Так и пишет?

подскажите, в чем проблема, создаю 4 файла в директории test - 1,2,3,4 Потом в скрипте вызваю os.listdir(test) и получают список ['2', '3', '4', '1']. Почему 1 самая последняя?

открыл доку, вопрос исчерпан :)

>не получается Так и пишет?

Выдает элемент из последней строки

Выдает элемент из последней строки

Покажи код

открыл доку, вопрос исчерпан :)

нам то расскажи

нам то расскажи

os.listdir(path='.') Return a list containing the names of the entries in the directory given by path. The list is in arbitrary order, and does not include the special entries '.' and '..' even if they are present in the directory.

он в произвольном порядке создает список, его можно потом отсортировать и получить нужную последовательность))

file=open(file.txt) line=[line.split() for line in file] i=1 While i<=(len(line)-1): a=line[i] i=i+1 file.close() print(line(8))

Понял, print(line[8]) работает

Хао! ребята как красиво переписать тест на listview c пагинацией. Всего 13 объектов. По 3 на страницу. Вот как тест написан сейчас. def test_list_of_categories_with_pagination(self): CategoryFactory.create_batch(size=12) for page in range(1, 7): url = reverse('products:list') + '?page={}'.format(page) response = self.client.get(url) if page == 6: self.assertEqual(response.status_code, 404) break self.assertEqual(response.status_code, 200) if page < 5: self.assertEqual(len(response.context['categories']), 3) else: self.assertEqual(len(response.context['categories']), 1)

Теперь куда копать для выборки и сортировки? Например на позиции А в каждой строке стоят номера объектов. Нужно выбрать все строки с определенным номером.

Теперь куда копать для выборки и сортировки? Например на позиции А в каждой строке стоят номера объектов. Нужно выбрать все строки с определенным номером.

[i for i in line if i[0] == 228]

Спасибо, копаю)

пускаю uwsgi с uidd\gid nginx даю ему сокет в директории с chown ngxin"nginx

и один черт получаю пермишн денай

Python version: 2.7.12 (default, Jun 28 2016, 17:49:40) [GCC 4.4.7 20120313 (Red Hat 4.4.7-17)] Set PythonHome to /usr/bin/virtualenv ImportError: No module named site VACUUM: unix socket /var/run/uwsgi/uwsgi.sock removed.

Python version: 2.7.12 (default, Jun 28 2016, 17:49:40) [GCC 4.4.7 20120313 (Red Hat 4.4.7-17)] Set PythonHome to /usr/bin/virtualenv ImportError: No module named site VACUUM: unix socket /var/run/uwsgi/uwsgi.sock removed.

Set PythonHome to /usr/bin/virtualenv - это точно правда?

да

ls /usr/bin/virtualenv /usr/bin/virtualenv

Какие ide для питона есть

Pycharm комьюнити

Ну и idle естественно

да

я так спросил, потому что uwsgi (это же его выхлоп?) тут хочет путь к окружению, а не к какой-то там утилите.

аааа

я так спросил, потому что uwsgi (это же его выхлоп?) тут хочет путь к окружению, а не к какой-то там утилите.

черт, я совсем запутался

find . -iname virt* | tail ./lib/python2.7/site-packages/virtualenv.pyc ./lib/python2.7/site-packages/virtualenv_support ./lib/python2.6/site-packages/virtualenv-15.0.2-py2.6.egg ./lib/python2.6/site-packages/virtualenv-15.0.2-py2.6.egg/virtualenv.py ./lib/python2.6/site-packages/virtualenv-15.0.2-py2.6.egg/virtualenv.pyc ./lib/python2.6/site-packages/virtualenv-15.0.2-py2.6.egg/virtualenv_support ./lib/python2.6/site-packages/virtualenv.py ./lib/python2.6/site-packages/virtualenv-15.0.2.dist-info ./lib/python2.6/site-packages/virtualenv.pyc ./lib/python2.6/site-packages/virtualenv_support

это чтоле?

/usr/bin/virtualenv - это для создания виртуальных окружений. /usr/bin/virtualenv тут_какой_то_путь_для_виртуалки создаёт виртуалку, а вот какой_то_путь и нужно подпихивать в uwsgi.

find . -iname virt* | tail ./lib/python2.7/site-packages/virtualenv.pyc ./lib/python2.7/site-packages/virtualenv_support ./lib/python2.6/site-packages/virtualenv-15.0.2-py2.6.egg ./lib/python2.6/site-packages/virtualenv-15.0.2-py2.6.egg/virtualenv.py ./lib/python2.6/site-packages/virtualenv-15.0.2-py2.6.egg/virtualenv.pyc ./lib/python2.6/site-packages/virtualenv-15.0.2-py2.6.egg/virtualenv_support ./lib/python2.6/site-packages/virtualenv.py ./lib/python2.6/site-packages/virtualenv-15.0.2.dist-info ./lib/python2.6/site-packages/virtualenv.pyc ./lib/python2.6/site-packages/virtualenv_support

а то, что ты нашёл - это потроха virtualenv.

да, я понял

UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 275419 как можно проигнорировать ошибку

UnicodeDecodeError: 'charmap' codec can't decode byte 0x98 in position 275419 как можно проигнорировать ошибку

хы

Сижу в этом же копаюсь )

я спарсил страницу и пытаюсь записать в файл, но вот выдает ошибку

не, у меня не так, я из файла текст тяну и вот такие проблемы

на линуксе такого же не дложно быть?

не большой спец. но в итоге нашел вот такую библу и с текстом стало всё хорошо

http://goo.gl/hEU5ny

на линуксе такого же не дложно быть?

кто такую глупость сказал?

@zagrebelin

source /data/venv/defenv/bin/activate python нормально выполнится?

зачем вообще pythonhome трогать?

зачем вообще pythonhome трогать?

если бы работало - не трогал бы

зачем вообще pythonhome трогать?

а как uwsgi натравить на virtual environment?

а как uwsgi натравить на virtual environment?

ключом virtualenv= а не home=

может это прояснит

ключом virtualenv= а не home=

Наблюдение: [uwsgi] plugin = python3 chdir = /var/www/xxx/ virtualenv = %(chdir)/env а вот в логах: Tue Jul 12 15:54:10 2016 - Set PythonHome to /var/www/xxx//env

я бы хоум на виртуаленв бы поправил

Наблюдение: [uwsgi] plugin = python3 chdir = /var/www/xxx/ virtualenv = %(chdir)/env а вот в логах: Tue Jul 12 15:54:10 2016 - Set PythonHome to /var/www/xxx//env

мы чьи конфиги правим-то?

мы чьи конфиги правим-то?

конфиг дмитрия появился после моего сообщения.

мне еще интересно testite - опечатка?

да

чтото по фрейду видимо

за модуль= я бы прибил

м?

отличный способ запороть сис.патх

ERROR: S client not available

короче сейчас так

cat /etc/nginx/uwsgi.ini | grep -E -v '(^#|^$)' [uwsgi] chdir = /data/www/testsite home = /data/venv master = true processes = 2 socket = /var/run/uwsgi/uwsgi.sock vacuum = true uid = nginx gid = nginx

ImportError: No module named site

бред какойто

даже без уид\гид все равно тоже самое

почему бред, если у тебя нет питона в /data/venv

отличный способ запороть сис.патх

я бы хоум на виртуаленв бы поправил (c) zart virtualenv = /data/venv/defenv

ну собсна да

ls /data/venv/defenv/bin/python2.7 /data/venv/defenv/bin/python2.7

с no-site=true запустилось

правда полезла 500

но это уже чтото

зачем такиео огромные рамки для такого текста?

Диз?ℹн

from selenium import webdriver from bs4 import BeautifulSoup as bs import requests from urllib.request import urlopen browser = webdriver.Firefox() url2 = 'http://metropol-moscow.ru/en/booking/&arrivaldate=2016%252F07%252F24&departuredate=2016%252F07%252F25&rooms=1&roomcodefilter=&adults=2&children=0&lng=en' browser.get(url2) cookies = browser.get_cookies() for cookie in cookies: browser.add_cookie(cookie) soup = bs(browser.page_source, 'lxml') print(soup.find_all("room1_rate1")) browser.quit()

Ребята, пытаюсь тут заскрейпить цены на отель, но бьюсь с проблемой с куками. Файрфокс открывает сайт, а он просит их включить. на browser.add_cookie ругается, мол, You may only set cookies for the current domain. Что я делаю не так? Спасибо

Ах, да. это selenium. Еще и гадкая ссылка прикрутилась :/

selenium принципиально? с ним не работал, подсказать не смогу, но не проще ли использовать grab или srcapy - если нужно выдирать инфу, которая есть на статической странице? или там надо задейтсвовать JS?

beautiful soup справляется со статикой, но проблема именно в JS :/

Эта же страница в статике возвращается сильно обрезанной

webtest лучше супа же (если жс не важен)

Ребята, пытаюсь тут заскрейпить цены на отель, но бьюсь с проблемой с куками. Файрфокс открывает сайт, а он просит их включить. на browser.add_cookie ругается, мол, You may only set cookies for the current domain. Что я делаю не так? Спасибо

Это какой-то баг сайта, потому что когда я захожу на него файрфоксом (руками), то сообщение про куки висит постоянно; если захожу хромом, то оно исчезает через пару секунд.

Это какой-то баг сайта, потому что когда я захожу на него файрфоксом (руками), то сообщение про куки висит постоянно; если захожу хромом, то оно исчезает через пару секунд.

Я более того скажу. По этому скрипту вообще раз на раз не приходится. Где-то на одно из пяти выполнений спокойно к нему пробивается. Даже если чистить куки при закрытии

У меня таких сайтов еще много, но со многими такая проблема.

Хочу понять общий алгоритм. Вроде во всех факах я читаю что надо сделать get_cookies, получить словари с ними, а затем каждый словарь скормить браузеру с помощью add_cookie. Написано, что такое можно выполнить только к одному домену, который был взят с помощью get. Я именно это и делаю, а он все равно пишет you may only set cookies for the current domain.

И останавливает скрипт, при этом вразумительного имени эксепшна там нет, чтобы сделать try

Хочу понять общий алгоритм. Вроде во всех факах я читаю что надо сделать get_cookies, получить словари с ними, а затем каждый словарь скормить браузеру с помощью add_cookie. Написано, что такое можно выполнить только к одному домену, который был взят с помощью get. Я именно это и делаю, а он все равно пишет you may only set cookies for the current domain.

если ты браузер не закрываешь, то вся эта суета с куками не нужна, они силами файрфокса сохраняются.

если ты браузер не закрываешь, то вся эта суета с куками не нужна, они силами файрфокса сохраняются.

Да нет. Открывается же голый файрфокс и в нем сайт просит включить куки, тут не важно были ли они с прошлой сессии. Мне надо, чтобы такое работало на удаленной машине, на которой этот сайт никогда не открывался.

Да нет. Открывается же голый файрфокс и в нем сайт просит включить куки, тут не важно были ли они с прошлой сессии. Мне надо, чтобы такое работало на удаленной машине, на которой этот сайт никогда не открывался.

я открываю этот сайт руками в файрфоксе (настройки по-дефолту) и он просит меня включить куки.