Чтобы сделать, как хочешь ты, нужно немного переписать логику

У меня вопрос не совсем по питону, но раз уж я на нём пишу, решил задать его здесь. Есть задача запускать selenium на удалённом сервере, но сервер, сами понимаете, GUI не поддерживает. Эмулировать дисплей или использовать PhantomJS тоже не выход. Как запустить geckodriver в headless-режиме? Если ответ лежит в гугле по первой ссылке, то извините, я в глаза ебусь.

Чтобы сделать, как хочешь ты, нужно немного переписать логику

а на основании какого принципа изменять логику)?

У меня вопрос не совсем по питону, но раз уж я на нём пишу, решил задать его здесь. Есть задача запускать selenium на удалённом сервере, но сервер, сами понимаете, GUI не поддерживает. Эмулировать дисплей или использовать PhantomJS тоже не выход. Как запустить geckodriver в headless-режиме? Если ответ лежит в гугле по первой ссылке, то извините, я в глаза ебусь.

У хрома headless режим есть

Ещё знакомый делал через заглушку под иксы как-то. Спрошу

У хрома headless режим есть

Да хрен бы с ним что есть, как включить-то?

а на основании какого принципа изменять логику)?

Нужно подумать, как постоянно добавлять новые задачи в евентлуп, не дожидаясь выполнения текущих, а выполненные обрабатывать. Но... Даже с синхронным кодом, с постоянным запросом будет проблемы с сайтом (блокировка)

Да хрен бы с ним что есть, как включить-то?

Тут не на питоне, но смысл должен быть понятен: https://developers.google.com/web/updates/2017/04/headless-chrome

Тут не на питоне, но смысл должен быть понятен: https://developers.google.com/web/updates/2017/04/headless-chrome

Ну что можно аргументы через command line передать это я знаю, только вот как это сделать из питона?

Я видел множество примеров по поиску python selenium chrome headless

Ну что можно аргументы через command line передать это я знаю, только вот как это сделать из питона?

Там ниже есть пример для selenium (по-моему, на js)

Всё, нашёл, как сделать в фф. Всем спасибо.

а на основании какого принципа изменять логику)?

Надо начать с того, что машина, если это одно ядро, выполняет задачи последовательно. Все "одновременные" задачи исполняются за счет переключения контекста с высокой скоростью. Над голым железом есть несколько слоев абстракции: биос, пользовательская ос, интерпретатор питона. В последнем есть еще и гил. В питоне I/O задачи неблокирующиеся. Гил встречая такую старается передать управление на следующую, пока будет эта выполняться. Синхронная модель предполагает, что придется дождаться завершения запроса, получить результат и перейти к следующему. Асинхронная позволяет запустить соединение и перейти к следующей задаче. Если каждый раз устанавливать новое соединение или к разным ресурсам обращаться, это существенный прирост. Но есть же еще сеть, время обработки запроса хостом и т.д. Вот с учетом всех этих переменных и надо строить обработку

Всё, нашёл, как сделать в фф. Всем спасибо.

виртуальный дисплей?

Надо начать с того, что машина, если это одно ядро, выполняет задачи последовательно. Все "одновременные" задачи исполняются за счет переключения контекста с высокой скоростью. Над голым железом есть несколько слоев абстракции: биос, пользовательская ос, интерпретатор питона. В последнем есть еще и гил. В питоне I/O задачи неблокирующиеся. Гил встречая такую старается передать управление на следующую, пока будет эта выполняться. Синхронная модель предполагает, что придется дождаться завершения запроса, получить результат и перейти к следующему. Асинхронная позволяет запустить соединение и перейти к следующей задаче. Если каждый раз устанавливать новое соединение или к разным ресурсам обращаться, это существенный прирост. Но есть же еще сеть, время обработки запроса хостом и т.д. Вот с учетом всех этих переменных и надо строить обработку

но вот же Сергей сделал асинхронно, но прироста не случилось "Нужно подумать, как постоянно добавлять новые задачи в евентлуп, не дожидаясь выполнения текущих, а выполненные обрабатывать." это звучит очень сложно для простой задачи получать текст странички

Нужно подумать, как постоянно добавлять новые задачи в евентлуп, не дожидаясь выполнения текущих, а выполненные обрабатывать. Но... Даже с синхронным кодом, с постоянным запросом будет проблемы с сайтом (блокировка)

нет проблем с синхрнонным кодом с постоянными запросами, час назад поставил делать запросы, по-прежнему отдает 200

нет проблем с синхрнонным кодом с постоянными запросами, час назад поставил делать запросы, по-прежнему отдает 200

посмотри scrapy

Какой помощь?

посмотри scrapy

так это ж то же самое, нет гайдов, как загружать одну и ту стра ницу)

зачем одну и ту же?

Добрый день, друзья! Подскажите, пожалуйста ... Есть СПИСОК (импортированный из ***.txt): 742 Ветеринарные услуги 763 Сельско-хозяйственные кооперативные общества 780 Ландшафтные и садоводческие магазины 1520 Генеральные подрядчики - жилищное и торговое строительство 1711 Генеральные подрядчики по вентиляции, теплоснабжению, и водопроводу 1731 Подрядчики по электричеству 1740 Изоляция, мозаика, штукатурные работы, каменная кладка, облицовка плиткой В консоли он выводится по средством команды: f = open ("list.txt") Каким образом можно организовать поиск и вывод строки по его фрагменту? (напр. ввожу «742», выдаёт «Ветеринарные услуги».

зачем одну и ту же?

потому что мне надо загружать контент 1 и той же страницы, чтобы как можно быстрее среагировать на изменение оного)

Добрый день, друзья! Подскажите, пожалуйста ... Есть СПИСОК (импортированный из ***.txt): 742 Ветеринарные услуги 763 Сельско-хозяйственные кооперативные общества 780 Ландшафтные и садоводческие магазины 1520 Генеральные подрядчики - жилищное и торговое строительство 1711 Генеральные подрядчики по вентиляции, теплоснабжению, и водопроводу 1731 Подрядчики по электричеству 1740 Изоляция, мозаика, штукатурные работы, каменная кладка, облицовка плиткой В консоли он выводится по средством команды: f = open ("list.txt") Каким образом можно организовать поиск и вывод строки по его фрагменту? (напр. ввожу «742», выдаёт «Ветеринарные услуги».

сплит по символу табуляции и занесение в словарь

и число будет ключем словаря

Добрый день, друзья! Подскажите, пожалуйста ... Есть СПИСОК (импортированный из ***.txt): 742 Ветеринарные услуги 763 Сельско-хозяйственные кооперативные общества 780 Ландшафтные и садоводческие магазины 1520 Генеральные подрядчики - жилищное и торговое строительство 1711 Генеральные подрядчики по вентиляции, теплоснабжению, и водопроводу 1731 Подрядчики по электричеству 1740 Изоляция, мозаика, штукатурные работы, каменная кладка, облицовка плиткой В консоли он выводится по средством команды: f = open ("list.txt") Каким образом можно организовать поиск и вывод строки по его фрагменту? (напр. ввожу «742», выдаёт «Ветеринарные услуги».

в консоли пользуйся grep

ну или оставить как есть и иф 12345 ин стринг - принт стринг и цикл

import asyncio from aiohttp import ClientSession import time async def snmp(session, url): async with session.get(url) as response: print(response.status, time.time()) text = await response.text() # Обработка async def main(): async with ClientSession() as session: while True: await snmp(session, 'https://medium.com/') loop = asyncio.get_event_loop() loop.create_task(main()) loop.run_forever()

Выглядит как синхронный код

в консоли пользуйся grep

Спасибо!)

и число будет ключем словаря

Спасибос)))

Вопрос на засыпку как-то можно получить быстро пайчарм про без покупки?

Вопрос на засыпку как-то можно получить быстро пайчарм про без покупки?

Студ аккаунт

Студ аккаунт

Там долго морочиться нужно

Опять фоткать свой студенчский

и слать его куда,да ну

Ну если есть почта, то не особо

Ну если есть почта, то не особо

почта универа?

Почта @edu

Опять фоткать свой студенчский

Феерическая лень

пример?

Феерическая лень

знаешь,ну тип недоверие

Какой домен универа ?

Почты

Там долго морочиться нужно

Они отвечают за час

Почты

ок,возьму с интернета и кину им

Нет

Там нужно подтвердить, ввести код из письма

Ладно,щас буду смотреть

Просто у моего учебного заведения нет почты в примерном домене

как указано в брейн

в mit.edu

Вопрос на засыпку как-то можно получить быстро пайчарм про без покупки?

комьюнити версия

комьюнити версия

нужна возможность работы с джанго

Добрый день, друзья! Подскажите, пожалуйста ... Есть СПИСОК (импортированный из ***.txt): 742 Ветеринарные услуги 763 Сельско-хозяйственные кооперативные общества 780 Ландшафтные и садоводческие магазины 1520 Генеральные подрядчики - жилищное и торговое строительство 1711 Генеральные подрядчики по вентиляции, теплоснабжению, и водопроводу 1731 Подрядчики по электричеству 1740 Изоляция, мозаика, штукатурные работы, каменная кладка, облицовка плиткой В консоли он выводится по средством команды: f = open ("list.txt") Каким образом можно организовать поиск и вывод строки по его фрагменту? (напр. ввожу «742», выдаёт «Ветеринарные услуги».

grep

Вопрос на засыпку как-то можно получить быстро пайчарм про без покупки?

Надо было ёлку решать

нужна возможность работы с джанго

тогда тебе и ноутпад сойдет.

окай

Выглядит как синхронный код

Абсолютно так. Это синхронный код с асинхронными методами. Ищем возможность запускать бесконечный цикл задач с определенным количеством запросов в секунду, с обработкой результатов по мере их возврата

мб тут мультипроцессинг поможет?

Абсолютно так. Это синхронный код с асинхронными методами. Ищем возможность запускать бесконечный цикл задач с определенным количеством запросов в секунду, с обработкой результатов по мере их возврата

так тут можно использовать стандартные корутины. /—>send—> | | send—>send—>send->...

так тут можно использовать стандартные корутины. /—>send—> | | send—>send—>send->...

это понятно, хотелось бы "крошки печения", чтобы найти к примеру для этой задачи дорогу

мб тут мультипроцессинг поможет?

Подозреваю, что даже треды помогут

не надо треды, на впс 1 ядро по идее

Подозреваю, что даже треды помогут

я думал об этом, если бы ребенок не захотел кушать, написал бы элементарный пример, там не сложно.

ERROR: S client not available

не надо треды, на впс 1 ядро по идее

И чо

Вообще не понял как связано

а, я перепутал их друг с другом

С кем?

Multithreading Multiprocessing

И все равно, при чем тут ядра?

multiprocessing library uses multiple CPU cores

При наличии

не надо треды, на впс 1 ядро по идее

когда одно ядро треды еще более менее, когда их несколько будет плохо

from threading import Thread import requests import time class myClassA(Thread): def __init__(self): Thread.__init__(self) self.daemon = True self.start() def run(self): while True: r = requests.get('https://medium.com/_/api/users/913e7ed84452/profile/stream') print(r.status_code, time.time()) for i in range(10): myClassA()

смог выбить time paradox из вызова time.time() в разных потоках без синхронизации? 1| time: 10.003 2| time: 10.006 3| time: 10.001 Типа такого

нет, а должен был?

такая ситуация очень вероятна.

Но если кто-то объяснит или опровергнет - было бы клево.

from threading import Thread import requests import time class myClassA(Thread): def __init__(self): Thread.__init__(self) self.daemon = True self.start() def run(self): while True: r = requests.get('https://medium.com/_/api/users/913e7ed84452/profile/stream') print(r.status_code, time.time()) for i in range(10): myClassA()

ты решил медиум заспамить? Они тебя через некоторое время по 429 статус коду протянут

ну я выберу такую частоту, с которой они не будут меня блоичть

так а нафига тогда потоки?)))))

в смысле нафига без потоков 3 раза в секунду они не блочат с десятью потоками получается 30 раз в секунду, они не блочат пока что

в смысле нафига без потоков 3 раза в секунду они не блочат с десятью потоками получается 30 раз в секунду, они не блочат пока что

просто не заметили пока

интерпретатор)

просто не заметили пока

я не один их долблю) и что значит не заметили)? это ж автоматика решает, нет?

сервера можно настроить миллионом разных способов

но все равно не вижу, в чем тут проблема, если перестанут 200 отдавать, снижу количество потоков

я бы банил по айпи таких вот дудосеров ?

если бы у них были вебсокеты, все были бы только рады)

Чтобы вывод был не такой корявый, лучше использовать mutex from threading import Thread, Lock ... mutex = Lock() ... try: mutex.acquire() print(response.status_code, time()) finally: mutex.release() ...

я бы банил по айпи таких вот дудосеров ?

ip не проблема)

Чтобы вывод был не такой корявый, лучше использовать mutex from threading import Thread, Lock ... mutex = Lock() ... try: mutex.acquire() print(response.status_code, time()) finally: mutex.release() ...

спасибо)

если бы у них были вебсокеты, все были бы только рады)

никто не мешает keep-alive поставить и переиспользовать соединение

я в это не умею)