я тоже

Всех Приветствую! Есть ли на просторах интернета, нормальная русская информация по ТЕЛЕГРАМ АПИ, работаю над ботом и не могу, сделать два разных события при нажатии на кнопки, дали совет через "bot.register_next_step_handler" делать, но что-то совсем не идёт, ребят прошу вас помочь, а то проект тормозит весь(. Спасибо!

дядьки имеем файл в котором 20к ссылок. Запускаем многопоточный парсер, который дергает с каждой страницы по 10ть кусков текста. Все это складываем в огромный список в памяти. Через час все это дело у меня зависло. Посоветуйте как это дело написать нормально. И куда это все дело девать чтоб при зависании скрипта, можно было начать с похеренного места

дядьки имеем файл в котором 20к ссылок. Запускаем многопоточный парсер, который дергает с каждой страницы по 10ть кусков текста. Все это складываем в огромный список в памяти. Через час все это дело у меня зависло. Посоветуйте как это дело написать нормально. И куда это все дело девать чтоб при зависании скрипта, можно было начать с похеренного места

Делаешь пул из тредов/процессов. Определяешь на глаз сколько тебе нужно. Потом делаешь очередь фиксированного размера, складываешь в очередь ссылку. Результаты сохраняешь куда угодно

дядьки имеем файл в котором 20к ссылок. Запускаем многопоточный парсер, который дергает с каждой страницы по 10ть кусков текста. Все это складываем в огромный список в памяти. Через час все это дело у меня зависло. Посоветуйте как это дело написать нормально. И куда это все дело девать чтоб при зависании скрипта, можно было начать с похеренного места

если дело в памяти то почему бы не складывать например в базу?

дядьки имеем файл в котором 20к ссылок. Запускаем многопоточный парсер, который дергает с каждой страницы по 10ть кусков текста. Все это складываем в огромный список в памяти. Через час все это дело у меня зависло. Посоветуйте как это дело написать нормально. И куда это все дело девать чтоб при зависании скрипта, можно было начать с похеренного места

Для восстановления можешь ввести флаги "начал парсить", "закончил парсить" (или больше) и ставить их каждой ссылке, которая пришла. Так и восстановишь.

Классно, на этот раз с заданиями рекурсия выручила

@gloomy_philosopher Сколько там всего ключей? Или всем кто 10 дней порешает раздадут?

Всех Приветствую! Есть ли на просторах интернета, нормальная русская информация по ТЕЛЕГРАМ АПИ, работаю над ботом и не могу, сделать два разных события при нажатии на кнопки, дали совет через "bot.register_next_step_handler" делать, но что-то совсем не идёт, ребят прошу вас помочь, а то проект тормозит весь(. Спасибо!

русской доки по телегоапи ты скорее всего не найдёшь. Т.к. вопрос всплыл про некст_степ_хендлер - советую обратиться в @pyTelegramBotAPI_talks_ru

Делаешь пул из тредов/процессов. Определяешь на глаз сколько тебе нужно. Потом делаешь очередь фиксированного размера, складываешь в очередь ссылку. Результаты сохраняешь куда угодно

немножко не понял по поводу очереди ссылки

сейчас покажу как оно у меня реализовано

Всех Приветствую! Есть ли на просторах интернета, нормальная русская информация по ТЕЛЕГРАМ АПИ, работаю над ботом и не могу, сделать два разных события при нажатии на кнопки, дали совет через "bot.register_next_step_handler" делать, но что-то совсем не идёт, ребят прошу вас помочь, а то проект тормозит весь(. Спасибо!

берёшь библиотеку читаешь документацию, примеры, сам код решаешь свою проблему профит

Всех Приветствую! Есть ли на просторах интернета, нормальная русская информация по ТЕЛЕГРАМ АПИ, работаю над ботом и не могу, сделать два разных события при нажатии на кнопки, дали совет через "bot.register_next_step_handler" делать, но что-то совсем не идёт, ребят прошу вас помочь, а то проект тормозит весь(. Спасибо!

ну и по теме чтобы перехватить два разных события, нужно под них сделать хэндлеры

немножко не понял по поводу очереди ссылки

threading.Queue

threading.Queue

Там можно задать размер очереди. Эта очередь на все треды одна. Одним тредом можно парсить файл и ставить ссылки в очередь. Другими тредами брать из очереди и парсить. Размер очереди фиксированный, чтобы тот тред, который парсит файл не выгрузил его весь файл в память

Научу как делать бесплатно много аккаунтов в Telegram.

Научу как делать бесплатно много аккаунтов в Telegram.

Бесплатный сыр только в мышеловке

у тебя в голове только, реально бесплатные аккаунты.

Находим сервисы которые предоставляют виртуальные номера Регаем левые акки в этих сервисах Получаем номер и на него заходим в телеграм

@gloomy_philosopher Сколько там всего ключей? Или всем кто 10 дней порешает раздадут?

Получат не все. Число ключей ограниченно

Да и тратим на них деньги

Да и тратим на них деньги

SafeUM на андроид бесплатно 3 номера

Научу как делать бесплатно много аккаунтов в Telegram.

иди в какой нибудь чатик по бм затирай

Вот ты и показал всем кто ты есть

капец, телега потеряла мои сообщения

http://dpaste.com/0H824H4

вот как я делаю

http://dpaste.com/0H824H4

Выглядит как будто тебе нужен датакласс

Словарь с фиксированной структурой - сомнительно как-то

Выглядит как будто тебе нужен датакласс

почему?

погуглил, есть такая штука: lock = threading.Lock() def write_to_file(f, text, file_size): lock.acquire() # пишем файл lock.release()

почему?

Ну словарь обычно подразумевает неизвестную структуру. По нему вообще не понятно что он может содержать. Либо его используют для хранения произвольных пар ключ-значение, либо как промежуточный этап парсинга и потом запихиваюи в класс с фиксированной структурой

погуглил, есть такая штука: lock = threading.Lock() def write_to_file(f, text, file_size): lock.acquire() # пишем файл lock.release()

Эмм. А пул у тебя многопроцессный или многопоточный?

Ну словарь обычно подразумевает неизвестную структуру. По нему вообще не понятно что он может содержать. Либо его используют для хранения произвольных пар ключ-значение, либо как промежуточный этап парсинга и потом запихиваюи в класс с фиксированной структурой

ну в любом случае это пока набросок. Я еще толком даже не знаю какие данные я буду выдергивать со страницы. То что в цикле while по любому будет переписываться

я не знаю как узнать какой у меня пул)))

но в диспетчере показывает кучу запущенных питонов во время выполнения

я не знаю как узнать какой у меня пул)))

А что за пул вообще? Как ты его создал?

А что за пул вообще? Как ты его создал?

from multiprocessing import Pool

Ну вот

Логично, не?

Тебе обычный Лок не поможет

тупонул

Ты вообще, что делаешь?

Ты вообще, что делаешь?

Парсер сайта

Это я вижу

Зачем процессы?

Без процессов будет кардинально долго

И зачем файлы?

это даже на глаз заметно

И зачем файлы?

Данные которые распарсил сохраняю в файл

Ну для запрета одновременного доступа к файлу придумали файловые локи

А вообще, возьми базу данных просто

да я уже думал по поводу БД. Просто БД это как с двустволки по мухе

Ну тогда файловые локи гугли

ОС какая?

пишу на венде, но работать будет на убунте

да я уже думал по поводу БД. Просто БД это как с двустволки по мухе

Зато не будет полной перезаписи файла ради добавления одной строки

Привет всем, кто шарит my_ sql напишите мне плз в личку, просто группа в телеграмме my_sql чет не активная)

пишу на венде, но работать будет на убунте

Упс. Вот тут будут проблемы. Файловые локи на Винде и линуксе вообще разные.

Привет всем, кто шарит my_ sql напишите мне плз в личку, просто группа в телеграмме my_sql чет не активная)

Пиши тут, чё уж

И там в названии нет чёрточки

Ребята помогите плз я уже почти все сайты облазил, как мне обновить определенную запись, например хочу изменить первую запись, или хочу изменить четвертую запись, подскажите плз)

My_sql

Ребята помогите плз я уже почти все сайты облазил, как мне обновить определенную запись, например хочу изменить первую запись, или хочу изменить четвертую запись, подскажите плз)

Что значит "первую" или "четвертую"?

Вообще update

Это я знаю я имею ввиду определенную запись

по pk обратиться и обновить не?

pk?

Ну в апдейте пишешь условие. Например id указываешь и всё

pk?

Primary key

ну да, я из джанги

точнее с ее орм

Блин точно я совсем забыл про него, спасибо

Про pk нельзя забывать.

Это единственное что обязательно должно быть у записи

в sqlite можно в многопоток писать???

Понял, просто новичок в этом деле

в sqlite можно в многопоток писать???

Можно, но там есть особенности

например?

Ну по дефолту ты будешь ошибку ловить

Надо как-то включить

Таймауты там

Wal-mode возможно

короч я не знаю что делать

паника!

ну на одну страницу тратится не меньше секунды. 26К страниц. 26000/3600 = 7,2 часа

Долбить один сайт 7 часов...