пишу телерпам бот и он парсит много сайтов, это занимает много времени и каждый новый юзер замедляет работу. как это можно распараллелить?

пишу телерпам бот и он парсит много сайтов, это занимает много времени и каждый новый юзер замедляет работу. как это можно распараллелить?

разделить бота и парсер в разные процессы, так хоть бот тормозить не будет

разделить бота и парсер в разные процессы, так хоть бот тормозить не будет

а как

Да хоть celery

Хоть руками очередь

а как

Асинхронно в отдельных потоках?

Хоть руками очередь

ну у меня сейчас 2 программы отдельных связанных через базу данных))

Ну вот

я вот по человечески решил сделать

Может тебе оптимизировать парсеры? Ну бд точно не выкинуть, если ты парсишь и сохраняешь для всех пользователей

Привет, есть спарсенные 1к статей(текст), я их очистил и закинул очищенный текст(lower, stem, etc) в dataframe. Использую TfidfVectorizer чтобы превратить текст в цифры и закинуть в байевский классификатор. Работает без проблем на сплите трейн и тест. Но когда я пытаюсь классифицировать текст из другого сайта пройдя ровно те же препроцессы, у меня .predict выдает ни один класс, как у меня было в трейн-тест сплите, а 700, при параметре в TfidfVectorizer(max_features=700). Может кто-нибудь показать где у меня неправильно?

или есть у кого-нибудь пример NLP проекта с реализацией на sklearn?

Ребят объясните пожалуйста, что такое Rest, и для чего эта архитектура нужна?

я вот по человечески решил сделать

поддерживаю идею с celery

почему если код на сервере звпускать через python3 code.py всё работает а если через systemctl код подвисает

Привет, есть спарсенные 1к статей(текст), я их очистил и закинул очищенный текст(lower, stem, etc) в dataframe. Использую TfidfVectorizer чтобы превратить текст в цифры и закинуть в байевский классификатор. Работает без проблем на сплите трейн и тест. Но когда я пытаюсь классифицировать текст из другого сайта пройдя ровно те же препроцессы, у меня .predict выдает ни один класс, как у меня было в трейн-тест сплите, а 700, при параметре в TfidfVectorizer(max_features=700). Может кто-нибудь показать где у меня неправильно?

а ты выбирай среди них тот, у которого предсказание максимальное

ну и плюс 1000 это мало, тем более если фичей целых 700

ты overfit получил наверняка - то есть на этой 1000 он научился выдавать правильные ответы, но зато на любом другом тексте будет сбоить

у меня есть пример, но там sklearn чуть-чуть сбоку используется и пример очень минималистичный

почему если код на сервере звпускать через python3 code.py всё работает а если через systemctl код подвисает

Криво запускаешь

Криво запускаешь

это как?)

почему если код на сервере звпускать через python3 code.py всё работает а если через systemctl код подвисает

(вангую) где-то в коде указан путь относительный путь к файлу, и при запуске через systemd он указывает не туда, куда надо?

можно?

у меня есть пример, но там sklearn чуть-чуть сбоку используется и пример очень минималистичный

Ребят объясните пожалуйста, что такое Rest, и для чего эта архитектура нужна?

rest не существует, это фантастика есть только json-rpc и иже с ними

(вангую) где-то в коде указан путь относительный путь к файлу, и при запуске через systemd он указывает не туда, куда надо?

я всё в одной папке храню

и доступ идет по имени

да и ошибка бы ловилась

ну, тебе виднее, как ты ошибки обрабатываешь.

ну и код то работает через обычный запуск

а в логах чо пишет?

и доступ идет по имени

что значит эта фраза?

в смысле логи от сервиса

что значит эта фраза?

name.db

в смысле логи от сервиса

Приходит ветеринар к терапевту. Терапевт: — На что жалуетесь? Ветеринар: — Нет, ну так каждый может!

в смысле логи от сервиса

а как их получить

journalctl там

name.db

неужели я угадал? WorkingDirectory= в .system файле пропиши с путём к твоему скрипту, что будет

c = sqlite3.connect(database_file)

database_file = db.sqlite'

вот так оно подключается

да и нет

у меня код работает как бы

минут 5

а потом происходит таймаут на 5 минут

он засыпает и не просыпается

# sllep def call_at_interval(period, callback, args): while True: sleep(period) callback(*args) # sllep def setInterval(period, callback, *args): Thread(target=call_at_interval, args=(period, callback, args)).start()

setInterval(interval, general)

вот так он спит

вот так он спит

systemctl status твойсервис что показывает в это время?

systemctl status твойсервис что показывает в это время?

он печатает то что процесс вывел в print перед засыпанием

он печатает то что процесс вывел в print перед засыпанием

состояние Active: active (running) ?

root@vz:~# systemctl status parser ● parser.service - bot 'bot Loaded: loaded (/etc/systemd/system/parser.service; en Active: active (running) since Wed 2018-06-20 00:36:45 EDT; 13min ago Main PID: 1504 (python3.6) CGroup: /system.slice/parser.service └─1504 /usr/bin/python3.6 /usr/local/bin/bots/lub Jun 20 00:37:55 vz python3.6[1504]: www Jun 20 00:37:55 vz python3.6[1504]: qqq Jun 20 00:37:55 vz python3.6[1504]: base_init--------stop--------base_init

состояние Active: active (running) ?

вот

¯\_(ツ)_/¯ мне кажется, нужно или обмазывать всё детальными логами, или узнавать как цеплять stdin\stdout к сервису и дебажить там, или через remote debugging разного рода.

а чем мои функции слип лучше обычного time.sleep() в бесконечном цикле

есть спарсенные 1к статей(текст), я их очистил и закинул очищенный текст(lower, stem, etc) в dataframe. Использую CountVectorizer и TfidfTransformer чтобы превратить текст в цифры и закинуть в байевский классификатор. Работает без проблем на сплите трейн и тест. Но когда я пытаюсь классифицировать текст из другого сайта пройдя ровно те же препроцессы, у меня .predict выдает предсказание для каждого слова

Ребят объясните пожалуйста, что такое Rest, и для чего эта архитектура нужна?

а это разве архитектура?

>Design Mistakes in Node

http://tinyclouds.org/jsconf2018.pdf

Гугл так пишет

ERROR: S client not available

Что архитектура

Народ, всем привет. Возникла проблема с python-magic. >>> from magic import Magic >>> magician = Magic(mime=True, uncompress=True, mime_encoding=True) >>> magician.from_file('/tmp/files/archives/example_multicontent_multilevel.zip') 'gzip ERROR: Stdin has more than one entry--rest ignored compressed-encoding=application/zip; charset=binary'

Кто-нибудь сталкивался? Запускается в docker, образ python:3.6-slim

Версия python-magic == 0.4.15

а это разве архитектура?

архитектура API?

архитектура API?

на rest есть спецификация/стандарт?

бабин - лаборатория хакера. кто читал? как книга? там только скрипты?

Привет всем

TypeError: Parameterized generics cannot be used with class or instance checks бля, нахуя вообще тогда было добавлять статик тайпинг, если на тип даже не проверишь и на инстанс

питон такой питон

TypeError: Parameterized generics cannot be used with class or instance checks бля, нахуя вообще тогда было добавлять статик тайпинг, если на тип даже не проверишь и на инстанс

Эт ты как вообще получил

TypeError: Parameterized generics cannot be used with class or instance checks бля, нахуя вообще тогда было добавлять статик тайпинг, если на тип даже не проверишь и на инстанс

https://github.com/python/mypy/issues/949 Открываешь код майпая и контрибутишь.

Эт ты как вообще получил

получила: Connection = Dict[str, T] if not isinstance(params, Connection) and not isinstance(config_dst, str):

https://github.com/python/mypy/issues/949 Открываешь код майпая и контрибутишь.

охуенное решение

оупен сорс

получила: Connection = Dict[str, T] if not isinstance(params, Connection) and not isinstance(config_dst, str):

Не надо пытаться использовать питон как с++

таки я не согласен

Там типизация не для этого

Народ, кто нибудь парсил x-thrift?

Ребята, если есть желающие поработать, пишите мне в директ.

За еду*

Жильё

лал

/me - нежелающий поработать

/me

/me

/me