Делаю паузы между запросами по 5-10сек

Есть смысл запускать без селери в async/await шедулере

Ребята, кто-нибудь встречался с такой фигней: celery реагирует на таск входящий ровно на второй раз.

а в логах что

@Tishka17 эм... я чота ржу... не могу не поделиться. Этот крендень рассказывал что ему приходят байты в неизвестной кодировке говоря о DNS пакете

гарри поменьше умничей в чате... while True: print('wait data...') conn, addr = udp_socket.recvfrom(1024) d = DNSRecord.parse(conn) print('client addr: ', addr[0]) sub = str(d.q.qname) print('client sub_domain:', sub)

вот и весь затык

а в логах что

ну я в режиме дебага, просто сам селеои не реагирует

так а в режиме дебага что

но второй раз реагирует гарантировано

Тогда лучше такую таску разбить на кучу мелких, а то получается задачка одного юзера впустую мелет воздух и занимает ресурсы, которые могли бы использоваться для выполнения задач других юзеров.

Понятно. Спасибо всем за ответы.

так а в режиме дебага что

просто ничего, тишина

как будто таск не прилетает

значит не прилетает)

Привет! У меня есть жирная цсв размером пару гигабайт, есть колонка user_id. Я использую пандас, чтобы работать с этой csv. Подозреваю, что есть какие то способы произвести в dataframe индексацию по user_id, чтобы при дальшейшем использовании данного поля при поиске по csv , поиск происходил не час или два , а мгновенно. Я погуглил, попробовал, но чет ничего не ускоряется. Подскажите как ускорить поиск. df = pd.read_csv('kek.csv') a = df['user_id'][df.user_id == 1]

Привет! У меня есть жирная цсв размером пару гигабайт, есть колонка user_id. Я использую пандас, чтобы работать с этой csv. Подозреваю, что есть какие то способы произвести в dataframe индексацию по user_id, чтобы при дальшейшем использовании данного поля при поиске по csv , поиск происходил не час или два , а мгновенно. Я погуглил, попробовал, но чет ничего не ускоряется. Подскажите как ускорить поиск. df = pd.read_csv('kek.csv') a = df['user_id'][df.user_id == 1]

Запихнуть все в dict и хранить его pickle-ом?

Да, идея плохая

Я пропустил строчку где говорится, что файл двухгигабайтный

Или переложить CSV в базу данных. С индексом.

Или переложить CSV в базу данных. С индексом.

Вот да, к примеру

Postgresql как раз для этих целей была создана

Но ведь люди пользуются пандасом специально для обработки подобных данных. Там есть нечто для ускорения и перфоманса. Дата инженеры хранять инфу в цсвшках и дальше обрабатывают. Ведь всегда есть способ достать информацию из памяти быстрее, чем из памяти какой-то бд. Нужно лишь как-то сделать индексацию, хеш таблицу по столбцу в датафрейме, но я читаю доку и не понимаю как(

Я пропустил строчку где говорится, что файл двухгигабайтный

а почему нет?

2 гигибайта, не дв терабайта

Всем привет! Кто-то решал рекапчи?

Всем привет! Кто-то решал рекапчи?

решал

Доброго дня. Есть вопрос по структуре кода: сейчас у меня есть на руках система для распознавания и выгрузки в жсон текста определенных полей отсканированных бухгалтерских документов. Проблема в том, что качество документов очень разное, а система сейчас написана как вермишель из функций, которые идут по следующей цепочке: рспознавание типа документа -> выделение таблиц -> нарезка таблиц на ячейки -> обработка каждой ячейки как отдельного изображения с помощью системы OCR и выгрузка результатов в текстовый документ -> сборка всех текстовых доков в один итоговый файл жсона. Можете ли дать мне какие-нибудь рекомендации по переводу этого кода в человеческий вид? На PyImageSearch и в учебниках OpenCV, например, такая вермишель из функций считается совершенно нормальным делом, а теперь ее надо в веб-сервис переклепать. Тут падения сервера из-за порченного документа совсем не нужны.

решал

С помощью сервиса recapture

С помощью сервиса recapture

Опиши вопрос целиком, как парень выше сделал)0 может кто-то и поможет

Всем привет! Кто-то решал рекапчи?

Есть смысл кинуть вам ссылку на номета?

Доброго дня. Есть вопрос по структуре кода: сейчас у меня есть на руках система для распознавания и выгрузки в жсон текста определенных полей отсканированных бухгалтерских документов. Проблема в том, что качество документов очень разное, а система сейчас написана как вермишель из функций, которые идут по следующей цепочке: рспознавание типа документа -> выделение таблиц -> нарезка таблиц на ячейки -> обработка каждой ячейки как отдельного изображения с помощью системы OCR и выгрузка результатов в текстовый документ -> сборка всех текстовых доков в один итоговый файл жсона. Можете ли дать мне какие-нибудь рекомендации по переводу этого кода в человеческий вид? На PyImageSearch и в учебниках OpenCV, например, такая вермишель из функций считается совершенно нормальным делом, а теперь ее надо в веб-сервис переклепать. Тут падения сервера из-за порченного документа совсем не нужны.

Погугли celery chain

Возникли трудности в решении рекапчи от google. Капчи решаю с помощью стороннего сервиса. При заполнении скрытого поля в рекапчи через браузер, все получается четко. А вот если делать это в фоне, то Гугл не принимает решение. Возможно кто-то сталкивался с этим и поможет в решении.

Погугли celery chain

Спасибо. У меня самая большая проблема - выделение таблицы и разделение ее на ячейки для тессеракта, потому что трансформация для создания четких контуров приводит к появлению пустых ячеек внутри ячеек, контура которых образовываются из случайных дефектов изображения вроде чернильных точек или остаточного шума. А без этой трансформации несколько ячеек могут слиться воедино из-за обратного дефекта - нечеткого контура.

Здорова хлопцi

Но ведь люди пользуются пандасом специально для обработки подобных данных. Там есть нечто для ускорения и перфоманса. Дата инженеры хранять инфу в цсвшках и дальше обрабатывают. Ведь всегда есть способ достать информацию из памяти быстрее, чем из памяти какой-то бд. Нужно лишь как-то сделать индексацию, хеш таблицу по столбцу в датафрейме, но я читаю доку и не понимаю как(

но это ж не значит что люди во всех случаях берут огромный CSV пихают в память и с ним работают. хотя 2 ГБ это не так много. и еще это зависит от характера операций над данными. пандас тебе позволяет читать свой огромный файл блоками, но если тебе нужен доступ к случайным данным или индекс, очевидно CSV не самый подходящий для этого формат.

но это ж не значит что люди во всех случаях берут огромный CSV пихают в память и с ним работают. хотя 2 ГБ это не так много. и еще это зависит от характера операций над данными. пандас тебе позволяет читать свой огромный файл блоками, но если тебе нужен доступ к случайным данным или индекс, очевидно CSV не самый подходящий для этого формат.

Так какая разница csv это или я из json вытащил инфу и создала dataframe или генерирую его случайно. Теперь то у меня dataframe и я занимаюсь поисками значений в нем по фильтру одного столбца все время.

удоли

Требуется Python-lead Успешная западная веб-компания в области специализированного интернет-поиска запускает новый продукт, рассчитанный на конечных пользователей. Ищем талантливых и опытных разработчиков на Python 3. Обязанности: Проектирование и разработка архитектуры продукта и модулей, разработка бэкенда на python > 3.6 Распределение задач в рамках команды разработки Масштабирование архитектуры проекта по мере роста нагрузки и функционала Ревью кода Требования: Опыт коммерческой веб-разработки от 3 лет Отличное владение Python 3 и современными фреймворками (Django Rest Framework, Flask, Tornado и т.д. - хотя бы одним, но отлично) Знание SQL (Postgres), опыт проектирования БД, умение писать и оптимизировать сложные запросы (в продукте ОРМа не будет) Заработная плата: 200-350т.р. на руки Контакты для связи: hr@sci-guide.com #вакансии #работа #москва #IT #python #jobs

хай народ! а кто-нибудь решал такую траблу? ERROR: Exception: Traceback (most recent call last): File "/opt/venv/lib/python3.7/site-packages/pip/_internal/req/req_tracker.py", line 60, in add with open(entry_path) as fp: FileNotFoundError: [Errno 2] No such file or directory: '/tmp/pip-req-tracker-gbn92j9q/d0cc965cc7' делаю python setup.py install а внутри пару строк вида pipmain(['download', 'git+ssh://git@repo.git@v1', f'-d{extrasFolder}']) перед тем как упасть, есть строка Re-using requirements tracker '/tmp/pip-req-tracker-gbn92j9q. выглядит как будто этот трекер создается на первом download, а потом удаляется сразу ну и второй download пытается юзать несуществующую директорию. как бы этот requirements tracker не переиспользовать?

Требуется Python-lead Успешная западная веб-компания в области специализированного интернет-поиска запускает новый продукт, рассчитанный на конечных пользователей. Ищем талантливых и опытных разработчиков на Python 3. Обязанности: Проектирование и разработка архитектуры продукта и модулей, разработка бэкенда на python > 3.6 Распределение задач в рамках команды разработки Масштабирование архитектуры проекта по мере роста нагрузки и функционала Ревью кода Требования: Опыт коммерческой веб-разработки от 3 лет Отличное владение Python 3 и современными фреймворками (Django Rest Framework, Flask, Tornado и т.д. - хотя бы одним, но отлично) Знание SQL (Postgres), опыт проектирования БД, умение писать и оптимизировать сложные запросы (в продукте ОРМа не будет) Заработная плата: 200-350т.р. на руки Контакты для связи: hr@sci-guide.com #вакансии #работа #москва #IT #python #jobs

DRF + ORM'а не будет. не, оно конечно можно, но очень странно.

ERROR: S client not available

Вопрос по Django2.1: использую как сервер и, посылая пост запрос, возвращает ошибку мол csrf токен failed. В функции index, которая вызывается при запросе добавил декоратор csrf_protect - не помогло. Нагуглить не могу. Как поправить?

Вопрос по Django2.1: использую как сервер и, посылая пост запрос, возвращает ошибку мол csrf токен failed. В функции index, которая вызывается при запросе добавил декоратор csrf_protect - не помогло. Нагуглить не могу. Как поправить?

Добавить csrf токен в запрос?

Вопрос по Django2.1: использую как сервер и, посылая пост запрос, возвращает ошибку мол csrf токен failed. В функции index, которая вызывается при запросе добавил декоратор csrf_protect - не помогло. Нагуглить не могу. Как поправить?

запрос откуда?

Мне нужно принимать post’ы от вк, там токен не получится добавить. Пока тестирую с ноута

Мне нужно принимать post’ы от вк, там токен не получится добавить. Пока тестирую с ноута

https://docs.djangoproject.com/en/2.2/ref/csrf/#csrf-protection-should-be-disabled-for-just-a-few-views

https://stackoverflow.com/a/31136060/6482982

Exempt, я так понимаю, его отключает. Так работает, да

https://docs.djangoproject.com/en/2.2/ref/csrf/#csrf-protection-should-be-disabled-for-just-a-few-views

В send_data.py я импортирую класс Allocate from allocate import Allocate в allocate.py я импортирую send_data из send_data.py, вылезает ошибка c cannot import name 'Allocate' from 'allocate' как ее исправить, импорты нельзя удалять?

Привет! Хочу сделать бэкап своей БД на постгресе, написать скриптик на питоне, чтобы автоматически все это происходило. Работаю с VDS, на хостингире взял диск для бэкапов. Как можно это реализовать? Спасибо за помощь

В send_data.py я импортирую класс Allocate from allocate import Allocate в allocate.py я импортирую send_data из send_data.py, вылезает ошибка c cannot import name 'Allocate' from 'allocate' как ее исправить, импорты нельзя удалять?

перенеси send_data в allocate

Привет! Хочу сделать бэкап своей БД на постгресе, написать скриптик на питоне, чтобы автоматически все это происходило. Работаю с VDS, на хостингире взял диск для бэкапов. Как можно это реализовать? Спасибо за помощь

Диск монтируется?

Привет! Хочу сделать бэкап своей БД на постгресе, написать скриптик на питоне, чтобы автоматически все это происходило. Работаю с VDS, на хостингире взял диск для бэкапов. Как можно это реализовать? Спасибо за помощь

и нафига тут скриптик на питоне? в самом простом случае pg_dump + скриптик на баше + крон чуть сложнее pg_dump + ansible

Диск монтируется?

В каком плане?

В каком плане?

диск для бекапов можно монтировать в систему?

диск для бекапов можно монтировать в систему?

-, он арендовам на хостингере

и нафига тут скриптик на питоне? в самом простом случае pg_dump + скриптик на баше + крон чуть сложнее pg_dump + ansible

Ну вот проблема в том, что я не понимаю и потому обратился к вам)