Вместо запятой нужно +
кому нужно?
>>> print('hello', 'mufel')
hello mufel
Andrew
Ольгерд
кому нужно?
>>> print('hello', 'mufel')
hello mufel
Спасибо, добавлю в свой проект
Anonymous
Но трэд пул это немного не то, что надо
По моему ты пытаешься пощарить эвент лупы между процессами
Anonymous
Просто бери асинкио.гет луп в ранненре
Иван
По моему ты пытаешься пощарить эвент лупы между процессами
Ну
Суть в том
Что должно стать 2 процесса
Один основной, в котором запускается раннер
А второй, который я создаю в коде(для запуска этих задач)
И у каждого должен быть свой ивент луп
Anonymous
Ну так просто создавай луп в каждом процессе
Иван
С потоками это работает
Но в потоках GIL...
Anonymous
Зачем ты раннеру луп передаешь при запускк
Pavel
мне поебать на етот днс пакет...я не собираюсь ниче формировать и отвечать...мне нужны ток обработать эту строчку байт
рфц 1035 и struct в зубы (а, уже посоветовано :()
Иван
Просто код не работает с ProcessPoolExecutor
Попробуй запустить
Иван
Просто в спешке написал абы что
Чтобы можно было суть передать
Anonymous
кому нужно?
>>> print('hello', 'mufel')
hello mufel
Код на миллион баксов
Anonymous
На кикстартере*
Anonymous
#работа #вакансия #fulltime #удаленка #python
Зарплатная вилка: от 140 тыс.рублей на руки
Описание вакансии:
Коллеги, в нашу компанию требуется Python разработчик. Над чем предстоит работать: создание с нуля B2B портала. Технологический стек: Python 3.6, Angular 7+. Более подробно о требованиях https://maxilect.ru/careers/python-razrabotchik/. Это долгосрочная перспектива на полный рабочий день для профессионалов из России.
Название компании: Maxilect (https://maxilect.ru).
Контакты: резюме и вопросы можно отправить по адресу career@maxilect.com (в теме письма просим указать "T.me: Python разработчик" ) или мне в Telegram @z_mironovich.
Ivan
Здравствуйте, как можно асинхронно запускать задания в Django?
Задача стоит такая:
Каждый пользователь сайта может запустить несколько заданий, которые выполняются по 1-2часа
Anonymous
Ivan
Celery/RQ
Насколько мне известно в Celery воркер может работать одновременно только с одним заданием. Получается нужно под каждое задание создавать отдельный воркер?
yllw
ну получается да
Andrew
Насколько мне известно в Celery воркер может работать одновременно только с одним заданием. Получается нужно под каждое задание создавать отдельный воркер?
Похоже на то. А что за задания вообще выполняются?
yllw
а в чем проблема?
Ivan
Похоже на то. А что за задания вообще выполняются?
Получение значений из бд и работа с ними (http запросы и обработка ответа).
Andrew
Получение значений из бд и работа с ними (http запросы и обработка ответа).
И делаются они 1-2 часа? Сурово
Philipp
Ребята, кто-нибудь встречался с такой фигней: celery реагирует на таск входящий ровно на второй раз.
Kirill
Делаю паузы между запросами по 5-10сек
Тогда лучше такую таску разбить на кучу мелких, а то получается задачка одного юзера впустую мелет воздух и занимает ресурсы, которые могли бы использоваться для выполнения задач других юзеров.
Andrew
Делаю паузы между запросами по 5-10сек
Есть смысл запускать без селери в async/await шедулере
Andrew
GTR Network
@Tishka17 эм... я чота ржу... не могу не поделиться. Этот крендень рассказывал что ему приходят байты в неизвестной кодировке говоря о DNS пакете
гарри поменьше умничей в чате...
while True:
print('wait data...')
conn, addr = udp_socket.recvfrom(1024)
d = DNSRecord.parse(conn)
print('client addr: ', addr[0])
sub = str(d.q.qname)
print('client sub_domain:', sub)
GTR Network
вот и весь затык
Andrew
так а в режиме дебага что
Philipp
но второй раз реагирует гарантировано
Ivan
Philipp
как будто таск не прилетает
Andrew
значит не прилетает)
Sergey
Привет! У меня есть жирная цсв размером пару гигабайт, есть колонка user_id.
Я использую пандас, чтобы работать с этой csv. Подозреваю, что есть какие то способы произвести в dataframe индексацию по user_id, чтобы при дальшейшем использовании данного поля при поиске по csv , поиск происходил не час или два , а мгновенно.
Я погуглил, попробовал, но чет ничего не ускоряется. Подскажите как ускорить поиск.
df = pd.read_csv('kek.csv')
a = df['user_id'][df.user_id == 1]
Максим
Да, идея плохая
Максим
Я пропустил строчку где говорится, что файл двухгигабайтный
Amaro
Или переложить CSV в базу данных. С индексом.
Максим
Postgresql как раз для этих целей была создана
Sergey
Но ведь люди пользуются пандасом специально для обработки подобных данных. Там есть нечто для ускорения и перфоманса. Дата инженеры хранять инфу в цсвшках и дальше обрабатывают.
Ведь всегда есть способ достать информацию из памяти быстрее, чем из памяти какой-то бд. Нужно лишь как-то сделать индексацию, хеш таблицу по столбцу в датафрейме, но я читаю доку и не понимаю как(
Tishka17
2 гигибайта, не дв терабайта
Александр
Всем привет! Кто-то решал рекапчи?
Sergey
Доброго дня. Есть вопрос по структуре кода: сейчас у меня есть на руках система для распознавания и выгрузки в жсон текста определенных полей отсканированных бухгалтерских документов. Проблема в том, что качество документов очень разное, а система сейчас написана как вермишель из функций, которые идут по следующей цепочке: рспознавание типа документа -> выделение таблиц -> нарезка таблиц на ячейки -> обработка каждой ячейки как отдельного изображения с помощью системы OCR и выгрузка результатов в текстовый документ -> сборка всех текстовых доков в один итоговый файл жсона. Можете ли дать мне какие-нибудь рекомендации по переводу этого кода в человеческий вид? На PyImageSearch и в учебниках OpenCV, например, такая вермишель из функций считается совершенно нормальным делом, а теперь ее надо в веб-сервис переклепать. Тут падения сервера из-за порченного документа совсем не нужны.
Anonymous
С помощью сервиса recapture
Опиши вопрос целиком, как парень выше сделал)0 может кто-то и поможет
Александр
Возникли трудности в решении рекапчи от google. Капчи решаю с помощью стороннего сервиса. При заполнении скрытого поля в рекапчи через браузер, все получается четко. А вот если делать это в фоне, то Гугл не принимает решение. Возможно кто-то сталкивался с этим и поможет в решении.
Sergey
Погугли celery chain
Спасибо. У меня самая большая проблема - выделение таблицы и разделение ее на ячейки для тессеракта, потому что трансформация для создания четких контуров приводит к появлению пустых ячеек внутри ячеек, контура которых образовываются из случайных дефектов изображения вроде чернильных точек или остаточного шума. А без этой трансформации несколько ячеек могут слиться воедино из-за обратного дефекта - нечеткого контура.
Anonymous
Здорова хлопцi
Alex
Но ведь люди пользуются пандасом специально для обработки подобных данных. Там есть нечто для ускорения и перфоманса. Дата инженеры хранять инфу в цсвшках и дальше обрабатывают.
Ведь всегда есть способ достать информацию из памяти быстрее, чем из памяти какой-то бд. Нужно лишь как-то сделать индексацию, хеш таблицу по столбцу в датафрейме, но я читаю доку и не понимаю как(
но это ж не значит что люди во всех случаях берут огромный CSV пихают в память и с ним работают. хотя 2 ГБ это не так много.
и еще это зависит от характера операций над данными. пандас тебе позволяет читать свой огромный файл блоками, но если тебе нужен доступ к случайным данным или индекс, очевидно CSV не самый подходящий для этого формат.
Sergey
но это ж не значит что люди во всех случаях берут огромный CSV пихают в память и с ним работают. хотя 2 ГБ это не так много.
и еще это зависит от характера операций над данными. пандас тебе позволяет читать свой огромный файл блоками, но если тебе нужен доступ к случайным данным или индекс, очевидно CSV не самый подходящий для этого формат.
Так какая разница csv это или я из json вытащил инфу и создала dataframe или генерирую его случайно. Теперь то у меня dataframe и я занимаюсь поисками значений в нем по фильтру одного столбца все время.
Tishka17
удоли
Svetlana
Требуется Python-lead
Успешная западная веб-компания в области специализированного интернет-поиска запускает новый продукт, рассчитанный на конечных пользователей. Ищем талантливых и опытных разработчиков на Python 3.
Обязанности:
Проектирование и разработка архитектуры продукта и модулей, разработка бэкенда на python > 3.6
Распределение задач в рамках команды разработки
Масштабирование архитектуры проекта по мере роста нагрузки и функционала
Ревью кода
Требования:
Опыт коммерческой веб-разработки от 3 лет
Отличное владение Python 3 и современными фреймворками (Django Rest Framework, Flask, Tornado и т.д. - хотя бы одним, но отлично)
Знание SQL (Postgres), опыт проектирования БД, умение писать и оптимизировать сложные запросы (в продукте ОРМа не будет)
Заработная плата: 200-350т.р. на руки
Контакты для связи:
hr@sci-guide.com
#вакансии #работа #москва #IT #python #jobs
Maxim
хай народ! а кто-нибудь решал такую траблу? ERROR: Exception:
Traceback (most recent call last):
File "/opt/venv/lib/python3.7/site-packages/pip/_internal/req/req_tracker.py", line 60, in add
with open(entry_path) as fp:
FileNotFoundError: [Errno 2] No such file or directory: '/tmp/pip-req-tracker-gbn92j9q/d0cc965cc7'
делаю python setup.py install а внутри пару строк вида pipmain(['download', 'git+ssh://git@repo.git@v1', f'-d{extrasFolder}'])
перед тем как упасть, есть строка Re-using requirements tracker '/tmp/pip-req-tracker-gbn92j9q. выглядит как будто этот трекер создается на первом download, а потом удаляется сразу ну и второй download пытается юзать несуществующую директорию.
как бы этот requirements tracker не переиспользовать?
Sergey
Вопрос по Django2.1: использую как сервер и, посылая пост запрос, возвращает ошибку мол csrf токен failed. В функции index, которая вызывается при запросе добавил декоратор csrf_protect - не помогло. Нагуглить не могу. Как поправить?
Nikolai
Sergey
Мне нужно принимать post’ы от вк, там токен не получится добавить. Пока тестирую с ноута
Alex
Мне нужно принимать post’ы от вк, там токен не получится добавить. Пока тестирую с ноута
https://docs.djangoproject.com/en/2.2/ref/csrf/#csrf-protection-should-be-disabled-for-just-a-few-views
Максим
https://stackoverflow.com/a/31136060/6482982
Sergey
Exempt, я так понимаю, его отключает. Так работает, да
Sergey
https://docs.djangoproject.com/en/2.2/ref/csrf/#csrf-protection-should-be-disabled-for-just-a-few-views
Anonymous
В send_data.py я импортирую класс Allocate
from allocate import Allocate
в allocate.py я импортирую send_data из send_data.py, вылезает ошибка c
cannot import name 'Allocate' from 'allocate'
как ее исправить, импорты нельзя удалять?
Ivan
Привет! Хочу сделать бэкап своей БД на постгресе, написать скриптик на питоне, чтобы автоматически все это происходило. Работаю с VDS, на хостингире взял диск для бэкапов. Как можно это реализовать? Спасибо за помощь