Если бы у тебя было def print_hello(name=''): , то примерно так: from celery import Celery celery = Celery() celery.config_from_object('celeryconfig') celery.send_task('print_hello', ("Oleg"))

целери на "другую машину" конечно придется поставить. в конфиге показать урл брокера

прям вот взять и в отдельном venv забацать два тупых демона, в одном из которых hello world, а из другого его дергаешь

Я уже всю доку проштудировал. Это нереально то тчо ты сказал. Там максимум, что можно сделать - передать: q = Queue(connection=conn) q.enqueue('package.func', args)А для этого, для каждого отдельного приложения нужен свой воркер.

Ага, то есть я просто кидаю в RMQ сообщение в нужную queue и celery с той стороны сама слушает, что что -то пришло и исполняет это. Начинаю догонять

Ага, то есть я просто кидаю в RMQ сообщение в нужную queue и celery с той стороны сама слушает, что что -то пришло и исполняет это. Начинаю догонять

именно так. с аргументами (если нужны), кидаешь. образцово заданный вопрос, кстати.

если тебе не нужен результат выполнения, то вообще все просто. если нужен, чуть сложнее. но я думаю ты и сам там уже наковыряешь

run.py from celery import Celery celery = Celery() celery.config_from_object('celeryconfig') celery.send_task('print_hello') celeryconfig.py BROKER_URL = 'amqp://guest:guest@dr-1cutapp003:5672//' CELERY_IMPORTS = ('tasks', ) Получаю ошибку ConnectionResetError: [WinError 10054] Удаленный хост принудительно разорвал существующее подключение telnet dr-1cutapp003 5672 проходит успешно, то есть проблем с доступом нет

А-а-а, guest же только локально работает!!

именно :)

А что мне celery в ответ возвращает? e56f4a2b-1c86-4918-b76e-39ed4ff662cb Как это интерпретировать? Как id сообщения в RMQ?

ну типа taskid, забей :)

Не-не. Я переписал helloworld from celery import Celery from celery import task app = Celery('tasks', backend='amqp', broker='amqp://guest@localhost//') @app.task def print_hello(x): return x*2 То есть я уже результат хочу получить

Вызываю так result = celery.send_task('print_hello', [5])

тогда тебе нужен настроенный CELERY_RESULT_BACKEND (их много, можно sql база, можно redis, можно тот же rabbitmq, но тогда не забудь включить CELERY_RESULT_PERSISTENT, а то при рестарте кролика не забранные результаты будут пропадать)

а, вижу, настроен уже amqp

чтобы получить mysql уровня продакшн, нужно потратить месяц на подбор параметров. Иначе пользоваться сервисом будет невозможно.

чушь порешь

тогда дергай result.ready() пока не вернет True, и как будет готово, забирай print result.get() если в твоем хелло был косяк (например не умножал, а делил на 0), то при get() поймаешь эксепшн, если нужен трейс, то посмотришь result.traceback()

Месяц? Серьезно?

он бредит

да. Очень неочевидная система тюнинга, она трудно познается умом головы. Поменял один параметр, в одном месте стало вдвое быстрее, а в другом - впятеро медленнее. Просто программисты редко с этим сталкиваются, обычно это забота админа.

освой уж mysqltuner дилетант, что может быть проще

Ну, это понятно. Я вот иногда открываю htop, открываю бутылочку пива и грустно смотрю на апач, который на локалхосте

апач выбросить давно пора

@zartsoft фас! :)

не нужно

?

тогда дергай result.ready() пока не вернет True, и как будет готово, забирай print result.get() если в твоем хелло был косяк (например не умножал, а делил на 0), то при get() поймаешь эксепшн, если нужен трейс, то посмотришь result.traceback()

Хм, а долго ждать? Чего то у меня такой код благополучно завис: result = celery.send_task('print_hello', [5]) while result.ready() == False: print (result.ready()) настойчиво выдавая False В celeryconfig.py внес только CELERY_BACKEND = 'amqp'

а в логах воркера на первой машине что?

но вообще amqp это старый уже бэкенд, попробуй rpc

CELERY_RESULT_BACKEND = 'rpc://'

не забудь, что это должно быть на обеих сторонах :) если на первом сервере (где воркер) забыл, то класть результаты никто не будет :)

Логи. The full contents of the message body was: {'id': '8d8d7d9d-5f7c-4e58-8254-3c50c4eb334f', 'callbacks': None, 'task': 'print _hello', 'eta': None, 'expires': None, 'kwargs': {}, 'timelimit': (None, None), 'args': [5], 'utc': True, 'chord': None, 'errbacks': None, 'taskset': None, 'ret ries': 0} (257b) Traceback (most recent call last): File "c:\python35-32\lib\site-packages\celery\worker\consumer.py", line 456, i n on_task_received strategies[name](message, body, KeyError: 'print_hello'

KeyError: 'print_hello' что-то пошло не так, сам же видишь

Ага.

воркер не видит таску

пошарь, что-то он видимо не импортировал, тот файл, в котором она у тебя описана

Наверное, я буду 100500 в очереди, но раз уж она освободилась: на 3.5 имеет смысл валить или нет?

С чего?

С 2.7 ессно

Новые проекты стартуешь на 3.x Старые, по-желанию, портируешь.

Набор киллер фич какой-то имееется?

ребята, а подскажите, что за сервер мелкософт сделал вот весной типа халявным?

async / await ок

print становится функцией, а не оператором. :3

юниттест.мок из коробки

мок? Простите, я из коровника

Наверное, я буду 100500 в очереди, но раз уж она освободилась: на 3.5 имеет смысл валить или нет?

если проект будет нужен после 2020, то имеет смысл)

Набор киллер фич какой-то имееется?

будет поддерживаться после 2020

хм

На тройке asyncore есть? Или ее заменили на asyncio?

Парни тут работка есть для удалёнщиков

Кто знаком с High Charts?

Библиотека для js рендеринг красивостей

?

Не на базе d3 часом?

Вроде того

Нужно сделать интерфейс в джангу, рендерить jsonы. 3 экрана ~6 таблиц 6 графиков(лол птица курица 3 шт ;D )

Всякие графики?

Ага

воркер не видит таску

Я сдвинулся с мертвой точки. Ошибка была в том, что имя метода нужно было указывать через tasks result = celery.send_task('tasks.print_hello', ["Oleg"]) Теперь в логах есть информация [2016-05-25 16:32:50,422: INFO/MainProcess] Received task: tasks.print_hello[e424dfc4-f569-40f8-a8e4-368ed4126316] [2016-05-25 16:32:50,437: INFO/MainProcess] Task tasks.print_hello[e424dfc4-f569-40f8-a8e4-368ed4126316] succeeded in 0s: hello, Oleg Однако этот кусок все равно в бесконечном цикле result = celery.send_task('tasks.print_hello', ["Oleg"]) while result.ready() == False:

Всякие графики?

Дак че готовить тз?

Не. Я ток для себя курил. За лаве не готов браться пока

https://github.com/novafloss/django-chartjs

Я сдвинулся с мертвой точки. Ошибка была в том, что имя метода нужно было указывать через tasks result = celery.send_task('tasks.print_hello', ["Oleg"]) Теперь в логах есть информация [2016-05-25 16:32:50,422: INFO/MainProcess] Received task: tasks.print_hello[e424dfc4-f569-40f8-a8e4-368ed4126316] [2016-05-25 16:32:50,437: INFO/MainProcess] Task tasks.print_hello[e424dfc4-f569-40f8-a8e4-368ed4126316] succeeded in 0s: hello, Oleg Однако этот кусок все равно в бесконечном цикле result = celery.send_task('tasks.print_hello', ["Oleg"]) while result.ready() == False:

попробуй закомментировать весь этот цикл с принтом и сделать просто result.get(timeout=10) это простой синхронный вызов с таймаутом 10 сек, у тебя там ничего нет, оно быстро выполнится и успеет вернуть, проверим, работает ли вообще

Traceback (most recent call last): File "run.py", line 5, in <module> result.get(timeout=10) File "C:\Python35-32\lib\site-packages\celery\result.py", line 169, in get no_ack=no_ack, File "C:\Python35-32\lib\site-packages\celery\backends\amqp.py", line 157, in wait_for raise TimeoutError('The operation timed out.') celery.exceptions.TimeoutError: The operation timed out.

#работавофисе Москва ФуллДэй Backend(Python) - Минимум 1 рабочий проект (прошу приложить ссылку на работающий проект-сайт или ссылку на гитхаб с исходниками) - Опыт работы с web фреймворками (django или аналоги) - Знание основ SQL - Знание основ клиент-серверного взаимодействия - протокол http, json/xml, websocket - Уверенное пользование системой контроля версий git - Уверенное пользование linux - Необязательно, но большим плюсом будет: - опыт работы с такими системами как cassandra, mongodb - знание Java, опыт разработки настольных приложений на Java(возможно придется помогать с разработкой клиентской части, задач много и они интересные) писать в элэс

сорри за офтоп, вдруг кому интерсно.

Traceback (most recent call last): File "run.py", line 5, in <module> result.get(timeout=10) File "C:\Python35-32\lib\site-packages\celery\result.py", line 169, in get no_ack=no_ack, File "C:\Python35-32\lib\site-packages\celery\backends\amqp.py", line 157, in wait_for raise TimeoutError('The operation timed out.') celery.exceptions.TimeoutError: The operation timed out.

в воркере на первом сервере CELERY_RESULT_BACKEND точно настроен?

ERROR: S client not available

Джава на клиенте, питон на бэке? Прикольно

Ой, кассандра - это та пизда, которая мне оперативу на рабочем тазе забивает

Вот такой файл celeryconfig,py BROKER_URL = 'amqp://login:password@dr-1cutapp003:5672//' CELERY_RESULT_BACKEND = 'rpc://' CELERY_IMPORTS = ('tasks', )

Ага)

Не. Я ток для себя курил. За лаве не готов браться пока

Да там немного и ебать голову не буду

за результат

Надо будет как-то вернуться к Кассандре на посмотреть еще раз.

Вот такой файл celeryconfig,py BROKER_URL = 'amqp://login:password@dr-1cutapp003:5672//' CELERY_RESULT_BACKEND = 'rpc://' CELERY_IMPORTS = ('tasks', )

посмотри в RMQ через вебморду, там очереди должны создаваться на каждого task producer'а, лежит ли в них что-то

Queues создается, но сообщений в ней я не вижу

Причем сервер в логах пишет имя очереди и клиент по print(result) отдает имя очереди

Еще занятная OrientDb для графов. Но субьективно кажется полным отстоем

освой уж mysqltuner дилетант, что может быть проще

человека, который использует mysqltuner на сервере для реальной настройки нагруженного mysql следует лишить любого доступа на любые сервера продакшна и проверить на профпригодность.

это программисты, они всегда так делают :)

тоже ведь немного админы. неуязвимого локалхоста :)

человека, который использует mysqltuner на сервере для реальной настройки нагруженного mysql следует лишить любого доступа на любые сервера продакшна и проверить на профпригодность.

Ну что за максимализм?

Ну сломает человек

Получит по шее

Зато потом ниче делать не будет)

http://backendconf.ru/2016/abstracts/2202 жаль, что HL++ традиционно зажмотится выложить запись :(

Ну сломает человек

no way.

человека, который использует mysqltuner на сервере для реальной настройки нагруженного mysql следует лишить любого доступа на любые сервера продакшна и проверить на профпригодность.

тут иногда в слоу лог упирается

тут иногда в слоу лог упирается

да там миллион мест, где может что-то поломаться. Slow log и log_no_index, query cache, table cache, sort cache, tmp_table_space, innodb_pool_size, вид сброса записи на диск, скорость работы диск, бинлог и его отсутствие, slave_bin_log и его особенности. Можно сидеть над этой темой бесконечно

я к тому что иногда даже включенный слоу лог тормозит систему

а зпускать профайлеры-тюнеры на боевой базе это вообще

mysqltuner - это не профайлер.

запуск профайлинга на базе хотя бы в полтысячи запросов/сек считаю своеобразным способом самоубийства

mysqltuner - это не профайлер.

а что?

а что?

анализатор статистики и настроек. Профилировать не умеет.

Кукла везде пролезла

>Запрещено оскорбления других участников. зачем такой чат вообще нужен?

анализатор статистики и настроек. Профилировать не умеет.

с учетом того что все настройки лежат в базе, то можно сказать что этот то же профайлер

просто узкоспециализированный