使用 Celery 取消已经执行的任务?

2025-03-13 09:14:00
admin
原创
12
摘要:问题描述:我一直在阅读文档并进行搜索,但似乎找不到直接的答案:您能取消已经执行的任务吗?(例如,任务已经开始,需要一段时间,并且进行到一半时需要取消)我在Celery FAQ 的文档中找到了这一点>>> result = add.apply_async(args=[2, 2], countd...

问题描述:

我一直在阅读文档并进行搜索,但似乎找不到直接的答案:

您能取消已经执行的任务吗?(例如,任务已经开始,需要一段时间,并且进行到一半时需要取消)

我在Celery FAQ 的文档中找到了这一点

>>> result = add.apply_async(args=[2, 2], countdown=120)
>>> result.revoke()

但我不清楚这是否会取消排队的任务,或者是否会终止工作器上正在运行的进程。感谢您提供的任何信息!


解决方案 1:

撤销取消任务执行。如果任务被撤销,工作进程将忽略该任务并且不会执行它。如果您不使用持久撤销,您的任务可以在工作进程重启后执行。

https://docs.celeryq.dev/en/stable/userguide/workers.html#worker-persistent-revokes

revoke 有一个终止选项,默认情况下为False。如果需要终止正在执行的任务,则需要将终止设置为True

>>> from celery.task.control import revoke
>>> revoke(task_id, terminate=True)

https://docs.celeryq.dev/en/stable/userguide/workers.html#revoke-revoking-tasks

解决方案 2:

在 Celery 3.1 中,撤销任务的 API发生了改变。

根据Celery FAQ,您应该使用 result.revoke:

>>> result = add.apply_async(args=[2, 2], countdown=120)
>>> result.revoke()

或者如果你只有任务 ID:

>>> from proj.celery import app
>>> app.control.revoke(task_id)

解决方案 3:

@0x00mh 的答案是正确的,但是最近的 celery文档说使用该terminate选项是“管理员的最后手段”,因为您可能会意外终止与此同时开始执行的另一个任务。可能更好的解决方案是结合使用terminate=Truesignal='SIGUSR1'这会导致任务中引发 SoftTimeLimitExceeded 异常)。

解决方案 4:

你可以使用代理和后端定义 celery 应用程序,如下所示:

from celery import Celery
celeryapp = Celery('app', broker=redis_uri, backend=redis_uri)

当您运行发送任务时它会返回任务的唯一 ID:

task_id = celeryapp.send_task('run.send_email', queue = "demo")

要撤销任务,您需要 celery 应用程序和任务 ID:

celeryapp.control.revoke(task_id, terminate=True)

解决方案 5:

根据 5.2.3 文档,可以运行以下命令:

    celery.control.revoke(task_id, terminate=True, signal='SIGKILL')

在哪里
celery = Celery(app.name, broker=app.config['CELERY_BROKER_URL'])

文档链接:https://docs.celeryq.dev/en/stable/reference/celery.app.control.html? highlight=revoke#celery.app.control.Control.revoke

解决方案 6:

此外,不尽人意的是,还有另外一种方法(abort task)来停止任务,但是有很多不可靠性,更多细节参见:
http://docs.celeryproject.org/en/latest/reference/celery.contrib.abortable.html

解决方案 7:

from celery.app import default_app

revoked = default_app.control.revoke(task_id, terminated=True, signal='SIGKILL')
print(revoked)

解决方案 8:

请参阅以下任务选项:time_limit、soft_time_limit(或者您可以为工作者设置它)。如果您不仅想控制执行时间,请参阅apply_async 方法的expires参数。

解决方案 9:

from celery.result import AsyncResult
task = AsyncResult(task_id)
task.revoke()
相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1579  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1355  
  信创产品在政府采购中的占比分析随着信息技术的飞速发展以及国家对信息安全重视程度的不断提高,信创产业应运而生并迅速崛起。信创,即信息技术应用创新,旨在实现信息技术领域的自主可控,减少对国外技术的依赖,保障国家信息安全。政府采购作为推动信创产业发展的重要力量,其对信创产品的采购占比情况备受关注。这不仅关系到信创产业的发展前...
信创和国产化的区别   8  
  信创,即信息技术应用创新产业,旨在实现信息技术领域的自主可控,摆脱对国外技术的依赖。近年来,国货国用信创发展势头迅猛,在诸多领域取得了显著成果。这一发展趋势对科技创新产生了深远的推动作用,不仅提升了我国在信息技术领域的自主创新能力,还为经济社会的数字化转型提供了坚实支撑。信创推动核心技术突破信创产业的发展促使企业和科研...
信创工作   9  
  信创技术,即信息技术应用创新产业,旨在实现信息技术领域的自主可控与安全可靠。近年来,信创技术发展迅猛,对中小企业产生了深远的影响,带来了诸多不可忽视的价值。在数字化转型的浪潮中,中小企业面临着激烈的市场竞争和复杂多变的环境,信创技术的出现为它们提供了新的发展机遇和支撑。信创技术对中小企业的影响技术架构变革信创技术促使中...
信创国产化   8  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用