celery 定时任务实现
时间:2022-06-01
本文章向大家介绍celery 定时任务实现,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
Celery 是什么?
- 异步任务队列工具,主要解决 realtime 事件的异步操作,但也支持定时任务。
- 什么是异步?那要先理解什么是同步,比如我去麦当劳吃饭,如果麦当劳前一个顾客点完单,拿到餐,吃完走人之后才能接待下一个顾客,就是同步。反过来我点完单,它马上就接下一个客人的单,我的流程虽然还没有走完(time-consuming),但也不影响下一个顾客点单(blocked),这就是异步。
Celery 安装
Celery 机制
- celery 是一个装饰器类,本质上是把一个函数变成一个可以异步调用的函数。
- 开启 celery 进程。
- 在另一段程序中导入这个函数,当这个函数被以 delay 模式调用时:
xxx.delay()
,celery 会把这个任务写到任务队列然后返回,原程序不会被阻塞可以往下跑。注意这里需要用 delay 模式去跑这个函数,同时注意不要把xxx.delay()
的结果赋值给一个变量,否则依然会被阻塞。 - celery 的另一个进程会去这个任务队列里取任务,完成之后写到 result 队列里面。或者多数情况下,这个被异步调用的函数不需要返回结果,比如发送一个邮件,提醒之类的,连 result 队列都不用。
Celery first blood
- 开一个 python 脚本,比如
tasks.py
。 - 生成一个 Celery 对象实例,是一个装饰器。 from celery import Celery app = Celery('__name__', broker='redis://localhost:6379')
- 定义一个你想异步操作的函数,并加上 celery 装饰器
@app.task
。 @app.task def add(x, y): return x + y - 保存,退出,然后在 terminal 启动 celery 服务。 celery -A tasks worker --loglevel=info
做个定时任务:每天发问候
- 接下来,我要搭配钉钉机器人了,我希望小仙女每天早上7点给我发个问候,然后在7点半的时候确认我有没有开始干活了。
- 先写一个简单的钉钉提醒程序,命名
celery_worker.py
: #! /usr/bin/env python # coding: utf-8 import requests import json import time from config import HOST_IP, NOTIFY_URL, MOBILE_NUMBER def notify_dingding(msg): headers = {"Content-Type": "application/json; charset=utf-8"} post_data = { "msgtype": "text", "text": { "content": msg }, "at": { "atMobiles": [MOBILE_NUMBER] } } r = requests.post(NOTIFY_URL, headers=headers, data=json.dumps(post_data)) print(r.content) 注意这里从 config 里导入了一些参数,所以要在这个程序的同一层写一个config.py
的配置文件。 # config.py NOTIFY_URL = ("https://oapi.dingtalk.com/robot/send?access_token=" "c6d5a2936381dfc29394f3c336bea5fad962d90ffd31809e92d95a1xxxxxxxx") MOBILE_NUMBER = "176xxxxx619" HOST_IP = "127.0.0.1" - 导入 celery 包,给函数加上装饰器: from celery import Celery BROKER_URI = 'redis://%s:6379/6' % HOST_IP BACKEND_URI = 'redis://%s:6379/5' % HOST_IP worker = Celery('celery_worker', broker=BROKER_URI, backend=BACKEND_URI) @worker.task def notify_dingding(msg): ...
- 简单学习一下celery 的 crontab 定时任务。
- 给 worker 加上定时任务 from celery.schedules import crontab worker.conf.update( timezone='Asia/Shanghai', enable_utc=True, beat_schedule={ "morning_msg_1": { "task": "celery_worker.notify_dingding", "schedule": crontab(minute=0, hour=7), "args": ("早,起床了哟,先去做个早饭吧",) }, "morning_msg_2": { "task": "celery_worker.notify_dingding", "schedule": crontab(minute=30, hour=7), "args": ("我就问问你在干活咩?",) } } )
- 最后程序末尾加一个小测试,看看服务是不是起来了: notify_dingding("小仙女上线啦")
- 开启 redis-server nohup redis-server &
- 开启我们的 celery worker,这里的
-B
是 celery 的 beat 服务,可以理解为一个周期任务。 celery -A celery_worker worker -B - 服务起来喽:
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【Flutter 实战】全局点击空白处隐藏键盘
- 我对Flutter的第一次失望
- 【Flutter 实战】各种各样形状的组件
- 『Flutter-绘制篇』实现炫酷的雨雪特效
- 图书管理系统(Servlet+Jsp+Java+Mysql,附下载演示地址)
- Vuex 映射完全指南
- 我们是如何改进YOLOv3进行红外小目标检测的?
- Unity3D网络通讯(三)-- HttpRestful请求的简单封装
- 详解Elasticsearch 的性能优化
- console.log的那件事
- Codeforces Round #668 (Div. 2)A-D
- nodejs源码解析之udp服务器
- LeetCode | 35.搜索插入位置
- Redis | 源码阅读 —— 字符串
- 一个小白的角度看JavaScript Promise 完整指南