golang基于redis lua封装的优先级去重队列
时间:2022-05-04
本文章向大家介绍golang基于redis lua封装的优先级去重队列,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
前言:
前两天由于某几个厂商的api出问题,导致后台任务大量堆积,又因为我这边任务流系统会重试超时任务,所以导致队列中有大量的重复任务。这时候我们要临时解决两个事情,一件事情,让一些高质量的任务优先执行; 另一件事情, 要有去重。 rabbitmq不能很好的针对这类情况去重、分优先级。
这时候我又想到了我最爱的redis… 去重? list + set 就可以解决, 优先级,zset + zrange + zrem 也可以解决… 但问题这几个命令非原子,那么怎么让他们原子? 写模块 or redis lua script . 首先在 redis 4.x 写了个简单的module,但写完了发现一件颇为重要的事情,我们线上的是3.2 …. 然后又花了点时间改成redis lua的版本。项目本身的功能实现很简单,复杂的是创意 !!!
项目名: redis_unique_queue
, 项目地址,https://github.com/rfyiamcool/redis_unique_queue
该文章后续会有更新, 原文地址, http://xiaorui.cc/?p=4828
主要功能介绍:
使用redis lua script 封装的去重及优先级队列方法, 达到了组合命令的原子性和节省来往的io请求的目的.
去重队列:
不仅能保证FIFO, 而且去重.
优先级去重队列:
按照优先级获取任务, 并且去重.
使用方法:
# xiaorui.cc
# PriorityQueue
NewPriorityQueue(priority int, unique bool, r *redis.Pool)
Push(q string, body string, pri int) (int, error)
Pop(q string) (resp string, err error)
# UniqueQueue
NewUniqueQueue(r *redis.Pool) *UniqueQueue
UniquePush(q string, body string) (int, error)
UniquePop(q string) (resp string, err error)
more..
下面是优先级去重队列的例子:
package main
// xiaorui.cc
import (
"fmt"
"github.com/rfyiamcool/redis_unique_queue"
)
func main() {
fmt.Println("start")
redis_client_config := unique_queue.RedisConfType{
RedisPw: "",
RedisHost: "127.0.0.1:6379",
RedisDb: 0,
RedisMaxActive: 100,
RedisMaxIdle: 100,
RedisIdleTimeOut: 1000,
}
redis_client := unique_queue.NewRedisPool(redis_client_config)
qname := "xiaorui.cc"
body := "message from xiaorui.cc"
u := unique_queue.NewPriorityQueue(3, true, redis_client)
// 3: 3个优先级,从1-3级
// true: 开启unique set
u.Push(qname, body, 2)
// 2, 优先级
fmt.Println(u.Pop(qname))
}
单单使用 去重队列的例子:
package main
import (
"fmt"
"github.com/rfyiamcool/redis_unique_queue"
)
func main() {
fmt.Println("start")
redis_client_config := unique_queue.RedisConfType{
RedisPw: "",
RedisHost: "127.0.0.1:6379",
RedisDb: 0,
RedisMaxActive: 100,
RedisMaxIdle: 100,
RedisIdleTimeOut: 1000,
}
redis_client := unique_queue.NewRedisPool(redis_client_config)
qname := "xiaorui.cc"
u := unique_queue.NewUniqueQueue(redis_client)
for i := 0; i < 100; i++ {
u.UniquePush(qname, "body...")
}
fmt.Println(u.Length(qname))
for i := 0; i < 100; i++ {
u.UniquePop(qname)
}
fmt.Println(u.Length(qname))
fmt.Println("end")
}
需要改进地址也是很多, 比如 加入批量操作, 对于redis连接池引入方法改进等.
END.
- Linux同步机制(二) - 条件变量,信号量,文件锁,栅栏
- WCF技术剖析之二十七: 如何将一个服务发布成WSDL[基于HTTP-GET的实现](提供模拟程序)
- zookeeper集群搭建
- WCF技术剖析之二十七: 如何将一个服务发布成WSDL[编程篇]
- 浅谈反馈式按钮的设计与实现
- 对比手游和PC游戏的发展,小程序会成为手游开发的热点?
- 雷军旗下金山云再获融资2.2亿美元
- WCF技术剖析之二十五: 元数据(Metadata)架构体系全景展现[WS标准篇]
- zookeeper配置详解
- WCF技术剖析之二十五: 元数据(Metadata)架构体系全景展现[元数据描述篇]
- zookeeper命令行(zkCli.sh&zkServer.sh)使用及四字命令
- [WCF的Binding模型]之三:信道监听器(Channel Listener)
- zookeeper监控告警
- 扩展ToolBarManager、ListView和Grid控件以实现气球式的ToolTip
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- ThinkPHP3.2.3框架邮件发送功能图文实例详解
- PHP simplexml_load_file()函数讲解
- Python下划线5种含义代码实例解析
- PHP getDocNamespaces()函数讲解
- Django实现内容缓存实例方法
- Tensorflow–取tensorf指定列的操作方式
- spring-boot-route(一)Controller接收参数的几种方式
- python中 _、__、__xx__()区别及使用场景
- 浅谈TensorFlow中读取图像数据的三种方式
- python 最简单的实现适配器设计模式的示例
- spring-boot-route(二):读取配置文件的几种方式
- 关于tensorflow softmax函数用法解析
- keras的backend 设置 tensorflow,theano操作
- spring-boot-route(三)实现多文件上传
- PHP attributes()函数讲解