【crossbeam系列】2 crossbeam-epoch:基于epoch的无锁“垃圾收集”
上次我们试图实现一个无锁的并发栈,但是发现由于Rust没有GC,简单的实现会导致内存泄漏。于是crossbeam提供了一个基于epoch的“垃圾收集”(epoch based reclamation)库。首先来简单的说一下这一垃圾回收的原理。
基于epoch的“垃圾回收”
这一算法主要在Keir Fraser的博士论文中有涉及。我们从之前无锁并发栈的简单实现中看到,并发环境中的数据结构的容器(比如包含了出栈元素的那个节点),会在一个线程中完成它的使命然后准备被释放。但是这个时候可能还有其他线程还持有其快照(主要是为了进行CAS)。不过不会再有新的线程还会继续取得其快照了。那么只要等到所有对该容器取得快照的线程都完成操作,就可以安心的释放这个容器了。
这一算法需要:
- 一个全局的epoch计数器
- 每个线程有一个本地的epoch计数器
- 一个全局列表记录每个epoch产生的垃圾
- 标示线程是否活跃的标示符
算法大概是这样的:当一个线程需要对某个数据结构操作时,它先将自己的标识符设置为活跃,然后将本地epoch计数器更新为全局epoch计数器。而如果线程需要从数据结构中删除一个节点,它会把该节点加入当前epoch的垃圾列表。当线程完成对数据结构的操作时,线程将自己标记为不活跃。然后当需要收集垃圾的时候,一个线程会遍历所有线程并检查是否所有活跃的线程的epoch都和当前全局的epoch相同,如果是那么全局epoch计数将会+1,同时2个epoch前的垃圾可以被回收。
事实上,当处于epoch N+2的时候,由于所有对数据进行操作(活跃)的线程都在epoch N+1之后,可以安全的清理epoch N的垃圾列表。
crossbeam-epoch的API
Guard
使用pin
可以产生Guard
,这将当前线程标识为活跃
use crossbeam_epoch as epoch;
let guard = &epoch::pin();
defer_destroy
则将数据放入垃圾列表,等待2个epoch之后就可以被清理了
pub unsafe fn defer_destroy<T>(&self, ptr: Shared<T>)
然后是我们将看到三大指针类型:
Shared
我们刚刚在defer_destroy
的函数签名中看到了Shared<T>
,这是一个被Guard的生命周期'g
所保护的指针类型,相当于&'g T
。它保证了Guard存在期间数据的可访问。
Owned
这相当于Box<T>
,是一个不会被其他线程接触到的量。
Atomic
这是一个可以在线程间交换的原子指针。可以在Guard
的保护下从中读出Shared<T>
pub fn load(&self, ord: Ordering, &'g Guard) -> Shared<'g, T>
也可以将Owned<T>
或者Shared<T>
(即Pointer<T>
)存入
pub fn store<P>(&self, new: P, ord: Ordering)
where
P: Pointer<T>,
也可以对其进行CAS操作
pub fn compare_and_set<O, P>(
&self,
current: Shared<T>,
new: P,
ord: O,
&'g Guard
) -> Result<Shared<'g, T>, CompareAndSetError<'g, T, P>>
where
O: CompareAndSetOrdering,
P: Pointer<T>,
实现并发栈
有了这些API,我们就可以实现一个无锁的MPMC的Treiber栈了。
use std::mem::ManuallyDrop;
use std::ptr;
use std::sync::atomic::Ordering::{Acquire, Relaxed, Release};
use crossbeam_epoch::{self as epoch, Atomic, Owned};
#[derive(Debug)]
pub struct TreiberStack<T> {
head: Atomic<Node<T>>,
}
#[derive(Debug)]
struct Node<T> {
data: ManuallyDrop<T>, // 告诉编译器该变量不需要自动Drop
next: Atomic<Node<T>>,
}
impl<T> TreiberStack<T> {
pub fn new() -> TreiberStack<T> {
TreiberStack {
head: Atomic::null(),
}
}
pub fn push(&self, t: T) {
let mut n = Owned::new(Node {
data: ManuallyDrop::new(t),
next: Atomic::null(),
});
let guard = epoch::pin(); // 标记当前线程为活跃
loop {
let head = self.head.load(Relaxed, &guard);
n.next.store(head, Relaxed);
match self.head.compare_and_set(head, n, Release, &guard) { // CAS
Ok(_) => break,
Err(e) => n = e.new,
}
}
}
pub fn pop(&self) -> Option<T> {
let guard = epoch::pin(); // 标记当前线程为活跃
loop {
let head = self.head.load(Acquire, &guard);
match unsafe { head.as_ref() } {
Some(h) => {
let next = h.next.load(Relaxed, &guard);
if self
.head
.compare_and_set(head, next, Relaxed, &guard) // CAS
.is_ok()
{
unsafe {
guard.defer_destroy(head); // 将垃圾加入列表
return Some(ManuallyDrop::into_inner(ptr::read(&(*h).data))); // 返回节点中的数据
}
}
}
None => return None,
}
}
}
pub fn is_empty(&self) -> bool {
let guard = epoch::pin();
self.head.load(Acquire, &guard).is_null()
}
}
impl<T> Drop for TreiberStack<T> {
fn drop(&mut self) {
while self.pop().is_some() {}
}
}
小结
很好,该系列的第一个库、第一个并发算法和第一个并发数据结构已经讲完了。是不是觉得epoch
的API很简洁好用呢?下一次我们会将结合crossbeam-deque
,讲一下work-stealing算法,敬请期待。
- BlackHat议题解析:Windows程序的数字签名校验“漏洞”
- 都是权限惹的祸 | 安卓恶意APP如何将其他APP中的私有数据搞到手
- SQLiScanner:又一款基于SQLMAP和Charles的被动SQL 注入漏洞扫描工具
- 逆向工厂(一):从hello world开始
- Android系统到底安不安全?细数Android7.0 Nougat的几大安全增强功能
- 冒用数字签名的对抗:亟需加强的签名审核
- Twitter开源云环境时间序列数据断层检测工具BreakoutDetection
- 用Python的长短期记忆神经网络进行时间序列预测
- 【问底】许鹏:使用Spark+Cassandra打造高性能数据分析平台(一)
- 隐秘通讯与跳板?C&C服务器究竟是怎么一回事
- 灵活布置、可二次开发的乌云公开漏洞及知识库搜索
- 干货 | 2014年我国大数据发展分析报告
- 这个恶意软件“奇葩”的反虚拟机技巧
- Android漏洞CVE-2015-3825分析及exploit实战:从Crash到劫持PC
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法