BitMap算法 .net实现 用于去重并且排序,适用于大型权限管理 ,大数据去重排序
时间:2022-07-24
本文章向大家介绍BitMap算法 .net实现 用于去重并且排序,适用于大型权限管理 ,大数据去重排序,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
BitMap利用byte特性 针对排序+去重 最佳实践: 100万条数据的排序+去重用时200毫秒左右
static void Main(string[] args)
{
int[] data = new int[10000000];
/*alias*/
Random r = new Random();
for (int i = 0; i < data.Length; i++)
{
data[i] = r.Next(1, 10000000);
}
Stopwatch stop = new Stopwatch();
stop.Start();
List<byte> lstbyte = new List<byte>();
foreach (var item in data)
{
int unit = item / 8;
int index = item % 8;
if (lstbyte.Count <= unit)
{
lstbyte.AddRange(new byte[unit-lstbyte.Count + 1]);
}
lstbyte[unit] = set_bit(lstbyte[unit], index + 1, true);
}
List<int> result = new List<int>();
for (int i = 0; i < lstbyte.Count; i++)
{
int currentIndex = i*8;
List<int> lstint = new List<int>();
if (lstbyte[i] > 0)
{
/**
* 这段代码用于判断,byte对应位置的值是否有1
* 例如: 目标 byte:0010 0001
* 0010 0001 & 0000 0001 结果为1则 第一位为1
* 第二位比较方式就是目标byte和 0010 0001 & 0000 0010
* 为避免频繁的装箱拆箱操作,这里不用通过 Math.Pow计算平2的平方立方来得到目标比较数。
*/
int b = lstbyte[i] & 0x01;
if (b == 1)
{
lstint.Add(currentIndex+0);
}
b = lstbyte[i] & 0x02;
if (b == 2)
{
lstint.Add(currentIndex + 1);
}
b = lstbyte[i] & 0x04;
if (b == 4)
{
lstint.Add(currentIndex + 2);
}
b = lstbyte[i] & 0x08;
if (b == 8)
{
lstint.Add(currentIndex + 3);
}
b = lstbyte[i] & 0x10;
if (b == 16)
{
lstint.Add(currentIndex + 4);
}
b = lstbyte[i] & 0x20;
if (b == 32)
{
lstint.Add(currentIndex + 5);
}
b = lstbyte[i] & 0x40;
if (b == 64)
{
lstint.Add(currentIndex + 6);
}
b = lstbyte[i] & 0x80;
if (b == 128)
{
lstint.Add(currentIndex + 7);
}
}
result.AddRange(lstint);
}
stop.Stop();
Console.WriteLine("结果数:"+result.Count);
//foreach (var item in result)
//{
// Console.WriteLine(item);
//}
Console.WriteLine(string.Concat("时间:" ,stop.ElapsedMilliseconds ,"毫秒"));
Console.ReadKey();
}
/// <summary>
/// 设置某一位的值
/// </summary>
/// <param name="data"></param>
/// <param name="index">要设置的位, 值从低到高为 1-8</param>
/// <param name="flag">要设置的值 true / false</param>
/// <returns></returns>
static byte set_bit(byte data, int index, bool flag)
{
if (index > 8 || index < 1)
throw new ArgumentOutOfRangeException();
int v = index < 2 ? index : (2 << (index - 2));
return flag ? (byte)(data | v) : (byte)(data & ~v);
}
运行速度和待排序去重的最大数的大小有关系
- 创建 GitHub 仓库的步骤及方法
- React Native和原生app通信机制详解
- Python高效编程技巧
- 模块和处理程序之通过HttpModule和HttpHandler拦截入站HTTP请求执行指定托管代码模块
- iOS如何实现多个环境一次打包
- iOS 轻量级存储
- 深入理解React Native页面构建渲染原理
- React native城市列表组件
- iframe 解析
- React Native之StyleSheet样式表
- jQuery对象扩展方法(Extend)深度解析
- 线程同步:System.Core中新的读写锁
- ios动画
- IntelliJ IDEA 中 Project 和 Module 的概念及区别
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 第一章--第二节:我的第一个Python项目
- 第二章--第一节:变量、字符串与数字
- 第二章--第二节:注释
- 骚操作 | 用 Python 实现 GIF 倒放
- TensorFlow学习笔记--CIFAR-10 图像识别
- TensorFlow学习笔记--自定义图像识别
- TensorFlow学习笔记--Deep Dream模型
- Python入门系列第二章--第一节:变量、字符串与数字
- JavaWeb - Filter 和 Listener
- Python入门系列第一章--第二节:我的第一个Python项目
- Python入门系列第二章--第二节:注释
- JavaScript进阶教程(4)-函数内this指向解惑call(),apply(),bind()的区别
- 第三章--第一节:条件判断语句
- 用 Python 实现朋友圈中的九宫格图片
- 第三章--第二节:循环语句