时序数据库 InfluxDB(三)
01
—
数据类型
InfluxDB 是一个无结构模式,这也就是说你无需事先定义好表以及表的数据结构。
InfluxDB 支持的数据类型非常简单:
- measurement : string
- tag key : string
- tag value : string
- field key : string
- field value : string , float , interger , boolean
你可以看到除了 field value 支持的数据类型多一点之外,其余全是字符串类型。
当然还有最重要的 timestamp ,InfluxDB 中的时间都是 UTC 时间,而且时间精度非常高,默认为纳秒。
02
—
数据结构设计
在实际使用中,数据都是存储在 tag 或者 field 中,这两者最重要的区别就是,tag 会构建索引(也就是说查询时,where 条件里的是 tag ,则查询性能更高),field 则不会被索引。
存储数据到底是使用 tag 还是 field ,参考以下原则:
- 常用于查询条件的数据存储为 tag 。
- 计划使用 GROUP BY() 的数据存储为 tag 。
- 计划使用 InfluxQL function 的数据存储为 field 。
- 数据不只是 string 类型的存储为 field 。
对于标识性的名称,如 database、RP、user、measurement、tag key、field key 这些应该避免使用 InfluxQL 中的关键字。
其它需要注意的原则:
- 不要有过于庞大的 series 。若在 tag 中使用 UUID、hash、随机字符串等将会导致数量庞大的 series ,这将会导致更高的内存使用率,尤其是系统内存有限的情况下需要额外注意。
- measurement 名称不应该包含具体的数据(表名就是一个单纯的表名),你应该使用不同的 tag 去区分数据,而不是 measurement 名称。
- 一个 tag 中不要放置多条信息,复杂的信息合理拆分为多个 tag 有助于简化查询并减少使用正则。
03
—
索引
InfluxDB 通过构建索引可以提高查询性能。InfluxDB 中的索引有两种:In-memory 和 TSI 。这两种索引只能选择一种,且无法动态更改,一旦更改必须重启 InfluxDB 。
In-memory :索引被存储在内存中,这也是默认使用的方式,性能更高。
TSI( Time Series Index ):In-memory 索引可以支持千万级别的 series ,然而内存资源终归是有限的,为了支持亿级和十亿级别的 series 数据,TSI 应运而生,其会将索引映射到磁盘文件上。
索引相关配置项(默认的配置文件为 influxdb.conf ):
- 索引方式,inmem 或者 tsi1 :
index-version = "inmem"
- in-memory 相关设置:
max-series-per-database = 1000000
max-values-per-tag = 100000
max-series-per-database :每个数据库允许的最大 series 数量,默认一百万,一旦达到上限,再写入新的 series 则会得到一个 500 错误,向已经存在的 series 写入数据不受影响。设置为 0 则意味着没有限制。
max-values-per-tag :每个 tag key 允许的最大 tag values 数量,默认十万,类似的,一旦达到上限,无法写入新的 tag value ,而向已经存在的 tag value 写入数据不受影响。设置为 0 则意味着没有限制。
- TSI( tsi1 )相关设置:
max-index-log-file-size = "1m"
series-id-set-cache-size = 100
max-index-log-file-size :预写日志的文件大小达到多大的阈值之后,将其压缩为索引文件,阈值越低,压缩越快,堆内存使用率越低,但会降低写入的吞吐量。
series-id-set-cache-size :使用内存缓存的 series 集的大小,由于 TSI 索引存储在了磁盘文件中,因此使用时需要额外的计算工作,但如果将索引结果缓存起来的话就可以避免重复的计算,提高查询性能。默认缓存 100 个 series ,这个值越大则使用的堆内存越大,设置为 0 则不缓存。
- AngularJS 中的Promise --- $q服务详解
- Ruby编程实践
- Ruby测试小代码[计算50以内的素数]
- 出租车、巴士、单车、AI全入局 首汽约车着力搭建出行生态圈
- 如何运行ruby代码
- 图解NodeJS【基于事件、回调的单线程高性能服务器】原理
- CListBox
- 如何在Eclipse中添加Tomcat的jar包
- c++---函数
- Ruby对象模型总结
- Elasticsearch 管理文档
- Elasticsearch聚合 之 Ip Range IP地址范围聚合
- Elasticsearch聚合 之 DateRange日期范围聚合
- 域名投资大佬Mike Mann以约19.5万美金出售加密货币相关域名
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法