linux 下强大的 JSON 解析命令 jq
介绍
jq is like
sed
for JSON data - you can use it to slice and filter and map and transform structured data with the same ease thatsed
,awk
,grep
and friends let you play with text.
jq 可以对 JSON 数据进行切片、过滤、映射和转换,和sed
, awk
, grep
命令一样简单好用。
jq is written in portable C, and it has zero runtime dependencies. You can download a single binary,
scp
it to a far away machine of the same type, and expect it to work.
jq 是用 C语言编写的,没有运行时依赖。独立二进制文件,可以使用 scp 复制到其他服务器直接运行。
安装
Linux
# 下载 https://stedolan.github.io/jq/download/
$ wget https://github.com/stedolan/jq/releases/download/jq-1.6/jq-linux64 -O /usr/local/bin/jq
# 执行权限
$ chmod +x /usr/local/bin/jq
OS X
$ brew install jq
使用
以 njmon 的 json 输出来演示 jq 的常用方式,高级用法见官方手册。
jq "."
以 json格式化输出。
$ njmon -s 1 -c 1 | jq '.'
{
"timestamp": {
"datetime": "2020-03-14T19:59:22",
"UTC": "2020-03-14T11:59:22",
"snapshot_seconds": 1,
"snapshot_maxloops": 1,
"snapshot_loop": 0
},
..... 省略其他输出
}
指定 key 查询
$ njmon -s 1 -c 1 | jq '.timestamp'
{
"datetime": "2020-03-14T20:14:00",
"UTC": "2020-03-14T12:14:00",
"snapshot_seconds": 1,
"snapshot_maxloops": 1,
"snapshot_loop": 0
}
$ njmon -s 1 -c 1 | jq '.timestamp.datetime'
"2020-03-14T20:14:43"
--raw-output
/-r
标准输出,即不格式化为带引号的json 字符串
$ njmon -s 1 -c 1 | jq '.timestamp.datetime'
"2020-03-14T20:14:43"
$ njmon -s 1 -c 1 | jq -r '.timestamp.datetime'
2020-03-14T20:14:43
@csv
:格式化输出
还有其他格式方式:@html
,@sh
,@base64
,@base64d
等。
$ njmon -s 1
-c 1
| jq -r 'keys'
| jq -r '@csv'
数组
$ njmon -s 1 -c 1 | jq '.cpus'
{
"cpu0": {
"user": 0.999,
"nice": 0,
"sys": 0.999,
"idle": 99.87,
"iowait": 0,
"hardirq": 0,
"softirq": 0,
"steal": 0,
"guest": 0,
"guestnice": 0
},
"cpu1": {
"user": 2.996,
"nice": 0,
"sys": 0.999,
"idle": 97.873,
"iowait": 0,
"hardirq": 0,
"softirq": 0,
"steal": 0,
"guest": 0,
"guestnice": 0
}
}
$ njmon -s 1 -c 1 | jq '.cpus[]'
{
"user": 0.999,
"nice": 0,
"sys": 0.999,
"idle": 99.92,
"iowait": 0,
"hardirq": 0,
"softirq": 0,
"steal": 0,
"guest": 0,
"guestnice": 0
}
{
"user": 2.998,
"nice": 0,
"sys": 0.999,
"idle": 97.922,
"iowait": 0,
"hardirq": 0,
"softirq": 0,
"steal": 0,
"guest": 0,
"guestnice": 0
}
函数
keys
:获取JSON中的key信息
$ njmon -s 1 -c 1 | jq 'keys'
[
"cpu_total",
"cpuinfo",
"cpus",
"disks",
"filesystems",
"identity",
"lscpu",
"networks",
"os_release",
"proc_meminfo",
"proc_version",
"proc_vmstat",
"stat_counters",
"timestamp",
"uptime"
]
select(boolean_expression)
:搜索指定条件内容
$ njmon -s 1 -c 1 | jq '.filesystems[] | select(.fs_dir == "/home")'
{
"fs_dir": "/home",
"fs_type": "ext4",
"fs_opts": "rw,seclabel,relatime,data=ordered",
"fs_freqs": 0,
"fs_passno": 0,
"fs_bsize": 4096,
"fs_size_mb": 11502,
"fs_free_mb": 11448,
"fs_used_mb": 54,
"fs_full_percent": 0.463,
"fs_avail": 10842,
"fs_files": 757392,
"fs_files_free": 757110,
"fs_namelength": 255
}
has(key)
:判断是否存在某个key
$ njmon -s 1 -c 1 | jq 'has("cpus")'
true
$ njmon -s 1 -c 1 | jq 'has("cpus2")'
false
length
:查看输出长度或个数
# 5个字段
$ njmon -s 1 -c 1 | jq '.timestamp | length'
5
# 长度19
$ njmon -s 1 -c 1 | jq '.timestamp.datetime | length'
19
实际场景
nacos 工具脚本
在做自动部署脚本时,需要写个 Nacos 工具脚本,实现操作 Nacos 实例状态查看、下线、上线等。针对 Nacos 的 json 结构数据,使用 jq 来进行处理。脚本如下:
nacosUtils.sh
#!/bin/bash
# Nacos工具脚本
# 使用方法
usage() {
echo "Usage: sh $0 {instance|instances|offline|online} URL NAMESPACE_ID SERVICE_NAME IP PORT [FORCE]"
echo "n"
echo "t {instance|instances|offline|online} 方法名称"
echo "tt -instance:查询某个健康实例状态,true表示在线状态,false表示下线状态, 返回空表示实例不存在"
echo "tt -instances:查询健康实例总数"
echo "t SERVICE_NAME 系统名称"
echo "t IP 实例IP"
echo "t PORT 实例启动端口号"
echo "t FORCE 方法为offline时,true表示强制下线,非true表示校验是否多于2个健康实例"
echo "n"
echo "示例:"
echo "t 启动:sh $0 instance http://127.0.0.1/nacos ****** serviceName x.x.x.x 8090"
}
# 判断参数
if [ $# -lt 4 ];then
usage
exit 1
fi
# nacos url
URL=$2
# nacos 命名空间
NAMESPACE_ID=$3
# 系统名称
SERVICE_NAME=$4
# 实例 IP地址
IP=$5
# 端口
PORT=$6
# 强制下线标识
FORCE=$7
# 查看实例url
instanceListUrl="
# 更新实例
instanceUrl="
njmon 结果格式化
njmon与nmon类似,但输出为 JSON 格式,用于服务器性能统计。
$ njmon -s 1 -c 1 | jq .
{
"timestamp": {
"datetime": "2020-03-14T19:59:22",
"UTC": "2020-03-14T11:59:22",
"snapshot_seconds": 1,
"snapshot_maxloops": 1,
"snapshot_loop": 0
},
..... 省略其他输出
}
扩展阅读
- jq 官网:https://stedolan.github.io/jq
- jq 在线运行:https://jqplay.org/
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 终极解密输入网址按回车到底发生了什么
- Kafka核心原理的秘密,藏在这 17 张图中
- 国庆肝了8天整整2W字的数据库知识点
- MySQL事务与MVCC如何实现的隔离级别
- 1.5w字,30图带你彻底掌握 AQS!
- 原创 | codeforces 1419D2,有趣的思维题
- 如何实现四元数的运算
- 最牛一篇布隆过滤器详解
- 编写一个IDEA插件之:开发环境准备那些坑
- 编写一个IDEA插件之:使用PSI分析Java代码
- 编写一个IDEA插件之:自动生成Java代码
- 编写一个IDEA插件之:事件监听
- 重新加载故障节点上的 Ceph 卷
- 一个Spring Bean从诞生到逝去的九次人生转折!
- 原创 | 详解git rebase,让你走上git大神之路