详解spring封装hbase的代码实现
前面我们讲了spring封装MongoDB的代码实现,这里我们讲一下spring封装Hbase的代码实现。
hbase的简介:
此处大概说一下,不是我们要讨论的重点。
HBase是一个分布式的、面向列的开源数据库,HBase在Hadoop之上提供了类似于Bigtable的能力。HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式。hbase是bigtable的开源山寨版本。是建立的hdfs之上,提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统。它介于nosql和RDBMS之间,仅能通过主键(row key)和主键的range来检索数据,仅支持单行事务(可通过Hive支持来实现多表join等复杂操作)。主要用来存储非结构化和半结构化的松散数据。与hadoop一样,Hbase目标主要依靠横向扩展,通过不断增加廉价的商用服务器,来增加计算和存储能力。hbase给我的印象就是无限存,按照Key读取。
那么在我们的Java程序中应该如何使用hbase呢。
首先:
引入hbase的jar包,如果不是Maven项目,可以单独按照以下格式下载hbase的jar包引入到你的项目里。
<dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>0.96.2-hadoop2</version> </dependency>
其次:
增加hbase在spring中的配置。
1. 新增hbase-site.xml配置文件。以下是通用配置,具体每个参数的含义可以百度以下,这里不做详细讲解。
<?xml version="1.0" encoding="UTF-8"?> <configuration> <!--<property>--> <!--<name>hbase.rootdir</name>--> <!--<value>hdfs://ns1/hbase</value>--> <!--</property>--> <property> <name>hbase.client.write.buffer</name> <value>62914560</value> </property> <property> <name>hbase.client.pause</name> <value>1000</value> </property> <property> <name>hbase.client.retries.number</name> <value>10</value> </property> <property> <name>hbase.client.scanner.caching</name> <value>1</value> </property> <property> <name>hbase.client.keyvalue.maxsize</name> <value>6291456</value> </property> <property> <name>hbase.rpc.timeout</name> <value>60000</value> </property> <property> <name>hbase.security.authentication</name> <value>simple</value> </property> <property> <name>zookeeper.session.timeout</name> <value>60000</value> </property> <property> <name>zookeeper.znode.parent</name> <value>ZooKeeper中的HBase的根ZNode</value> </property> <property> <name>zookeeper.znode.rootserver</name> <value>root-region-server</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>zookeeper集群</value> </property> <property> <name>hbase.zookeeper.property.clientPort</name> <value>2181</value> </property> </configuration>
2. 新建spring-config-hbase.xml文件,记得在spring的配置文件中把这个文件Import进去。
<?xml version="1.0" encoding="UTF-8"?> <beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:hdp="http://www.springframework.org/schema/hadoop" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-3.0.xsd http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd "> <hdp:configuration resources="classpath:spring/hbase-site.xml" /> <hdp:hbase-configuration configuration-ref="hadoopConfiguration" /> <bean id="htemplate" class="org.springframework.data.hadoop.hbase.HbaseTemplate">
<!--注意到没有,spring的一贯风格,正如我们在mongodb篇讲到的一样,xxxTemplate封装--> <property name="configuration" ref="hbaseConfiguration"> </property> </bean> <bean class="com..HbaseDaoImpl" id="hbaseDao"> <constructor-arg ref="htemplate"/> </bean> </beans>
最后:
我们就可以重写我们的HbaseDaoImple类了。在这里可以实现我们操作hbase的代码逻辑。其中prism:OrderInfo是我们的表名,f是列族名称,OrderInfo的属性是列族下的列名。orderInfo是我程序定义的bean,你可以按照自己的需求定义自己的bean。
public class HbaseDaoImpl{ private HbaseTemplate hbaseTemplate; private HConnection hconnection = null; public HbaseDaoImpl(HbaseTemplate htemplate) throws Exception { if (hconnection == null) { hconnection = HConnectionManager.createConnection(htemplate.getConfiguration()); } if (this.hbaseTemplate == null) { this.hbaseTemplate = htemplate; } } public void writeDataOrderinfo(final OrderInfo orderInfo) { HTableInterface table = null; try { table = hconnection.getTable(Bytes.toBytes("prism:orderInfo")); Put p = new Put(Bytes.toBytes( orderInfo.getHistoryId())); p.add(Bytes.toBytes("f"), Bytes.toBytes("id"), Bytes.toBytes(orderInfo.getId())); p.add(Bytes.toBytes("f"), Bytes.toBytes("historyId"), Bytes.toBytes(orderInfo.getHistoryId())); p.add(Bytes.toBytes("f"), Bytes.toBytes("orderId"), Bytes.toBytes(orderInfo.getOrderId())); p.add(Bytes.toBytes("f"), Bytes.toBytes("orderDirection"), Bytes.toBytes(orderInfo.getOrderDirection())); p.add(Bytes.toBytes("f"), Bytes.toBytes("overStatus"), Bytes.toBytes(orderInfo.getOverStatus())); p.add(Bytes.toBytes("f"), Bytes.toBytes("orgArea"), Bytes.toBytes(orderInfo.getOrgArea())); table.put(p); } catch (IOException e) { throw new RuntimeException(e); } finally { if (table != null) { try { table.close(); } catch (IOException e) { e.printStackTrace(); } } } } public OrderInfo getOrderInfoByRowkey(String rowKey) { Get get = new Get(Bytes.toBytes(rowKey)); Scan scan = new Scan(get); List<OrderInfo> list = hbaseTemplate.find("prism:orderInfo", scan, new RowMapper<OrderInfo>() { @Override public OrderInfo mapRow(Result result, int rowNum) throws Exception { OrderInfo orderInfo = new OrderInfo(); orderInfo.setId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("id")))); orderInfo.setHistoryId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("historyId")))); orderInfo.setOrderId(Bytes.toLong(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderId")))); return orderInfo; } }); if(list.size() > 0){ return list.get(0); }else{ return null; } } public List<OrderInfo> getOrderInfoByRange(String start_rowKey,String stop_rowKey) { Scan scan = new Scan(); scan.setStartRow(Bytes.toBytes(start_rowKey)); scan.setStopRow(Bytes.toBytes(stop_rowKey)); HTableInterface table = null; ResultScanner rs = null; List<OrderInfo> list = new ArrayList<OrderInfo>(); try { table = hconnection.getTable(Bytes.toBytes("prism:orderInfo")); rs = table.getScanner(scan); for(Result result : rs){ OrderInfo orderInfo = new OrderInfo(); orderInfo.setId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("id")))); orderInfo.setHistoryId(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("historyId")))); orderInfo.setOrderId(Bytes.toLong(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderId")))); orderInfo.setOrderDirection(Bytes.toString(result.getValue(Bytes.toBytes("f"), Bytes.toBytes("orderDirection")))); list.add(orderInfo); } } catch (IOException e) { e.printStackTrace(); }finally{ rs.close(); } return list; } public HbaseTemplate getHbaseTemplate() { return hbaseTemplate; } public void setHbaseTemplate(HbaseTemplate hbaseTemplate) { this.hbaseTemplate = hbaseTemplate; } }
注:在程序中,你可以使用spring封装的HbaseTemplate,也可以使用原生的hconnection等的操作方式,如何操作在我们的代码示例中都有。个人觉得,spring封装的HbaseTemplate不太好使,比如每次请求都会重新链接一下zookeeper集群(其中缘由我也没去研究,有研究透的同学还望不吝赐教)。建议用原生的方式。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
- java教程
- Java快速入门
- Java 开发环境配置
- Java基本语法
- Java 对象和类
- Java 基本数据类型
- Java 变量类型
- Java 修饰符
- Java 运算符
- Java 循环结构
- Java 分支结构
- Java Number类
- Java Character类
- Java String类
- Java StringBuffer和StringBuilder类
- Java 数组
- Java 日期时间
- Java 正则表达式
- Java 方法
- Java 流(Stream)、文件(File)和IO
- Java 异常处理
- Java 继承
- Java 重写(Override)与重载(Overload)
- Java 多态
- Java 抽象类
- Java 封装
- Java 接口
- Java 包(package)
- Java 数据结构
- Java 集合框架
- Java 泛型
- Java 序列化
- Java 网络编程
- Java 发送邮件
- Java 多线程编程
- Java Applet基础
- Java 文档注释
- 干货|这可能是最全的高并发、高性能、高可用解决方案总结
- 群晖多人协作开发
- 分享 Druid 连接池参数优化实战
- 使用 Eureka 简单实现服务健康监控日志分析
- Flask 入门系列教程(一)
- Flask 入门系列教程(二)
- CVE-2020-1472
- 盘点提高国内访问 GitHub 的速度的 9 种方案
- 如何用 Serverless 优雅地实现图片艺术化应用
- Unity3D网络通讯(四)--Socket通讯之Tcp通讯
- 笔记|Unity异步处理与UI Text显示的问题
- 项目中的全局缓存导致了内存泄露?
- 架构设计 | 分布式体系下,服务分层监控策略
- Hadoop框架:单服务下伪分布式集群搭建
- 架构设计 | 基于Seata中间件,微服务模式下事务管理