56-天亮大数据系列教程之海量数据秒级布署与实时查询项目-课堂笔记-13
时间:2019-01-19
本文章向大家介绍56-天亮大数据系列教程之海量数据秒级布署与实时查询项目-课堂笔记-13,主要包括56-天亮大数据系列教程之海量数据秒级布署与实时查询项目-课堂笔记-13使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
1、关于海量数据布署与查询的说明?
准确的讲项目名称为:海量数据秒级布署与高实时查询项目
布署:将数据进行处理至可以正式提供服务为止的这段过程或时间。
在此项目中,布署环境即为从weibo_json的生成(即数据块已完成)开始到对外可以提供restful service为止。
在此项目中,为何强调秒级布署?
1) 相比于mysql,redis,mongodb,hbase,oracle等而言,该方案在生成索引数据时,
非常的独立和高效,因为充分挥了集群mr和bdb嵌入式计算的特点。
2) 在生成索引数据过程中,对已提供的数据和rest服务,没有任何影响。
3) 在切换新数据源的时候,只需要切换数据源目录即可,通过一个多线程方法可以轻松实现。
在此项目中,何为高实时查询?
1) 之前的本地测试已证明,单次查询可以在3-5ms内完成。
2) 该查询因为采用双索引结构,先是索引号到database,再是database到kv对查询。
不会随着数据量的增长而使查询效率明显降低,需要合适设置数据总量和块数的比例关系。
- WordPress高亮插件:Crayon Syntax Highlighter加载优化
- 深入理解 ButterKnife,让你的程序学会写代码
- JS+CSS让网站嗨起来,博客要被玩坏了!
- Linux系统zip压缩命令详细参数,附文件排除选项的正确用法
- 浅谈Android自定义锁屏页的发车姿势
- 移动App入侵与逆向破解技术-iOS篇
- 启用WP Super Cache纯代码版本之后的一些优化措施
- WP Super Cache静态缓存插件纯代码版(兼容多域名网站)
- 【Dev Club分享】React Native项目实战总结。
- HTML 5 视频直播一站式扫盲
- Golang之chan/goroutine
- 原创插件:WordPress博客友好对话框+文章随机推荐滚动条插件(附代码版)
- php平滑重启nginx,彻底清除WordPress的静态缓存
- 解耦---Hybrid H5跨平台性思考
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Android的WebView与H5前端JS代码交互的实例代码
- Android 图片缓存机制的深入理解
- Ubuntu18.04安装Nvidia显卡驱动教程(图文)
- Android控件Spinner的使用方法(1)
- 学习使用Material Design控件(四)Android实现标题栏自动缩放、放大效果
- Ubuntu 20.04 CUDA&cuDNN安装方法(图文教程)
- Android开发之基于DialogFragment创建对话框的方法示例
- Android图片压缩的实例详解
- Android编程之手机壁纸WallPaper设置方法示例
- 手把手教你在腾讯云上搭建hadoop3.x伪集群的方法
- Android从网络中获得一张图片并显示在屏幕上的实例详解
- Android ListView中headerview的动态显示和隐藏的实现方法
- Android编程使用Service实现Notification定时发送功能示例
- Android基于ViewFilpper实现文字LED显示效果示例
- Android ViewPager导航小圆点实现无限循环效果