实战 | Elasticsearch打造知识库检索系统
时间:2022-05-04
本文章向大家介绍实战 | Elasticsearch打造知识库检索系统,主要内容包括题记、1、pdf、Office类的文档如何被ES索引?、2、Elasticsearch支持的最大待检索字段的长度是多大?、3、Office&pdf文档存入Elastisearch注意问题清单、4、解析实战代码、参考:、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。
题记
源自“死磕Elasticsearch”技术群里的讨论问题:
——我想用es做个类似于知识库的东西,所以需要索引一些pdf、word之类的文件,这个你之前有试过吗?能给个方向吗?
我的思考如下:
1、pdf、Office类的文档如何被ES索引?
更确切的说,pdf、Office类文档(word,ppt,excel等)如何导入ES中。 如图所示:
问题转嫁为:如何将Office类文档、PDF文档导入ES建立索引,并提供全文检索服务?
2、Elasticsearch支持的最大待检索字段的长度是多大?
ES5.X版本以后,keyword支持的最大长度为32766个UTF-8字符,text对字符长度没有限制。 设置ignore_above后,超过给定长度后的数据将不被索引,无法通过term精确匹配检索返回结果。
参考:http://t.cn/RYlEMgn 参考6.0官网解读:http://t.cn/RYlELoV 参考luncene7.1API: http://t.cn/RYWvuGl
3、Office&pdf文档存入Elastisearch注意问题清单
少废话,直接上图。
4、解析实战代码
以上仅列举核心示例代码。
5、小结 从功能和性能角度考量,建立知识库的建议如下: 1)知识库的核心是数据导入ES,导入ES的核心是各种类型文档的解析; 2)提前设定Mapping,定义好字段分词、不分词的策略; 3)对于大于1MB一个字段的存储,建议使用fvh高亮方式,在Mapping中一并设置。
参考:
[1] Java读取Office文档参考:http://t.cn/RZsiHcY [2] Html2Md参考:http://t.cn/RYlEEoC [3] Pdf2Html参考:http://t.cn/zWgVuFv [4]OpenOffice参考:http://t.cn/8sGyKZd
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 一天一大 lee(复原IP地址)难度:中等-Day20200809
- 一天一大 lee(计数二进制子串)难度:简单-Day20200810
- 一天一大 lee(打家劫舍 III)难度:中等-Day20200805
- 一天一大 lee(课程表)难度:中等-Day20200804
- 一天一大 leet(二叉树展开为链表)难度:中等-Day20200802
- 一天一大 leet(字符串相加)难度:简单-Day20200803
- 一天一大 lee(恢复二叉搜索树)难度:困难-Day20200808
- 一天一大 leet(最小区间)难度:困难-Day20200801
- 一天一大 lee(全排列 II)难度:中等-Day20200918
- 一天一大 lee(冗余连接 II)难度:困难-Day20200917
- 一天一大 lee(左叶子之和)难度:简单-Day20200919
- 【一天一大 lee】 把二叉搜索树转换为累加树 (难度:简单)-Day20200921
- 【一天一大 lee】子集 (难度:中等)-Day20200920
- 用了这个jupyter插件,我已经半个月没打开过excel了
- Webpack学习笔记