Cheerio爬虫-解决网易GBK字符的乱码问题
时间:2022-07-23
本文章向大家介绍Cheerio爬虫-解决网易GBK字符的乱码问题,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
1.爬了网易科技的最新快讯,发现出来的全是乱码。
1.png
2.看了源代码,发现网页字符格式是GBK
2.png
3.于是百度,发现要用到库npm install iconv-lite
4.发现了一个大神写的node库npm install gbk
3.png
看了index.js发现先要有个iconv-lite库
4.png 跑了一遍他git上的example,发现报错。。。。
看到issue中也有人提出相关问题
5.png
很幸运,作者四天前刚刚解决了他的问题。
6.png 直接复制他修改后的page.js替换自己node_modules/gbk/libs/page.js的代码 就可以运行啦!!!
5.然后当然是直接引入到我的代码里。。。
7.png
6.运行结果
8.png
9.png
7.最后贴出全部代码
var http = require('http');
var cheerio = require('cheerio');
var url = 'http://tech.163.com';
var fs =require('fs');
var iconv = require('iconv-lite');
var gbk = require('gbk');
var i=1;
var section_add=null;
http.get(url, function(res){
//转换gbk字符格式的网页
gbk.fetch(url).to('string', function(err, string){
if (err)
return console.log(err);
var chapter=crawlerChapter(string);
printInfo(chapter);
});
// var html = '';
// res.on('data', function(data){
// html+= data;
// console.log(html);
// });
}).on('error', function(){
console.log('爬取页面错误');
});
function crawlerChapter(html) {
var $ = cheerio.load(html);
var chapters = $('.newest-lists');//css选择器
var data = [];
chapters.map(function (node) {
var chapters = $(this);
var chapterTitle = chapters.find('.list_item').text().trim();//选择器
var sections = chapters.find('.nl-title');//选择器
var chapterData = {
chapterTitle: chapterTitle,
section: []
};
sections.map(function (node) {
var section = $(this).text().trim();
chapterData.section.push(section);
});
data.push(chapterData);
});
return data;
}
function printInfo(data) {
data = data.filter(function filterByID(obj) {
return obj.chapterTitle ? true : false;
});
data.map(function (item) {
var chapterTitle = item.chapterTitle;
//console.log('【' + chapterTitle + '】n');未处理的文字
item.section.map(function (section) {
console.log(' 【' + section + '】n');//换行后的文字
section_add+=section+'n';
// ------------------将文字存入文件-----------
fs.writeFile('./wangyi.txt',section_add,function(err){
if(err) throw err;
console.log("file save!"+i);
i= i+1;
});
// ------------------将文字存入文件-----------
});
});
}
- WCF 添加 RESTful 支持,适用于 IIS、Winform、cmd 宿主
- 在CentOS 7上安装Nginx服务器
- 卷积神经网络 | 深度学习笔记1
- 【直播】我的基因组65:看看哪些基因的突变较多,哪些较少
- angular之interceptors拦截器
- js list数据 转 树状 层级 JSON,递归生成树状 层级 JSON
- jquery 图片文件转base64 显示
- AngularJS 用 $http.jsonp 跨域SyntaxError问题
- 简单的java socket 示例
- Hadoop二次开发环境构建
- Android EditText 获得输入焦点 以及requestfocus()失效的问题
- 【直播】我的基因组68:看看哪些基因的突变较多,哪些较少
- GDI+编程
- GDI编程
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 【程序源代码】python贪吃蛇小游戏
- html5+CSS3+JS实现七夕言情功能代码
- 利用 Python 爬取了近 3000 条单身女生的数据,究竟她们理想的择偶标准是什么?
- 用了这么多年的注解,你知道注解是干嘛的嘛?
- 缓存及在 Python 中使用缓存
- 【xss-labs】xss-labs通关笔记(一)
- 在 jQuery Mobile 中使用 UI 组件
- 【内网渗透】关于内网代理转发技术
- 知识图谱项目前端可视化图论库——Cytoscape.js简介
- Matlab系列之文件操作
- 云开发 X 涂鸦:当小程序遇见物联网IoT,几行代码搞定智能插座控制
- Spring、SpringMVC和SpringBoot看这一篇就够了!
- React结合Redux实现Todolist
- JS事件,你真的懂吗(捕获,冒泡)?
- iptables速查