linux chrome 安装过程记录
最近,由于公司需要做爬虫抓取一些新闻,在开发过程中,发现有些网站有一定的反爬措施,通过浏览器访问一切正常,通过其他方式,包括:curl,urlconnection 等,就算加入了cookie,agent等参数也不能完全正常访问,导致爬取失败。
经过网上查找资料,找到解决方案,
对于这种特殊的网站,爬取方式改为通过程序在服务器端打开浏览器,访问地址,然后解析入库。
过程中需要用到chrome浏览器和chromedriver来实现
其中,chrome浏览器支持无界面访问网站,chromedriver,提供java,python,php等语言调用chrome的能力。
现将安装过程记录如下(基于centos6.5,centos7.2 亲测成功):
一、安装chrome
1. 下载安装脚本,
在下载目录中,执行以下命令,将安装脚本下载到本地
wget https://intoli.com/install-google-chrome.sh
2.然后授予可执行权限
chmod 755 ./install-google-chrome.sh
3.执行脚本
./install-google-chrome.sh
安装脚本会自动下载、安装chrome(合适的版本),并且目前两个系统中,所缺少的依赖,都会被安装。
4.测试安装结果
执行命令, google-chrome-stable --no-sandbox --headless --disable-gpu --screenshot https://www.baidu.com/
如果在当前文件夹中出现screenshot.png 则安装成功
二、安装chromedriver
1.切换到 chrome安装路径 (个人习惯,实际上在什么目录都可以)
cd /opt/google/
2.下载文件包
wget https://npm.taobao.org/mirrors/chromedriver/75.0.3770.90/chromedriver_linux64.zip
3.解压文件包
unzip chromedriver_linux64.zip
解压后,在/opt/google/ 会多出一个文件chromedriver
4.连接文件
ln -s /opt/google/chromedriver /usr/bin/chromedriver
执行以上命令后,安装成功
如果文件下载失败,可以下载传上服务器
地址是
https://files.cnblogs.com/files/suntray/install-google-chrome.sh.zip (安装脚本)
https://files.cnblogs.com/files/suntray/chromedriver_linux64.zip (驱动文件)
原文地址:https://www.cnblogs.com/suntray/p/11136363.html
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- php微信公众号开发之关键词回复
- Python 抓取数据存储到Redis中的操作
- PHP常见字符串操作函数与用法总结
- 利用python对excel中一列的时间数据更改格式操作
- Python 私有属性和私有方法应用场景分析
- django 模型字段设置默认值代码
- Python局部变量与全局变量区别原理解析
- 为什么是 Python -m
- Python csv文件记录流程代码解析
- 简单的Python人脸识别系统
- PHP实现的微信公众号扫码模拟登录功能示例
- PHP获取数据库表中的数据插入新的表再原删除数据方法
- python3 中时间戳、时间、日期的转换和加减操作
- PHP通过文件路径获取文件名的实例代码
- PHP常用正则表达式精选(推荐)