Pycharm+Scrapy安装并且初始化项目的方法
时间:2019-01-15
今天小编就为大家分享一篇Pycharm+Scrapy安装并且初始化项目的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
前言
Scrapy是一个开源的网络爬虫框架,Python编写的。最初设计用于网页抓取,也可以用来提取数据使用API或作为一个通用的网络爬虫。是数据采集不可必备的利器。
安装
pip install scrapy
如果使用上面的命令太慢。国内可以使用豆瓣源进行加速。
pip install -i https://pypi.douban.com/simple scrapy
注意要写错了,是 https://pypi.douban.com/simple 很多包都可以使用这个源进行加速,这也是pip的一个技巧,还可以使用阿里云进行加速。
安装完成之后在命令行输入
scrapy -v
如果出现了相应的版本号就说明安装成功。
创建项目
目前还没有IDE 能够创建scrapy的项目,我们必须手动初始化项目。
1、找一个目录
输入命令
scrapy startproject SpiderObject
命令行出现这样的结果说明创建成果
You can start your first spider with: cd SpiderObject scrapy genspider example example.com
去文件夹中看看
初始化项目
使用pycharm打开该项目
如果出现这个页面就说明对了。
下面生成一个模板
打开pycharm的terminal
输入
scrapy genspider BiduSpider http://www.baidu.com
我们的spider 包下面会多一个文件
这说明我们的spider创建成功。可以在pytharm中使用这个 强大的框架了。
以上这篇Pycharm+Scrapy安装并且初始化项目的方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 图文并茂入门一下Git
- python教程 | 最标准的地图调用方式(国家测绘局提供数据)
- Linux的文件和文件系统的管理
- 38.opengl-字体渲染
- 使用Sentinel对Spring MVC接口进行限流
- IDEA Pycharm WebStorm JetBranis全版本 2020年 最新激活方式
- SpringBoot整合MyBatis
- Sublime Text 3解决中文乱码
- pyPI: Python计算热带气旋潜在强度(Potential Intensity, 数据+代码)
- CVE-2019-0808 从空指针解引用到权限提升
- 打卡群刷题总结0926——零钱兑换
- 这样写的代码,都是垃圾......
- 打卡群刷题总结0928——整数拆分
- 面试官最爱问的 11道 Redis 面试题,我替你整理好了
- 打卡群刷题总结0929——计算各个位数不同的数字个数