C++ socket网络爬虫(1)
C++写的socket网络爬虫,代码会在最后一次讲解中提供给大家,同时我也会在写的同时不断的对代码进行完善与修改
我首先向大家讲解如何将网页中的内容,文本,图片等下载到电脑中。
我会教大家如何将百度首页上的这个百度标志图片(http://www.baidu.com/img/bdlogo.gif)抓取下载到电脑中。
程序的部分代码如下,讲解在代码的下面,下载链接在最后给出,
int main()
{
string url = "www.baidu.com";
string name = "/img/bdlogo.gif";
int port = 80;
int client_socket = makeSocket(url,port);//1
string request = "GET " + name + " HTTP/1.1rnHost:" + url + "rnConnection:Closernrn";//2
if (send(client_socket, request.c_str(), request.size(), 0) == SOCKET_ERROR)//3
{
cout << "send error" << endl;
}
fstream file;
string fileName = FileName(name);//4
file.open(fileName, ios::out | ios::binary);//5
char buf[1024];
::memset(buf, 0, sizeof(buf));//6
int n = 0;
n = recv(client_socket, buf, sizeof(buf)-sizeof(char), 0);//3
char* cpos = strstr(buf, "rnrn");//7
file.write(cpos + strlen("rnrn"), n - (cpos - buf) - strlen("rnrn"));//7
while ((n = recv(client_socket, buf, sizeof(buf)-sizeof(char), 0)) > 0)//7
{
try
{
file.write(buf, n);
}
catch (...)
{
cerr << "ERROR" << endl;
}
}
file.close();
closesocket(client_socket);
system("pause");
return 0;
}
一、main函数
1、makeSocket(url,port)
int makeSocket(string host,int port)函数是我自己编写的,接受两个参数,一个是域名或主机名,第二个是所使用的端口号,返回一个用于创建socket的int型数据,将在这一页的二.makeSocket中进行讲解
2、string request = "GET " + name + " HTTP/1.1rnHost:" + url + "rnConnection:Closernrn";
这个是http的请求报头,有很多的信息,这里只对这句话中使用到的进行讲解
GET 请求获取Request-URI所标识的资源;
name 所标识的资源;
HTTP/1.1 表示请求的HTTP协议版本;
Host:url 指定被请求资源的Internet主机和端口号,通常从HTTP URL中提取出来的,
比如 我们在浏览器中输入http://baidu.com/index.html浏览器发送的请求消息中,就会包含Host请求报头域,如下: Host:www.baidu.com
此处使用缺省端口号80,若指定了端口号,则变成:Host:www.baidu.com:port
Connection:Close Connection字段用于设定是否使用长连接,在http1.1中默认是使用长连接的,即Connection的值为Keep-alive,如果不想使用长连接则需要明确指出connection的值为close
Connection:Close表明当前正在使用的tcp链接在请求处理完毕后会被断掉。以后client再进行新的请求时就必须创建新的tcp链接了,即必须从新创建socket
更多关于http协议的内容可以查考http://blog.csdn.net/gueter/article/details/1524447 HTTP协议详解
注意最后一定要以一个单独的rn作为结束标志
3.send/recv
send用于向服务端发送消息
recv/send函数原型如下
int recv(SOCKET s,char FAR * buf,int len,int flags)/int send(SOCKET s,const char FAR * buf,int len,int flags);
第一个参数表示代表对方的socket,
第二个参数为接收读取的信息的字符串
第三个参数为该字符串的大小
第四个参数可以用来控制读写操作
详情可以参照http://www.cnblogs.com/magicsoar/p/3587351.html 中的讲解1
4 FileName(name)
自己编写的string FileName(string dir)函数,由于windows中文件的名字中不允许含有/
所以FileName函数用于将dir中的所有/替换为_
string FileName(string dir)
{
string search = "/";
int pos = 0;
while ((pos = dir.find(search, pos)) != string::npos) {
dir.replace(pos, search.size(), "_");
pos++;
}
return dir;
}
如string FileName(“img/bdlogo.gif”)返回_img_bdlogo.gif
5 file.open(fileName, ios::out | ios::binary)r45
ios::out以输出方式打开文件,如果文件不存在这创建新的文件
ios::binary以二进制模式进行I/O操作,这里使用二进制模式是为了正确的处理图片的下载
6 ::memset(buf, 0, sizeof(buf));
函数原型为void *memset(void *s, int ch, size n);
函数解释:将s所指的内存中前n个字节 (typedef unsigned int size_t)用 ch 替换并返回 s 。
memset:作用是在一段内存块中填充某个给定的值,它是对较大的结构体和数组进行清零操作的一种较快方法
7 在接收和解释请求消息后,服务器返回一个HTTP响应消息。
HTTP响应也是由三个部分组成,分别是:状态行、消息报头、响应正文
响应正文就是服务器返回的资源的内容,所以我们需要跳过状态行与消息报头部分。
消息报头与相应正文之间可以用rnrn进行区分,当第一次发现接收到的字符串数组中含有rnrn时,则将rnrn前的内容全部忽略,将剩下的内容写到文件中去
strstr(*str1, *str2)实现从字符串str1中查找是否有字符串str2,如果有,从str1中的str2位置起,返回str1中str2起始位置的指针,如果没有,返回null。
由于一次最多可以接受1024个字符,而rn极有可能位于中间位置,所有我们要将1024个char中位于rn之后的数据写到文件中。
二.makeSocket函数
int makeSocket(string host,int port)
{
WSADATA inet_WsaData;//1
WSAStartup(MAKEWORD(2, 0), &inet_WsaData);//1
if (LOBYTE(inet_WsaData.wVersion) != 2 || HIBYTE(inet_WsaData.wVersion) != 0)//1
{
WSACleanup();
return -1;
}
int tcp_socket = socket(AF_INET, SOCK_STREAM, 0);//1
struct hostent * hp = ::gethostbyname(host.c_str());//2
struct sockaddr_in saddr;
saddr.sin_family = AF_INET;
saddr.sin_port = htons(port);
memcpy(&saddr.sin_addr, hp->h_addr, 4);//3
if (connect(tcp_socket, (const struct sockaddr *)&saddr, sizeof(saddr)) == -1)//1
{
cerr << "error in connect" << endl;
}
return tcp_socket;
}
1 见http://www.cnblogs.com/magicsoar/p/3585129.html windows下的C++ socket服务器(3)中讲解
2 struct hostent * hp = ::gethostbyname(host.c_str());
gethostbyname()返回对应于给定主机名的包含主机名字和地址信息的hostent结构指针
hostent结构体的定义如下
struct hostent {
char FAR * h_name; /* official name of host */
char FAR * FAR * h_aliases; /* alias list */
short h_addrtype; /* host address type */
short h_length; /* length of address */
char FAR * FAR * h_addr_list; /* list of addresses */
#define h_addr h_addr_list[0] /* address, for backward compat */
};
hostent->h_name表示的是主机的规范名。例如www.baidu.com的规范名其实是www.a.shifen.com。(关于www.a.shifen.com还有一段故事http://www.zhihu.com/question/20100901) hostent->h_aliases表示的是主机的别名.www.google.com就是google他自己的别名。有的时候,有的主机可能有好几个别名,这些,其实都是为了易于用户记忆而为自己的网站多取的名字。 hostent->h_addrtype表示的是主机ip地址的类型,到底是ipv4(AF_INET),还是pv6(AF_INET6) hostent->h_length表示的是主机ip地址的长度
hostent->h_addr_list表示的是主机的ip地址
#define h_addr h_addr_list[0]
3 memcpy(&saddr.sin_addr, hp->h_addr, 4);
由于 hp->h_addr是char*类型,不能直接赋值给saddr.sin_addr
所以我们使用了memcpy函数
函数原型如下
void *memcpy(void *dest, const void *src, size_t n);
从源src所指的内存地址的起始位置开始拷贝n个字节到目标dest所指的内存地址的起始位置中。
程序的下载地址
http://files.cnblogs.com/magicsoar/Webcrawler1.rar
- hdu 1805Expressions(二叉树构造的后缀表达式)
- 清空messages没有权限的解决方法
- hdu1710(Binary Tree Traversals)(二叉树遍历)
- 基本线程同步(一) 同步方法
- uva514(trail)(模拟栈)
- zoj3822 Domination(概率dp)
- Veeam Backup & Replication(三):创建备份与还原备份
- 使用Go开发一个简单的服务器程序
- C++ 与设计模式学习(其一)
- xz文件压缩工具的用法
- Java 中正确使用 hashCode 和 equals 方法
- C/C++ 关于生成静态库(lib)/动态库(dll)文件如何使用(基于windows基础篇)
- openwrt将LAN口改为WAN方法
- c/c++----网站及其后门(CGI应用程序)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Scrapy框架: settings.py设置
- 干货 | Elasticsearch 开发实战常用命令清单
- Scrapy框架: 登录网站
- Scrapy框架: middlewares.py设置
- Scrapy框架: pipelines.py设置
- Scrapy框架: 通用爬虫之CrawlSpider
- Scrapy框架: 通用爬虫之XMLFeedSpider
- Scrapy框架: 通用爬虫之CSVFeedSpider
- Scrapy框架: 通用爬虫之SitemapSpider
- Scrapy框架: 异常错误处理
- Scrapy框架: Request回调函数
- Python快速设置Excel表格边框
- SwiftUI:contextMenu 菜单
- [已解决]报错: Could not install packages due to an EnvironmentError: [Errno 13] Permission denied: '/User
- Python建立pip.ini