爬虫的主函数该怎么写

时间:2022-05-08
本文章向大家介绍爬虫的主函数该怎么写,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

主函数中是将前边写的所有函数汇总,通过多线程,将爬虫稳步有序的进行。 头文件中的那些是之前写好的做引用 用到了多线程技术,在python中,Pool函数是个好的多线程工具

__author__ = 'Lee'
from multiprocessing import Pool
from beijing_proper import channel_list
from items_combination import get_pages_url

def get_all_links_from(channel):  #获取地址池中的数据并获得后执行 get_pages_url()函数
    for i in range(1,50):
        get_pages_url(channel,i)

if __name__ == '__main__':  #固定格式,可以先不用管
    pool = Pool()
    pool.map(get_all_links_from,channel_list.split()) #用到了进程相关知识 map函数的作用就是 将后边的一次一次循环的和前边做“与”的操作