[Go] 并发imap收信
时间:2019-11-23
本文章向大家介绍[Go] 并发imap收信,主要包括[Go] 并发imap收信使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
并发数太大会直接死,这里有时候需要多试几次
package main import ( "flag" "fmt" "io/ioutil" "log" "math" "os" "sync" "github.com/emersion/go-imap" "github.com/emersion/go-imap/client" ) var ( server, email, password string workernum int imapClient *client.Client mailDirs []string mailSumNums uint32 pagesize int = 50 start int stop int ) type Pool struct { workerNum int road chan *Car wg sync.WaitGroup } //初始化这个对象 func NewPool(wn int) *Pool { return &Pool{workerNum: wn, road: make(chan *Car)} } //往channel添加具体任务 func (p *Pool) AddCar(f *Car) { p.road <- f } //goroutine去工作 func (p *Pool) work(workId int) { for f := range p.road { log.Println("workId:", workId, "start") f.do() log.Println("workId:", workId, "done") } p.wg.Done() } //创建goroutine等着接工作 func (p *Pool) Run() { for i := 0; i < p.workerNum; i++ { go p.work(i) p.wg.Add(1) } p.wg.Wait() } func (p *Pool) colse() { close(p.road) } var pool = NewPool(30) func main() { go handleMail() pool.Run() } func handleMail() { //获取命令行参数 flag.StringVar(&server, "server", "", "imap服务地址(包含端口)") flag.StringVar(&email, "email", "", "邮箱名") flag.StringVar(&password, "password", "", "密码") flag.Parse() if flag.NFlag() < 3 { flag.PrintDefaults() os.Exit(1) } if server == "" || email == "" || password == "" { log.Fatal("服务器地址,用户名,密码,参数错误") } //连接imap服务 imapClient, err := client.Dial(server) if err != nil { log.Fatal(err) } //登陆 if err := imapClient.Login(email, password); err != nil { log.Fatal(err) } //创建邮件夹目录 os.Mkdir(email, os.ModePerm) mailboxes := make(chan *imap.MailboxInfo, 20) go func() { imapClient.List("", "*", mailboxes) }() //列取邮件夹 for m := range mailboxes { mailDirs = append(mailDirs, m.Name) } //循环邮件夹,创建邮件夹目录 for _, mailDir := range mailDirs { //选中每个邮件夹 mbox, err := imapClient.Select(mailDir, false) if err != nil { log.Fatal(err) } mailDirNums := mbox.Messages log.Printf("%s : %d", mailDir, mailDirNums) fileDir := fmt.Sprintf("%s/%s", email, mailDir) //创建邮件夹目录 os.Mkdir(fileDir, os.ModePerm) mailSumNums += mailDirNums } log.Printf("总邮件数 : %d", mailSumNums) //循环邮件夹,读取每个邮件夹中的邮件 for _, mailDir := range mailDirs { //选中每个邮件夹 mbox, err := imapClient.Select(mailDir, false) if err != nil { log.Fatal(err) } //循环该邮件夹中的邮件 pagecount := int(math.Ceil(float64(mbox.Messages) / float64(pagesize))) for i := 1; i <= pagecount; i++ { if i == 1 { start = 1 } else { start = (i-1)*pagesize + 1 } stop = i * pagesize if stop > int(mbox.Messages) { stop = int(mbox.Messages) } car := Car{ start: start, stop: stop, mailDir: mailDir, imapClient: imapClient, } pool.AddCar(&car) } pool.colse() } } /*具体做的事通过这个来传递*/ type Car struct { start, stop int mailDir string imapClient *client.Client } //具体做事 func (c *Car) do() error { seqset := new(imap.SeqSet) seqset.AddRange(uint32(c.start), uint32(c.stop)) section := &imap.BodySectionName{} items := []imap.FetchItem{section.FetchItem()} messages := make(chan *imap.Message, pagesize) go func() { c.imapClient.Fetch(seqset, items, messages) }() for msg := range messages { mailFile := fmt.Sprintf("%s/%s/%d.eml", email, c.mailDir, msg.SeqNum) r := msg.GetBody(section) if r != nil { body, _ := ioutil.ReadAll(r) f, _ := os.OpenFile(mailFile, os.O_RDWR|os.O_CREATE, 0766) f.Write(body) f.Close() log.Printf("%s :第 %d ", c.mailDir, msg.SeqNum) } } return nil }
原文地址:https://www.cnblogs.com/taoshihan/p/11918817.html
- python爬虫入门(五)Selenium模拟用户操作
- python爬虫入门(六) Scrapy框架之原理介绍
- lambda表达式杂谈
- python爬虫入门(七)Scrapy框架之Spider类
- python爬虫入门(八)Scrapy框架之CrawlSpider类
- python爬虫入门(九)Scrapy框架之数据库保存
- Numpy 修炼之道(1) —— 什么是 Numpy
- TensorFlow修炼之道(3)——计算图和会话(Graph&Session)
- 1.python简介
- 《Python自然语言处理》答案第三章
- 2.python数据类型
- Miller Rabin算法详解
- 3.python文件操作
- TensorFlow修炼之道(2)——变量(Variable)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Matplotlib中的“plt”和“ax”到底是什么?
- 使用深度学习模型创作动漫故事,比较LSTM和GPT2的文本生成方法
- 聊聊BitCaskLock
- LightGBM的参数详解以及如何调优
- 聊聊BitCaskKeyDir
- 使用2D卷积技术进行时间序列预测
- 在PyTorch中使用DistributedDataParallel进行多GPU分布式模型训练
- 同城双活与异地多活架构分析
- leetcode多线程之按序打印
- leetcode多线程之交替打印FooBar
- leetcode链表之反转链表
- leetcode链表之合并两个排序的链表
- leetcode链表之找出倒数第k个节点
- ZooKeeper能解决什么问题?不能解决什么问题?
- 画解算法 77-组合