使用腾讯云TCB云函数抓取微信情报信息
时间:2022-07-26
本文章向大家介绍使用腾讯云TCB云函数抓取微信情报信息,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
本文是 puppeteer 在云函数中的简单应用,主要功能为爬取网站上最新的微信产品相关信息。数据来源为新榜资讯。
# 程序思路
使用 puppeteer 打开新榜资讯 后点击微信 tab 等待内容加载,获取列表区的微信资讯。
# 核心代码
index.js
'use strict';
const puppeteer = require('puppeteer')
exports.main = async (event, context) => {
const browser = await puppeteer.launch({
headless: true,
args: ['--no-sandbox', '--disable-setuid-sandbox'],
dumpio: false,
})
const page = await browser.newPage()
page.setUserAgent(
'Mozilla/5.0 (Linux; Android 10; Redmi K30 Pro Build/QKQ1.191117.002; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/78.0.3904.62 XWEB/2581 MMWEBSDK/200801 Mobile Safari/537.36',
)
await page.goto('https://www.newrank.cn/public/news.html?#', {
waitUntil: 'networkidle0',
})
await page.click('.media-tags-more .row:last-child .float-left span:first-child')
await page.waitFor(200)
const wxInfoList = await page.evaluate(() => {
const elements = Array.from(document.querySelectorAll('.media-main-left-news-list li'))
return elements.map(s => {
let a = s.getElementsByTagName('h3').item(0).getElementsByTagName('a').item(0)
let txt = a.innerHTML
let url = a.getAttribute('href')
return { title: txt, url: url }
})
})
await browser.close()
return {list:wxInfoList}
}
# HTTP访问
HTTP访问服务地址 http://tcb.xuedingmiao.com/wx_news
# 返回结果
# 参考资料
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- [已解决]python FileNotFoundError: [WinError 3] for getsize(filepath)
- [已解决]ValueError: row index was 65536, not allowed by .xls format
- 记一次由Redis分布式锁造成的重大事故,避免以后踩坑!
- ES6部分源码重写 -1(ES5-构造函数解析)
- ES6部分源码重写 -2(ES6-构造函数初步解析)
- ES6部分源码重写 -3(ES6-ES5的方式来手写部分源码)
- ES6部分源码重写 -4(1-classES7中的扩展)
- ES6- Set-1之使用方法
- ES6- Set-2之去重—并集—交集—差集
- ES6- Map-1介绍及常用api
- ES6-简介
- ES6-babel工具的使用
- ES6-let,const解析
- ES6-...(spreed&rest)运算符
- H5-locaStorage解析