Python机器学习方法智能识别亚马逊验证码
概述
亚马逊网站验证码全部由英文字母组成,每个字母的形式也是多样的,通过Tesseract-OCR技术识别效率还是比较低,非常不理想。这里采用向量空间技术进行训练识别,经测试,识别率可达到95%,这个识别率通过训练库的不断增加还可继续提高。下面废话不多说,直接上干货。
技术详解
亚马逊验证码如下图:
我这里收集了大量的亚马逊网站验证码,下面将随机抽一张验证码为mnyaph作详细讲解,如下图:
总体思路
1.将原图片作二值化等特殊处理转换得到低像素图片
2.分割出每个字母的图片,并加入到训练库中
3.每个字母图片在训练库中训练
4.将每个字母图片训练后的结果依次组合起来,就是最终验证码
使用技术库
PIL :图片处理库
scipy : 科学计算库
- 原图片处理
这里将jpg格式转换为更小容量的gif格式,方便后面处理,并将原图片中的黑色像素(0)拷贝到新的相同尺寸的白色图片上,得到新的Image对象。下图为处理后的图片
im = Image.open(image_file)
im = im.convert('P')
im_size = im.size
new_im = Image.new('P', im_size, 255)
im_width = im_size[0]
im_height = im_size[1]
for y in range(im_height):
for x in range(im_width):
pixel = im.getpixel((x, y))
if pixel ==0:
new_im.putpixel((x, y), pixel)
- 切割图片得到单个字母图片
纵向切割出每个字母,切割规则为:依次纵向检索每个像素点,在横向(x轴)固定的前提下:若遇到像素值为0,则表示为黑色的字母;若整个纵向都没遇到黑色(0),则表示是分割点。我们可以得到一样图片的横向(x轴)的所有分割点的坐标,最后分割即可。如下图:
计算得到的切割坐标,如下:
def get_x_coord(image) -> '返回切割的x坐标':
image_width = image.size[0]
image_height = image.size[1]
crop_list = []
start_pos = 0
is_start_one_char = False
for x in range(image_width):
is_black_pos = False
for y in range(image_height):
pixel = image.getpixel((x,y))
if pixel == 0:
if is_start_one_char == False:
start_pos = x
is_black_pos = True
is_start_one_char = True
break
if is_start_one_char== True and is_black_pos == False:
end_pos = x
is_start_one_char = False
crop_list.append((start_pos, end_pos))
return crop_list
- 单个字母图片加入到训练库中
将分割出的每个字母图片加入到训练库中,方便后面训练匹配,训练库中的数量越多识别率越高。将每个字母分类放入不同的文件夹中,如下所示:
例如a文件夹中的图片如下:
- 训练识别单个字母图片
拿到一张单个字母图片后,去训练库中匹配每个图片,计算出相似度最高的,记录出相应的字母文件夹即为最终的字母。
匹配算法:AI与向量空间算法,通俗点讲就是原图片的所有像素点与训练库中的每张图片的所有像素点计算余弦值,余弦值越大,相似度越高。
具体方法是:计算出原图片与训练库中的每张图片像素的余弦值,选出最大值对应的训练库中的文件夹名即为最终的字母。
如下为匹配的结果,与原图片完全吻合
match_captcha = []
for crop in crop_list:
crop_im = new_im.crop((crop[0], 0, crop[1], im_height)) #(左上x, 左上y, 右下x, 右下y)
filename = 'e:/crop/' + str(time.time()) + '.gif'
# crop_im.save(filename)
all_result = [] #单个切片的所有字母的相似性
remove_letter = ['d', 'i', 'o', 'q', 's', 'v', 'w', 'z']
for letter in list(set(string.ascii_lowercase)- set(remove_letter)):
refer_image_dir = r'E:training_library%s' % letter
for refer_image in os.listdir(refer_image_dir):
refer_im = Image.open(os.path.join(refer_image_dir, refer_image))
crop_list = list(crop_im.getdata())
refer_list = list(refer_im.getdata())
min_count = min(len(crop_list), len(refer_list))
result = 1 - spatial.distance.cosine(crop_list[:min_count-1], refer_list[:min_count-1])
all_result.append({'letter' : letter, 'result' : result})
match_letter = max(all_result, key=lambda x: x['result']).get('letter')
match_captcha.append(match_letter)
print('验证码为:{0}'.format(''.join(match_captcha)))
经测试,每个字母图片的识别时间大约为1s左右,所以一张亚马逊验证码的识别时间大约为5-6s,这个时间是非常可以接受的。
- 通过图片定位给一张图片添加多个链接
- Struts Interceptor Example
- 微信服务号模板消息接口新增"设置行业"和"添加模板"及细节优化
- WPF备忘录(3)如何从 Datagrid 中获得单元格的内容与 使用值转换器进行绑定数据的转换IValueConverter
- WPF备忘录(2)WPF获取和设置鼠标位置与progressbar的使用方法
- WPF文字修饰——上、中、下划线与基线
- 微信公众平台数据接口正式对所有认证公众号开放
- 参考基因组没有,经费也没那么多,怎么办?
- .Net下SQLite的DBHelp
- 数据库进程间通信解决方案之MQ
- 【学术】算法交易的神经网络:强化经典策略
- java.util.logging 例子
- WPF命令(Command)介绍、命令和数据绑定集成应用
- lncRNA实战项目-第六步-WGCNA相关性分析
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Django+RestFramework API接口及接口文档并返回json数据操作
- Yii2框架实现利用mpdf创建pdf文件功能示例
- PHP超低内存遍历目录文件和读取超大文件的方法
- PHP bin2hex()函数基础实例讲解
- Kears 使用:通过回调函数保存最佳准确率下的模型操作
- django form和field具体方法和属性说明
- 总结PHP中初始化空数组的最佳方法
- tensorflow使用CNN分析mnist手写体数字数据集
- PHP7 mongoDB扩展使用的方法分享
- 主流开源分布式图数据库 Benchmark
- PHP封装的简单连接MongoDB类示例
- 基于Tensorflow的MNIST手写数字识别分类
- Yii框架ACF(accessController)简单权限控制操作示例
- tensorflow 动态获取 BatchSzie 的大小实例
- TP5.0框架实现无限极回复功能的方法分析