k-近邻算法实现数字识别

时间:2022-07-26
本文章向大家介绍k-近邻算法实现数字识别,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。

缘起一次数据结构大作业:见下图(总觉得数据结构课是课上教造螺丝,上机造火箭

也就是那时候入手Python的机器学习部分啦,喏就是这本红皮书

总体来说这本书是不错的,对于算法的原理概述的比较准确,就是实战的代码过于简略,入门机器学习的话还是值得一看的

进入正题,由于大一一年都在和黑乎乎的终端打交道,感觉c系语言用久了想换一下,就花几天上手了机器学习的KNN算法,着手做一个有关数字识别的部分,一开始的设想很丰满,打算实现一个手写数字识别的,后来只有一周时间,没空看到那么深的部分,不过后来做出01图像模拟的时候发现其实也差不多,最后的成品和设想还是有点差别的~

相关项目都已上传至我的Github,如果喜欢可以给个Star噢

k-近邻算法实现数字识别

项目大体思路:

k-近邻算法实现数字识别(01串构成1024个模拟像素点)

1.先用c++随机生成10*200+左右的训练集,按下划线命名保存在文件夹中 训练集:测试集=2:1

2.将数据存入一维向量

3.采用k近邻算法对每一个测试样例分析,近邻数为3,不宜过多

4.分析错误率 错误数

lab3_0930压缩包已有c++代码生成的测试集和训练集,只需运行KKN.py即可

数据集已经在上传至我的Github上,这里给出核心代码~

# Author:glm233
# Copyright ©glm233. All rights reserved.
# Time:2019.12.5

from numpy import * #KNN算法需要数值处理函数在numpy科学计算库中
from os import listdir #涉及文件操作,导入os模块
import operator

# 读取数据到矩阵
def img2vector(filename):
    # 创建向量
    returnVect = zeros((1,1024)) #先创建1*1024向量,因为每一个测试数据都是32*32
    
    # 打开数据文件,读取每行内容
    fr = open(filename)

    #读取部分
    for i  in range(32):
        # 读取每一行
        lineStr = fr.readline()
        
        # 将每行前32字符转成int存入向量
        for j in range(32):
            returnVect[0,32*i+j] = int(lineStr[j])

    return returnVect

# kNN算法实现    
def classify0(inX, dataSet, labels, k):
    # 获取样本数据数量
    dataSetSize = dataSet.shape[0]
    print(dataSetSize)
    print(inX)
    # 矩阵运算,计算测试数据与每个样本数据对应数据项的差值
    diffMat = tile(inX, (dataSetSize,1)) - dataSet
    
    # sqDistances 上一步骤结果平方和
    sqDiffMat = diffMat**2
    sqDistances = sqDiffMat.sum(axis=1)
    
    # 取平方根,得到距离向量
    distances = sqDistances**0.5
    
    # 按照距离从低到高排序
    sortedDistIndicies = distances.argsort()     
    classCount={}          
    
    # 依次取出最近的样本数据
    for i in range(k):
        # 记录该样本数据所属的类别
        voteIlabel = labels[sortedDistIndicies[i]]
        classCount[voteIlabel] = classCount.get(voteIlabel,0) + 1
        print(voteIlabel,classCount[voteIlabel])
        
    # 对类别出现的频次进行排序,从高到低
    sortedClassCount = sorted(classCount.items(), key=operator.itemgetter(1), reverse=True)
    
    # 返回出现频次最高的类别
    return sortedClassCount[0][0]

# 算法测试    
def handwritingClassTest():
    # 样本数据的类标签列表
    hwLabels = []
    
    # 样本数据文件列表
    trainingFileList = listdir('digits/trainingDigits')
    #print(trainingFileList)
    m = len(trainingFileList)
    #print(m)
    # 初始化样本数据矩阵(M*1024)
    trainingMat = zeros((m,1024))
    
    # 依次读取所有样本数据到数据矩阵
    for i in range(m):
        # 提取文件名中的数字
        fileNameStr = trainingFileList[i]
        fileStr = fileNameStr.split('.')[0]
        print(fileStr)
        classNumStr = int(fileStr.split('_')[0])
        print(classNumStr)
        hwLabels.append(classNumStr)
        
        # 将样本数据存入矩阵
        trainingMat[i,:] = img2vector('digits/trainingDigits/%s' % fileNameStr)
    
    # 循环读取测试数据
    testFileList = listdir('digits/testDigits')
    
    # 初始化错误率
    errorCount = 0.0
    mTest = len(testFileList)
    
    # 循环测试每个测试数据文件
    for i in range(mTest):
        # 提取文件名中的数字
        fileNameStr = testFileList[i]
        fileStr = fileNameStr.split('.')[0]
        classNumStr = int(fileStr.split('_')[0])
        
        # 提取数据向量
        vectorUnderTest = img2vector('digits/testDigits/%s' % fileNameStr)
        
        # 对数据文件进行分类
        classifierResult = classify0(vectorUnderTest, trainingMat, hwLabels, 3)
        
        # 打印KNN算法分类结果和真实的分类
        print ("the classifier came back with: %d, the real answer is: %d" % (classifierResult, classNumStr))
        
        # 判断KNN算法结果是否准确
        if (classifierResult != classNumStr): errorCount += 1.0
    
    # 打印错误率
    print ("nthe total number of errors is: %d" % errorCount)
    print ("nthe total error rate is: %f" % (errorCount/float(mTest)))

# 执行算法测试
handwritingClassTest()