Python把csv数据写入list和字典类型的变量脚本方法
时间:2019-04-20
本文章向大家介绍Python把csv数据写入list和字典类型的变量脚本方法,主要包括Python把csv数据写入list和字典类型的变量脚本方法使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
如下所示:
#coding=utf8 import csv import logging logging.basicConfig(level=logging.DEBUG, format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s', datefmt='%a, %d %b %Y %H:%M:%S', filename='readDate.log', filemode='w') ''' 该模块的主要功能,是根据已有的csv文件, 通过readDataToDicl函数,把csv中对应的部分, 写入字典中,每个字典当当作一条json数据 ''' class GenExceptData(object): def __init__(self): try: #存放csv中读取的数据 self.mdbuffer=[] #打开csv文件,设置读的权限 csvHand=open("20170510174450.csv","r") #创建读取csv文件句柄 readcsv=csv.reader(csvHand) #把csv的数据读取到mdbuffer中 for row in readcsv: self.mdbuffer.append(row) #把数据穿件为为字典类型的 #self.readDataToList() #保存文件 except Exception,e: logging.error("Read Excel error:"+e) finally: #关闭csv文件 csvHand.close() def readDataToList(self): try: #获取mdbuffer中的元素个数 rowNumber=len(self.mdbuffer) #设置当前行号 currentrow=1 #设置json数据的属性值 propertyJson={} #propertyJsonList=[] #count=0 #读取列表中的元素 dataList=[] try: for row in range(1,rowNumber): #创建一个临时变量用来存取一次循环的属性键值 temp={} #获取列表中一个元素 item=self.mdbuffer[row] #获取当前元素,当前元素代表的是每个 #事件起始的位置 currentItem=self.mdbuffer[currentrow] #获取serviceId并进行解码 serviceId= currentItem[2].decode("gbk") #获取属性并进行解码,把解码的值存入propertyName propertyName=item[3].decode("gbk") #获取属性值并进行解码,把解码的值存入propertyValue propertyValue=item[4].decode("gbk") try: #判断埋点事件与serviceId是否相等 if item[0]==currentItem[0] and item[2]==currentItem[2]: #把serviceId方式字典propertyJson中 propertyJson["serviceId"]=serviceId #把属性/值对放入temp字典中 temp[propertyName]=propertyValue #调用字典的update函数,把temp中的键值对 #添加到 propertyJson字典中 propertyJson.update(temp) #使用continue,如果为if条件为true则循环执行if语句模块 continue else: #把行号设置为当前行 currentrow=row #把当前的属性解码放入propertyName propertyName=currentItem[3].decode("gbk") #把当前的属性值解码放入propertyName propertyValue=currentItem[4].decode("gbk") #把serviceId方式字典propertyJson中 propertyJson["serviceId"]=serviceId #把属性/值对放入propertyJson字典中 propertyJson[propertyName]=propertyValue #propertyJsonList.append(propertyJson) dataList.append(propertyJson) ''' 在这说下: propertyJson.clear()与propertyJson={}的区别: propertyJson.clear()是删除字典的值,不创建引用,会改变字典本身的值; propertyJson={}是创建新的引用,字典的中的值不发现变化; 如果想让 self.dataDic.append(propertyJson)该语句执行成功,而且添加每次循环的值, 需要使用propertyJson={}方法; 如果使用propertyJson.clear(),只会把最后一次propertyJson存储的值,添加到self.dataDic中 ''' propertyJson={} except Exception,e: logging.error("Get Property Json Error:"+e) print "Get Property Json Error:",e except Exception,e: logging.error("Get Date Error:"+e) print "Get Date Error:",e return dataList except Exception,e: logging.error("Reading Data TO Dic Error:"+e) print "Reading Data TO Dic Error:",e def getAllServiceId(self): try: dataList=self.readDataToList() serList=[item["serviceId"] for item in dataList if item["serviceId"] ] serList=list(set(serList)) return serList except Exception,e: logging.error("Create ServiceId List Error:"+e) print "Create ServiceId List Error:"+e def oupPutData(self): try: dataList=self.readDataToList() for item in dataList: print "{" for key,val in item.items(): print key,":",val print "}" print "#"*50 except Exception,e: logging.error("OutPut Data Error:"+e) print "OutPut Data Error:"+e def createDataDic(self): try: dataDic={} dataList=self.readDataToList() count=0 for item in dataList: if item["serviceId"]==u"pageview": count+=1 print count serviceIdList=self.getAllServiceId() if len(serviceIdList)>0 and len(dataList)>0: for serviceId in serviceIdList: sameServiceidJosnList=[] for item in dataList: itemServiceId=item["serviceId"] if itemServiceId: if serviceId==itemServiceId: sameServiceidJosnList.append(item) else: print "ServiceId is null" dataDic[serviceId]=sameServiceidJosnList else: print "seriviceIdList or dataList is null" return dataDic ''' for key,val in dataDic.items(): print key,len(val) print "*"*50 for item in val: print "{" for ke,va in item.items(): print ke,":",va print "}" print "-"*50 ''' except Exception,e: print "Create Data Dictionary Error:",e def test(): gen =GenExceptData() gen.oupPutData() if __name__=="__main__": test()
以上这篇Python把csv数据写入list和字典类型的变量脚本方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持脚本之家。
- 机器学习中的特征空间
- 简单易学的机器学习算法——马尔可夫链蒙特卡罗方法MCMC
- 推荐算法——基于图的推荐算法PersonalRank算法
- 推荐算法——非负矩阵分解(NMF)
- 【Go 语言社区】转-golang windows 判断锁屏
- 【Go 语言社区】单点redis 持久化在高并发下存在延迟情况
- 设计模式(2)-策略模式之多用组合少用继承
- Golang获取随机端口和本机ip地址
- 设计模式(3)-装扮你的类(装饰模式)
- [Go 语言社区]服务器读取配置文件只-json数据
- gsoap开发webservice
- [Go 语言社区]测试模块之---utf8例子
- org.hibernate.type.StringType cannot be cast to org.hibernate.type.VersionType
- JBPM4.4(2)-state结点和decision结点
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Web-高明的黑客
- CVE-2017-7529 Nginx整数溢出漏洞分析
- 【Vulnhub】pegasus
- 2019-11-20-app专项测试【Android电量】Battery Historian耗电分析
- CVE-2017-7529 Nginx整数溢出漏洞分析2
- Redis find hot key 牛X!
- Python加水印
- 自动化运维实践 | Ansible变量
- Python-SSH日志审计
- 因 Redis 分布式锁造成的 P0 级重大事故,整个项目组被扣了绩效。。。
- Python-SSH日志分析
- 小记一次验证码绕过
- 脚本刷课思路-1
- 脚本刷课思路-2
- SQLMAP配合PHP中转忽略ssl