获取python运行输出的数据并解析存为dataFrame实例
时间:2022-07-27
本文章向大家介绍获取python运行输出的数据并解析存为dataFrame实例,主要内容包括其使用实例、应用技巧、基本知识点总结和需要注意事项,具有一定的参考价值,需要的朋友可以参考一下。
在学习xg的 时候,想画学习曲线,但无奈没有没有这个 evals_result_
AttributeError: ‘Booster’ object has no attribute ‘evals_result_’
因为不是用的分类器或者回归器,而且是使用的train而不是fit进行训练的,看过源码fit才有evals_result_这个,导致训练后没有这个,但是又想获取学习曲线,因此肯定还需要获取训练数据。
运行的结果 上面有数据,于是就想自己解析屏幕的数据试一下,屏幕可以看到有我们迭代过程的数据,因此想直接获取屏幕上的数据,思维比较low但是简单粗暴。
接下来分两步完成:
1) 获取屏幕数据
import subprocess
import pandas as pd
top_info = subprocess.Popen(["python", "main.py"], stdout=subprocess.PIPE)
out, err = top_info.communicate()
out_info = out.decode('unicode-escape')
lines=out_info.split('n')
注:这里的main.py就是自己之前执行的python文件
2) 解析文件数据:
ln=0
lst=dict()
for line in lines:
if line.strip().startswith('[{}] train-auc:'.format(ln)):
if ln not in lst.keys():
lst.setdefault(ln, {})
tmp = line.split('t')
t1=tmp[1].split(':')
t2=tmp[2].split(':')
if str(t1[0]) not in lst[ln].keys():
lst[ln].setdefault(str(t1[0]), 0)
if str(t2[0]) not in lst[ln].keys():
lst[ln].setdefault(str(t2[0]), 0)
lst[ln][str(t1[0])]=t1[1]
lst[ln][str(t2[0])]=t2[1]
ln+=1
json_df=pd.DataFrame(pd.DataFrame(lst).values.T, index=pd.DataFrame(lst).columns, columns=pd.DataFrame(lst).index).reset_index()
json_df.columns=['numIter','eval-auc','train-auc']
print(json_df)
整体代码:
import subprocess
import pandas as pd
top_info = subprocess.Popen(["python", "main.py"], stdout=subprocess.PIPE)
out, err = top_info.communicate()
out_info = out.decode('unicode-escape')
lines=out_info.split('n')
ln=0
lst=dict()
for line in lines:
if line.strip().startswith('[{}] train-auc:'.format(ln)):
if ln not in lst.keys():
lst.setdefault(ln, {})
tmp = line.split('t')
t1=tmp[1].split(':')
t2=tmp[2].split(':')
if str(t1[0]) not in lst[ln].keys():
lst[ln].setdefault(str(t1[0]), 0)
if str(t2[0]) not in lst[ln].keys():
lst[ln].setdefault(str(t2[0]), 0)
lst[ln][str(t1[0])]=t1[1]
lst[ln][str(t2[0])]=t2[1]
ln+=1
json_df=pd.DataFrame(pd.DataFrame(lst).values.T, index=pd.DataFrame(lst).columns, columns=pd.DataFrame(lst).index).reset_index()
json_df.columns=['numIter','eval-auc','train-auc']
print(json_df)
看下效果:
以上这篇获取python运行输出的数据并解析存为dataFrame实例就是小编分享给大家的全部内容了,希望能给大家一个参考。
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- Android流式布局FlowLayout详解
- Linux 专题
- Go语言实现UDP通信
- Android多渠道打包的方法步骤
- Android编程实现压缩图片并加载显示的方法
- Android串口通信封装之OkUSB的示例代码
- Android 中Activity 之间传递参数
- Android开发简单实现摇动动画的方法
- Android 中menu同时显示图标和文字的实现
- android基于SwipeRefreshLayout实现类QQ的侧滑删除
- PopupWindow自定义位置显示的实现代码
- Bootstrap 下拉菜单.dropdown的具体使用方法
- Android访问assets本地json文件的方法
- Android延时操作的三种方法
- 5步教你快速写一个android Router路由框架