天池大赛—商场中精确定位用户所在店铺 作品分享
题目回顾
题目地址:
题目要求给定一条用户的消费记录,求该用户当前所在的店铺。
下面介绍题目数据和评测方式
1. 店铺和商场信息表(mall)
2. 用户店铺内交易表(train)
3. 评测集(test)
评测集和和表2差不多,只是把shop_id改为了mall_id
我们的模型需要预测出该数据每一行用户记录的shop_id,并进行提交。
比赛分为A | B榜,A榜数据是9月份第一周数据,B榜数据是9月份第二周数据。
4. 评测方法
比赛的评测方法采用的是accuracy
比赛历程
初赛排名 13 / 2845
拿到这个赛题,第一个想法就是利用经纬度信息,首先水了个经纬度的KNN版本,准确率大概在0.66左右吧。太低。
然后把每条记录的wifi分开,看成一个个的词,类似于NLP中的BOW模型,展开,跑RandomForest多分类,然而内存炸了,果断分mall,就到了0.90。 加上经纬度特征就0.905。 挖到强特就是爽哈哈哈~ 要注意的是wifi强度是负数,我修正为正数了(直接+120)。
此时为了日后能方便的增删特征,尝试不同分类器,于是我重构了代码:
- 新特征只要继承XXToVec纯虚类,实现 _fit_transform 和_transform结构就行(模仿sklearn的接口)
- 抽象测试类。 ModelBase,可以设置使用什么分类器、保存模型。最棒的是关于特征只需要传一个list。如
task = ModelTest(save_model=False, use_multiprocess=False, save_result_proba=True)
vecs = [LocationToVec2(), WifiToVec(), WifiStrongToVec(), WifiKStrongToVec(), PriceToVec(), CategoryToVec2() ]
task.train_test(vecs)
上述的代码使用vecs里的特征,就可以进行训练并评价。(内部就是遍历vecs,然后对每个vec直接调用fit_transform和transform即可)
我感觉我代码写的很好~有了这个框架,之后挖特征写代码就很容易啦。非常松的耦合~代码还不会乱七八糟的。
之后开始进行数据的查看,比如同一商场多个bssid如何处理,不同商场有同一个bssid。有的商场得分特别低画出雷达图查看可能是强度普遍偏弱照成的。
然后画出了全部商场的location信息和各个商场中用户和商店的经纬度信息。下图是某mall的可视化结果:
圆形为商家自己提供的经纬度坐标。而三角形是交易发生时的经纬度。中间的矩形则是算出来的商场中心。可以看出,很多用户偏离商店非常远。这和室内GPS信号不好有很大关系。
看到这个我自然就想到要“修正”那些离群点。我的做法是: 如果一个用户a距离商店中心过远,超过商店的长度(用最远商店距离算)一定倍数,那么需要修正。通过wifi信号来计算最近的那个用户b,将b的经纬度写成a的即可。这个修正后有小幅提升。
然后联想到wifi空值处理,取最近经纬度用户的wifi来填充。
队友超超弄了个wifi强度和时间特征,只取最强的那个给我,然后我忘记加时间特征,一交0.9116,下午才发现要是加了时间特征反而更低。然后把wifi空值处理、经纬度修正加上去,立马升到了0.9139嘿嘿,上分美滋滋。
接着队友wqs调参成功,rf的个数400,0.9144。 原来都100的跑。。。
然后我去新中关还有欧美汇实地考察商场,哈哈哈,其实是去吃东西,顺便下了个APP记录wifi信息。
期间超超说做到了0.96,我问怎么做到的,就是他把训练数据中每一条记录对应的shop_id对应的类别作为特征,之后又把price也作为特征,到了0.99几乎全对。然而这个做法是错误的,因为测试数据不知道shop_id,因此也不知道每一条记录对应的category和price。但给我启发:假如我预测出category和price呢?会因为累积误差炸了么?
预测类别一开始失败了,但是回归预测price成功了,提交price的特征版本线上0.9161.
接着看群里影帝的表演,从言语中观察他们应该用的是二分类的方法,于是我也做简单的尝试,采用OneVsRest,线上0.9175,线下0.915269.
这期间麦芽开源了多分类的xgboost版本的baseline,这个baseline线上0.91左右,方法和我们的类似,感觉药丸。 后面的追分真可怕。
然后超超发现bootstrap = false,再跑二分类 线上0.9196,线下0.9174。期间我在试stacking,以及 wifi的tf-idf特征、lightgbm(可能参数没有调好)、PCA等,但是都没啥用。去除了移动热点有小幅提升。然后为了提高代码效率,尝试并行化 data_to_vec和predict,但是Python GIL真是坑,线程不快,进程大量数据传输反而拖慢。然后用生产者、消费者模式加速data_to_vec和predict过程(predict的传递classifier内存会炸,服务器大内存会说太大之类的)。 感觉Python效率真的是卧槽。xgboost跑了几个grid search,太慢了都要放弃了。队友新特征也木有挖出有用的。
没办法了,我上融合把,稳住第一页,用的是比例融合的方式(rf, binary rf, binary xgboost),线上到了0.9234!
这时候我又重新跑了十则的price和category,category终于有用,0.9243!
然后期间还试二分类候选集的,效果不好。接着统计用户特征,做用户偏好,没有考虑冷启动问题,最简单的直接计数法。。。线上0.9264!
这时候开始B榜了,被df的小哥骗了,说会自动抓取之前最好的A榜来计算B榜的。结果木有,浪费了一次机会。提交掉了快6个千,0.9207…
最后融了一个新的多分类xgboost,到了0.92115. 排名13
最后模型如下:
task = ModelTest(save_model=False, use_multiprocess=False, save_result_proba=True)
vecs = [LocationToVec2(), WifiToVec(), WifiStrongToVec(), WifiKStrongToVec(), PriceToVec(), CategoryToVec2() ]task.train_test(vecs)
第二赛季就没怎么打了,线上赛用的PAI平台太坑了。。Create table都要十几分钟。资源限制太不合理了。都没法玩。。对hive也不熟,UDF也不会,分wifi都搞了半天,特征也限制列数不能超过1200好像。也就是BOW wifi会GG。最后水了各个mall取了wifi top 1000,加上经纬度,直接RF多分类,(ps: 用python生成的各个mall的代码)。排45名,挺差的,不过也不怎么在意。
冠军队的做法对比
候选集直接选取目标mall中所有的shop作为候选,为了避免训练集数据量过大,在训练集中进行样本抽样。具体方法是,保留全部正样本,负样本中随机抽取一定比例加入训练集。实际测试,抽样对于模型的精度影响不大。而预测的时候没有抽样,因为速度快。PS: 多分类用商店的特征得展开,二分类就不用。
训练集和测试集的构造方法图示如下:
训练:
row_id |
候选 |
特征 |
label |
---|---|---|---|
1 |
shop_1 |
… |
1 |
1 |
shop_2 |
… |
0 |
1 |
shop_3 |
… |
0 |
2 |
shop_1 |
… |
0 |
2 |
shop_2 |
… |
1 |
2 |
shop_3 |
… |
0 |
测试:
row_id |
候选 |
特征 |
输出概率 |
预测 |
---|---|---|---|---|
3 |
shop_1 |
… |
0.6 |
|
3 |
shop_2 |
… |
0.8 |
|
3 |
shop_3 |
… |
0.9 |
√ |
4 |
shop_1 |
… |
0.1 |
|
4 |
shop_2 |
… |
0.9 |
√ |
4 |
shop_3 |
… |
0.2 |
特征的差异不说,多分类的输出概率作为二分类的特征。
复赛中不一样的,记录如下:
分离信号强度为null的数据。对于信号强度为null的那些数据,强度不论填成多少,对于模型都是个干扰。所以直接去除这一部分数据,用剩下的数据来训练。(我们没有排除。。。) 分区表存储训练数据。如果为每个mall都单独生成一张训练数据表,那么表会太多,而且不断的生成、删除表,会增加任务提交的排队时间。我们的解决方案是用分区表存储所有mall的训练数据,以mall_id作为分区列。模型训练时可以直接指定分区,这样避免了反复的生成表、删除表。
一点感想
第一次打数据挖掘的比赛,得了13名感觉还可以。初赛基本都保持在第一页,每次掉出第一页马上又能冲回去。
不过也犯了一些错误:比如线下的数据集划分不是很好,一开始直接排序取后20%作为验证集,其实最好还是按照线上的取最后一周这样比较好。特征感觉不够多啊。
还有模型的建立缺乏经验,本题确实多分类不如二分类的好。
这比赛学到了很多东西~原来都木有用过xgboost,lightgbm,stacking等~
比赛经验很重要,对业务理解很重要。前者可以看看别人的比赛的经验学习学习。这比赛中商家提供的经纬度某商场竟然有40多个一样的! (这题给的经纬度精度都达到了分米的级别了!) 不可能49楼大商场把。。我也实地逛了几个商场,感觉是有那种移动的摊位,今天这个,明天那个。然后一开始拿到题目就想到了经纬度肯定有一样的,还想要把商店进行上下分层,为此采集了新中关和欧美汇部分商店的wifi信息。不过我没有时间实践这个想法了,队友后面也没啥激情做这比赛,放弃这想法挺可惜的。后面听经验分享觉得很有道理,不要太早组队,因为你不能确定你的队友到后面是不是很努力,已经组队了都不好意思踢,而且比较后面组队大家想法不太一样,模型融合起来也会比较好。
还有就是机器性能也很重要。实验室两台机器,女票那还有服务器,感觉美滋滋~
还是要多学习才能更厉害~
- 多线程编程学习三(线程间通信).
- 关于create database语句在10g,11g中的不同(r5笔记第88天)
- Web开发模式【Mode I 和Mode II的介绍、应用案例】
- 多线程编程学习四(Lock 的使用)
- Android编程规范
- 干货 | 深入分析Object.wait/notify实现机制
- 关于ORA-01555的问题分析(r5笔记第87天)
- 项目工具类
- AJAX常见面试题
- 干货 | Tomcat类加载机制触发的Too many open files问题分析
- 并行查询缓慢的问题分析(r5笔记第86天)
- Swagger文档转Word 文档
- AJAX应用【股票案例、验证码校验】
- IT中的闰秒问题(r5笔记第85天)
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法