中国统计网

登录

首页

分类浏览

专题

专栏作者

问答

线下活动

企业招聘

app下载

投稿

注册




数据处理性能对比(Python原生vs Pandas vs Numpy)
头像 小编推荐 数据工具
数据工具

对于任何数据科学家来说,速度和时间都是一个关键因素。在商业活动中,通常不会使用仅仅有数千个样本的玩具数据集。大部分时候你的数据集包括数百万或数亿个样本。客户订单,网络日志,帐单活动,股票价格等 - 现在的数据集非常庞大。

  

我猜你不会想花几个小时或几天,等待你的数据处理完成。迄今为止,我所使用的最大数据集包含超过3000万条记录。当我第一次运行数据处理脚本时,预估的完成时间约为4天!我没有非常强大的机器(Macbook Air与i5和4 GB的RAM),但我可以保证一晚上运行完脚本而不是数天。

  

感谢一些聪明的技巧,我能够将这个运行时间缩短到几个小时。这篇文章将解释实现良好数据处理性能的第一步 - 为您的数据集选择正确的库/框架。

  

下图显示了我的实验结果(详情如下),与纯Python的处理速度做出对比。


大数据

  

如你所见,Numpy的表现比Pandas的表现要好几倍。我个人喜欢用Pandas来简化许多繁琐的数据科学任务,它是我的首选工具。但是如果预计的处理时间超过多个小时,那么很遗憾,我只能使用Numpy来替代Pandas。

  

我非常清楚实际的性能可能会有很大的不同,这取决于任务和处理类型。所以请把这些结果仅仅作为参考。没有任何一个单独的测试可以全面对比所有软件工具的性能。

  


简介

  

在下面的 Notebook 中你将会比较 Python 原生方法, Pandas 和 Numpy 处理数据的速度。

  

导入模块


数据处理性能对比(Python原生vs Pandas vs Numpy)

  

制作模拟随机数据集


数据处理性能对比(Python原生vs Pandas vs Numpy)


数据处理性能对比(Python原生vs Pandas vs Numpy)


数据处理性能对比(Python原生vs Pandas vs Numpy)


Dataset size 54818 records


数据处理性能对比(Python原生vs Pandas vs Numpy)


数据处理性能对比(Python原生vs Pandas vs Numpy)


Python 原生方法


数据处理性能对比(Python原生vs Pandas vs Numpy)


Pandas 方法


数据处理性能对比(Python原生vs Pandas vs Numpy)


Numpy 方法


数据处理性能对比(Python原生vs Pandas vs Numpy)


检查是否所有的方法生成同样的结果


数据处理性能对比(Python原生vs Pandas vs Numpy)


比较运行时间


数据处理性能对比(Python原生vs Pandas vs Numpy)


Python average time: 38.77917420864105 seconds


Pandas average time: 10.483694124221802 seconds


数据处理性能对比(Python原生vs Pandas vs Numpy)


Numpy average time: 2.914765810966492 seconds


展示结果


数据处理性能对比(Python原生vs Pandas vs Numpy)


End.

来源:数据工匠

我要评论
验证码
  • 0
暂无评论

关注公众号

中国统计网微信公众号

微信公众号:cntongji

今日热议

专栏作者

  • 黄成明
    统计网特邀认证作者
    黄成明 ,零售数据分析研究者,拥有15年的销售及数据分析经验,历经美国强生公司、妮维雅公司、雅芳公司和鼎盛时期的诺基亚公司。目前是数据化管理的咨询顾问和培训师。他独立研发了基于周销售权重指数的零售管理模型,可以有效地进行目标管理、销售预测、客流预估、促销评估、销售预警等。
  • 傅一平
    统计网特邀认证作者
    浙江移动大数据中心 数据管理部经理 博士 毕业于浙江大学 10多年数据从业经验,专注于大数据采集、处理、建模、管理、变现及产业等研究
  • tommy
    统计网特邀认证作者
    数据落地应用探索者
  • 秦路
    统计网特邀认证作者
  • 数据海洋
    统计网特邀认证作者
    数据应用的实践者!
  • 张溪梦
    统计网特邀认证作者
    GrowingIO创始人&CEO,前LinkedIn商务分析总监
立即下载
版权所有: 统计网. Copyright © 2016 itongji.cn All Rights Reserved. 备案号:ICP备15042641号-3