- 链接地址:https://blog.csdn.net/dzysunshine/article/details/108077867
- 链接标题:Pandas读取数据内存优化_pandas空值占用空间吗-CSDN博客
- 所属网站:blog.csdn.net
- 被收藏次数:6013
文章浏览阅读1.2k次。在处理数据的时候,往往会遇到数据量比较大的情况,而使用pandas读取数据通常会占用内存过大,导致数据无法正常读取或者在进行特征工程时速度很慢,本文从两个角度简单介绍下应对大数据的处理方法。1. 分块读取数据读数据时只读取其中某些重要的列df = pd.read_csv('demo.csv',usecols=['column1', 'column2', 'column3'])读数据时只读取限定的行df = pd.read_csv('demo.csv',nrows=1000,usecols=['c_pandas空值占用空间吗
版权声明:本文发布于特牛网址导航 内容均来源于互联网 如有侵权联系删除