特牛网址导航

Pandas读取数据内存优化_pandas空值占用空间吗-CSDN博客

网友收藏
文章浏览阅读1.2k次。在处理数据的时候,往往会遇到数据量比较大的情况,而使用pandas读取数据通常会占用内存过大,导致数据无法正常读取或者在进行特征工程时速度很慢,本文从两个角度简单介绍下应对大数据的处理方法。1. 分块读取数据读数据时只读取其中某些重要的列df = pd.read_csv('demo.csv',usecols=['column1', 'column2', 'column3'])读数据时只读取限定的行df = pd.read_csv('demo.csv',nrows=1000,usecols=['c_pandas空值占用空间吗