Pandas 的性能问题

shuangchengsun 10天前 5

DataFrame 的 append 操作每次都会返回一个全新的对象,势必会有大量的内存拷贝,这样岂不是会严重拉胯新能,还是说有新的姿势构造 DataFrame 。小白跪求大佬赐教。
最新回复 (22)
  • lewinlan 6天前
    引用 2
    我记得有一个参数,可以指定原地操作。
  • wuwukai007 6天前
    引用 3
    concat
  • bilibilifi 6天前
    引用 4
    list 里搞好了再转?我记得 dataframe 为了优化性能会把数据放在连续的内存里
  • nthhdy 6天前
    引用 5
    我不了解啊,瞎说的。但我感觉它不会拷贝内存的,有可能是写时复制的。可以读下源码看看。
  • crystom 6天前
    引用 6
    懒操作吧
  • allAboutDbmss 6天前
    引用 7
    可以试试这个: https://github.com/modin-project/modin
  • milkpuff 6天前
    引用 8
    pandas 直接操作非常慢,一般拼接都 append 到 list 里面,最后一次性 concat 。
    pandas 索引、切片、拼接、赋值等都不适合频繁调用,转换成 numpy 效率可以极大提升
  • Rorysky 6天前
    引用 9
    猛男都直接用原生数据类型
  • qile1 6天前
    引用 10
    @milkpuff 多谢回复,我都是 for 遍历逐行附值到 pandas 里面,后期得修改下
  • lixuda 6天前
    引用 11
    @qile1 apply 方式
  • myCupOfTea 6天前
    引用 12
    数据量太大确实会有性能问题啊
    底层是 numpy 吧,numpy concat 数据量大的阵列确实会很慢
  • lithiumii 6天前
    引用 13
    append 确实慢
    如果是一堆小 df 建议 concat 一个 list
    如果是一行一行的可以每行先存成一个 dict 然后 append 到 list 里,最后转成 df
  • 楼主 shuangchengsun 6天前
    引用 14
    @bilibilifi 我现在的数据阵列是 rows 是一亿五千万左右,columns 是 12,有点太庞大了,用 list 的话能撑住么?
  • 楼主 shuangchengsun 6天前
    引用 15
    @allAboutDbmss 谢谢推荐,我去看看这个工具
  • 楼主 shuangchengsun 6天前
    引用 16
    @myCupOfTea 数据量确实很大,rows 差不多一亿五千万的样子。
  • 楼主 shuangchengsun 6天前
    引用 17
    @lithiumii 感谢指导,我这就去试试。
  • outoftimeerror 6天前
    引用 18
    用 spark dataframe
  • volvo007 6天前
    引用 19
    @shuangchengsun list 存的是对象指针,不是实际的对象……

    对于这个体量的数据,可以考虑用 vaex 这个库

    如果上下文操作不复杂且需要持久化的话,强烈安利 PostgreSQL 数据库来处理,超好用,真香
  • weeevv 6天前
    引用 20
    Dask 或者直接上数据库吧。
  • dlsflh 6天前
    引用 21
    试试看并行的 pandas modin ?
  • ElliotQi 6天前
    引用 22
  • 楼主 shuangchengsun 6天前
    引用 23
    @volvo007 感谢指导
  • 游客
    24
返回