V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
amoy
V2EX  ›  问与答

求问如何快速地将一个文件夹里的所有的 csv 文件转换到一个 numpy 数组里面去?

  •  
  •   amoy · 2019-07-03 19:32:21 +08:00 · 1989 次点击
    这是一个创建于 1971 天前的主题,其中的信息可能已经有所发展或是发生改变。

    RT,选修课的题目(之前提问过)现在遇到的问题。每个 csv 文件列索引是一样的,有一列是 label,其他是属性。

    8 条回复    2019-07-04 12:44:39 +08:00
    renmu
        1
    renmu  
       2019-07-03 19:39:08 +08:00 via Android   ❤️ 1
    pandas 直接 read_csv()
    amoy
        2
    amoy  
    OP
       2019-07-03 19:40:38 +08:00
    @renmu 这个不是一次只能读取一 csv 个文件么?
    renmu
        3
    renmu  
       2019-07-03 19:44:03 +08:00 via Android   ❤️ 1
    @amoy 你做一个遍历,遍历文件夹所有的 csv 文件,然后 concat
    zhucegeqiu
        4
    zhucegeqiu  
       2019-07-03 21:10:51 +08:00 via iPhone   ❤️ 1
    先 os.listdir, 再 pd.read_csv
    amoy
        5
    amoy  
    OP
       2019-07-03 21:24:50 +08:00   ❤️ 1
    @renmu @zhucegeqiu 打扰一下
    listaddress=[]
    for info in os.listdir('F:/bigdata/data/all'):
    domain = os.path.abspath(r'F:/bigdata/data/all') # 获取文件夹的路径
    info = os.path.join(domain, info) # 将路径与文件名结合起来就是每个文件的完整路径
    listaddress.append(info)
    dfs =[pd.read_csv(f) for f in listaddress]
    #print(dfs[1])
    df = pd.concat(dfs) # 将文件合并
    请问运行报错是是为什么啊?
    FutureWarning: Sorting because non-concatenation axis is not aligned. A future version
    of pandas will change to not sort by default.

    To accept the future behavior, pass 'sort=False'.

    To retain the current behavior and silence the warning, pass 'sort=True'.
    Loner233
        6
    Loner233  
       2019-07-03 21:30:14 +08:00 via Android   ❤️ 1
    @amoy 你看看列是否一致
    amoy
        7
    amoy  
    OP
       2019-07-03 21:44:17 +08:00
    @Loner233 多谢,还真是,有几个多了一列。文件太多了,之前没注意看,看了前几个是一样的以为都是一样的。
    amoy
        8
    amoy  
    OP
       2019-07-04 12:44:39 +08:00
    @renmu 解决了,多谢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2816 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 11:52 · PVG 19:52 · LAX 03:52 · JFK 06:52
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.