Pandas 从 URL 读取 csv

2025-01-07 08:44:00
admin
原创
105
摘要:问题描述:我正在尝试使用 Python 3.x 从给定的 URL 读取 csv 文件:import pandas as pd import requests url = "https://github.com/cs109/2014_data/blob/master/countries.csv&qu...

问题描述:

我正在尝试使用 Python 3.x 从给定的 URL 读取 csv 文件:

import pandas as pd
import requests

url = "https://github.com/cs109/2014_data/blob/master/countries.csv"
s = requests.get(url).content
c = pd.read_csv(s)

我有以下错误

“预期文件路径名或类似文件的对象,得到 <class 'bytes'> 类型”

我该如何解决这个问题?我使用的是 Python 3.4


解决方案 1:

在最新版本的 pandas ( 0.19.2) 中,你可以直接传递 url

import pandas as pd

url = "https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"
c = pd.read_csv(url)

解决方案 2:

更新0.19.2:现在您可以从 pandas直接传递read_csv()url,但如果需要身份验证,则此操作将会失败。


对于较旧的 pandas 版本,或者如果您需要身份验证,或者出于任何其他 HTTP 容错原因:

使用pandas.read_csv类似文件的对象作为第一个参数。

  • 如果您想从字符串读取 csv,可以使用io.StringIO

  • 对于 URL https://github.com/cs109/2014_data/blob/master/countries.csv,您将获得html响应,而不是原始csv;您应该使用 github 页面中的链接提供的 urlRaw来获取原始 csv 响应,即https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv

例子:

import pandas as pd
import io
import requests

url = "https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv"
s = requests.get(url).content
c = pd.read_csv(io.StringIO(s.decode('utf-8')))

注意:在 Python 2.x 中,字符串缓冲区对象StringIO.StringIO

解决方案 3:

正如我所评论的,您需要使用一个 StringIO 对象并进行解码,即,c=pd.read_csv(io.StringIO(s.decode("utf-8")))如果使用请求,您需要解码为 .content 返回字节,如果您使用 .text,您只需要按原样传递 s s = requests.get(url).textc = pd.read_csv(StringIO(s))

一种更简单的方法是将原始数据的正确 url直接传递给read_csv,您不必传递类似文件的对象,您可以传递一个 url,这样您根本不需要请求:

c = pd.read_csv("https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv")

print(c)

输出:

                              Country         Region
0                             Algeria         AFRICA
1                              Angola         AFRICA
2                               Benin         AFRICA
3                            Botswana         AFRICA
4                             Burkina         AFRICA
5                             Burundi         AFRICA
6                            Cameroon         AFRICA
..................................

来自 文档:

文件路径或缓冲区

字符串或文件句柄 / StringIO 字符串可以是 URL。有效的 URL 方案包括 http、ftp、s3 和文件。对于文件 URL,需要主机。例如,本地文件可以是 file ://localhost/path/to/table.csv

解决方案 4:

您遇到的问题是,变量“s”中的输出不是 csv,而是 html 文件。为了获取原始 csv,您必须将 url 修改为:

' https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv '

您的第二个问题是 read_csv 需要文件名,我们可以通过使用 io 模块中的 StringIO 来解决这个问题。第三个问题是 request.get(url).content 传递的是字节流,我们可以改用 request.get(url).text 来解决这个问题。

最终结果是此代码:

from io import StringIO

import pandas as pd
import requests
url='https://raw.githubusercontent.com/cs109/2014_data/master/countries.csv'
s=requests.get(url).text

c=pd.read_csv(StringIO(s))

输出:

>>> c.head()
    Country  Region
0   Algeria  AFRICA
1    Angola  AFRICA
2     Benin  AFRICA
3  Botswana  AFRICA
4   Burkina  AFRICA

解决方案 5:

url = "https://github.com/cs109/2014_data/blob/master/countries.csv"
c = pd.read_csv(url, sep = "    ")

解决方案 6:

要在 pandas 中通过 URL 导入数据,只需应用下面简单的代码,效果实际上更好。

import pandas as pd
train = pd.read_table("https://urlandfile.com/dataset.csv")
train.head()

如果你对原始数据有问题,那么只需在 URL 前加上“r”

import pandas as pd
train = pd.read_table(r"https://urlandfile.com/dataset.csv")
train.head()
相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1565  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1354  
  信创国产芯片作为信息技术创新的核心领域,对于推动国家自主可控生态建设具有至关重要的意义。在全球科技竞争日益激烈的背景下,实现信息技术的自主可控,摆脱对国外技术的依赖,已成为保障国家信息安全和产业可持续发展的关键。国产芯片作为信创产业的基石,其发展水平直接影响着整个信创生态的构建与完善。通过不断提升国产芯片的技术实力、产...
国产信创系统   21  
  信创生态建设旨在实现信息技术领域的自主创新和安全可控,涵盖了从硬件到软件的全产业链。随着数字化转型的加速,信创生态建设的重要性日益凸显,它不仅关乎国家的信息安全,更是推动产业升级和经济高质量发展的关键力量。然而,在推进信创生态建设的过程中,面临着诸多复杂且严峻的挑战,需要深入剖析并寻找切实可行的解决方案。技术创新难题技...
信创操作系统   27  
  信创产业作为国家信息技术创新发展的重要领域,对于保障国家信息安全、推动产业升级具有关键意义。而国产芯片作为信创产业的核心基石,其研发进展备受关注。在信创国产芯片的研发征程中,面临着诸多复杂且艰巨的难点,这些难点犹如一道道关卡,阻碍着国产芯片的快速发展。然而,科研人员和相关企业并未退缩,积极探索并提出了一系列切实可行的解...
国产化替代产品目录   28  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用