如何在 Pandas 中查找数字列?

2025-02-12 10:03:00
admin
原创
49
摘要:问题描述:假设df是 pandas DataFrame。我想找到所有数字类型的列。例如:isNumeric = is_numeric(df) 解决方案 1:您可以使用select_dtypesDataFrame 的方法。它包含两个参数 include 和 exclude。因此 isNumeric 看起来像:n...

问题描述:

假设df是 pandas DataFrame。我想找到所有数字类型的列。例如:

isNumeric = is_numeric(df)

解决方案 1:

您可以使用select_dtypesDataFrame 的方法。它包含两个参数 include 和 exclude。因此 isNumeric 看起来像:

numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']

newdf = df.select_dtypes(include=numerics)

从Pandas 1.0 开始你也可以这样做:

df.select_dtypes(include='number')

解决方案 2:

简单的一行答案即可创建仅包含数字列的新数据框:

df.select_dtypes(include=np.number)

如果您想要数字列的名称:

df.select_dtypes(include=np.number).columns.tolist()

完整代码:

import pandas as pd
import numpy as np

df = pd.DataFrame({'A': range(7, 10),
                   'B': np.random.rand(3),
                   'C': ['foo','bar','baz'],
                   'D': ['who','what','when']})
df
#    A         B    C     D
# 0  7  0.704021  foo   who
# 1  8  0.264025  bar  what
# 2  9  0.230671  baz  when

df_numerics_only = df.select_dtypes(include=np.number)
df_numerics_only
#    A         B
# 0  7  0.704021
# 1  8  0.264025
# 2  9  0.230671

colnames_numerics_only = df.select_dtypes(include=np.number).columns.tolist()
colnames_numerics_only
# ['A', 'B']

解决方案 3:

您可以使用未记录的函数_get_numeric_data()来仅过滤数字列:

df._get_numeric_data()

例子:

In [32]: data
Out[32]:
   A  B
0  1  s
1  2  s
2  3  s
3  4  s

In [33]: data._get_numeric_data()
Out[33]:
   A
0  1
1  2
2  3
3  4

请注意,这是一个“私有方法”(即实现细节),将来可能会更改或完全删除。请谨慎使用

解决方案 4:

df.select_dtypes(exclude = ['object'])

更新:

df.select_dtypes(include= np.number)

或者使用新版本的 panda

 df.select_dtypes('number')

解决方案 5:

简单的一行:

df.select_dtypes('number').columns

解决方案 6:

以下代码将返回数据集的数字列名称列表。

cnames=list(marketing_train.select_dtypes(exclude=['object']).columns)

marketing_train是我的数据集,select_dtypes()它是使用排除和包含参数选择数据类型的函数,使用列来获取数据集的列名,上述代码的输出如下:

['custAge',
     'campaign',
     'pdays',
     'previous',
     'emp.var.rate',
     'cons.price.idx',
     'cons.conf.idx',
     'euribor3m',
     'nr.employed',
     'pmonths',
     'pastEmail']
    

解决方案 7:

这是另一个用于在 Pandas 数据框中查找数字列的简单代码,

numeric_clmns = df.dtypes[df.dtypes != "object"].index 

解决方案 8:

我们可以根据以下要求包含和排除数据类型:

train.select_dtypes(include=None, exclude=None)
train.select_dtypes(include='number') #will include all the numeric types

摘自 Jupyter Notebook。

要选择所有数字类型,请使用np.number'number'

  • 要选择字符串,您必须使用objectdtype,但请注意,这将返回所有对象 dtype 列

  • 查看NumPy dtype hierarchy <http://docs.scipy.org/doc/numpy/reference/arrays.scalars.html>__

  • 要选择日期时间,请使用
    np.datetime64'datetime'`'datetime64'`

  • 要选择时间增量,请使用
    np.timedelta64'timedelta'`'timedelta64'`

  • 要选择 Pandas 分类数据类型,请使用'category'

  • 要选择 Pandas datetimetz 数据类型,请使用'datetimetz'(0.20.0 中的新功能)或“datetime64[ns, tz]”

解决方案 9:

虽然这是一个老话题,

但我认为以下公式比所有其他评论都更简单

df[df.describe().columns]

由于函数 describe() 仅适用于数字列,因此输出的列将仅为数字。

解决方案 10:

很多发布的答案都是低效的。这些答案要么返回/选择原始数据框的子集(不必要的副本),要么在 的情况下执行不必要的计算统计describe()

为了获取数字列名,可以使用条件列表理解和pd.api.types.is_numeric_dtype函数:

numeric_cols = [col for col in df if pd.api.types.is_numeric_dtype(df[col])]

我不确定这个功能是什么时候引入的。

解决方案 11:

请参阅下面的代码:

if(dataset.select_dtypes(include=[np.number]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.number]).describe())
if(dataset.select_dtypes(include=[np.object]).shape[1] > 0):
display(dataset.select_dtypes(include=[np.object]).describe())

这样,您就可以检查该值是否是数字(例如浮点数和整数)或 srting 值。第二个 if 语句用于检查对象引用的字符串值。

解决方案 12:

@Kathiramani Sukumar 的回答df._get_numeric_data()最棒。

xdf = pd.DataFrame({'Numeric':[20,10,np.nan],'String':['foo','bar','daa'],'Date':[datetime(2023,1,1,0,0,0),datetime(2023,1,2,0,0,0),np.nan]})
xdf.dtypes
Numeric           float64
String             object
Date       datetime64[ns]
dtype: object

%timeit xdf._get_numeric_data()
34.7 µs ± 870 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

%timeit xdf.select_dtypes(include=np.number)
797 µs ± 10.2 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

numerics = ['int16', 'int32', 'int64', 'float16', 'float32', 'float64']
%timeit xdf.select_dtypes(include=numerics)
991 µs ± 24.5 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)

解决方案 13:

调整这个答案,你可以做

df.ix[:,df.applymap(np.isreal).all(axis=0)]

这里np.applymap(np.isreal)显示数据框中的每个单元格是否都是数字,并.axis(all=0)检查列中的所有值是否为 True,并返回一系列可用于索引所需列的布尔值。

解决方案 14:

numerical_col = df.describe().columns.to_list()

这是我通常使用的方法。因为 describe 方法仅返回数字列。

解决方案 15:

def is_type(df, baseType):
    import numpy as np
    import pandas as pd
    test = [issubclass(np.dtype(d).type, baseType) for d in df.dtypes]
    return pd.DataFrame(data = test, index = df.columns, columns = ["test"])
def is_float(df):
    import numpy as np
    return is_type(df, np.float)
def is_number(df):
    import numpy as np
    return is_type(df, np.number)
def is_integer(df):
    import numpy as np
    return is_type(df, np.integer)
相关推荐
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化,即信息技术应用创新国产化,是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新,实现信息技术应用的自主可控,减少对外部技术的依赖,并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧,以及某些国家对中国在科技领域的打压,信创国产化显...
工程项目管理   1579  
  为什么项目管理通常仍然耗时且低效?您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议?这确实是耗费时间和精力。借助软件工具的帮助,您可以一目了然地全面了解您的项目。如今,国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件?项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1355  
  信创产品在政府采购中的占比分析随着信息技术的飞速发展以及国家对信息安全重视程度的不断提高,信创产业应运而生并迅速崛起。信创,即信息技术应用创新,旨在实现信息技术领域的自主可控,减少对国外技术的依赖,保障国家信息安全。政府采购作为推动信创产业发展的重要力量,其对信创产品的采购占比情况备受关注。这不仅关系到信创产业的发展前...
信创和国产化的区别   8  
  信创,即信息技术应用创新产业,旨在实现信息技术领域的自主可控,摆脱对国外技术的依赖。近年来,国货国用信创发展势头迅猛,在诸多领域取得了显著成果。这一发展趋势对科技创新产生了深远的推动作用,不仅提升了我国在信息技术领域的自主创新能力,还为经济社会的数字化转型提供了坚实支撑。信创推动核心技术突破信创产业的发展促使企业和科研...
信创工作   9  
  信创技术,即信息技术应用创新产业,旨在实现信息技术领域的自主可控与安全可靠。近年来,信创技术发展迅猛,对中小企业产生了深远的影响,带来了诸多不可忽视的价值。在数字化转型的浪潮中,中小企业面临着激烈的市场竞争和复杂多变的环境,信创技术的出现为它们提供了新的发展机遇和支撑。信创技术对中小企业的影响技术架构变革信创技术促使中...
信创国产化   8  
热门文章
项目管理软件有哪些?
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护,随时随地协同办公

内置subversion和git源码管理

每天备份,随时转为私有部署

免费试用