• 当前位置：首页
  • IT科技
  • 如何在 PySpark 中更改数据框列名？

如何在 PySpark 中更改数据框列名？

2025-03-10 08:51:00
admin
原创
36
摘要：问题描述：我有 pandas 背景，习惯于将数据从 CSV 文件读入数据框，然后使用简单命令将列名更改为有用的内容：df.columns = new_column_name_list 但是，使用 sqlContext 创建的 PySpark 数据框中却不起作用。我能想到的唯一轻松实现此目的的解决方案如下：df...

问题描述：

我有 pandas 背景，习惯于将数据从 CSV 文件读入数据框，然后使用简单命令将列名更改为有用的内容：

df.columns = new_column_name_list

但是，使用 sqlContext 创建的 PySpark 数据框中却不起作用。我能想到的唯一轻松实现此目的的解决方案如下：

df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', inferschema='true', delimiter='    ').load("data.txt")
oldSchema = df.schema
for i,k in enumerate(oldSchema.fields):
  k.name = new_column_name_list[i]
df = sqlContext.read.format("com.databricks.spark.csv").options(header='false', delimiter='    ').load("data.txt", schema=oldSchema)

这基本上是定义变量两次并首先推断模式，然后重命名列名，然后使用更新的模式再次加载数据框。

有没有更好、更有效的方法来做到这一点，就像我们在熊猫中所做的那样？

我的 Spark 版本是 1.5.0

解决方案 1：

有很多方法可以做到这一点：

  • 选项 1.使用selectExpr。

 data = sqlContext.createDataFrame([("Alberto", 2), ("Dakota", 2)], 
                                   ["Name", "askdaosdka"])
 data.show()
 data.printSchema()

 # Output
 #+-------+----------+
 #|   Name|askdaosdka|
 #+-------+----------+
 #|Alberto|         2|
 #| Dakota|         2|
 #+-------+----------+

 #root
 # |-- Name: string (nullable = true)
 # |-- askdaosdka: long (nullable = true)

 df = data.selectExpr("Name as name", "askdaosdka as age")
 df.show()
 df.printSchema()

 # Output
 #+-------+---+
 #|   name|age|
 #+-------+---+
 #|Alberto|  2|
 #| Dakota|  2|
 #+-------+---+

 #root
 # |-- name: string (nullable = true)
 # |-- age: long (nullable = true)

  • 选项 2. 使用withColumnRenamed，请注意，此方法允许您“覆盖”同一列。对于 Python3，请将其替换xrange为range。

 from functools import reduce

 oldColumns = data.schema.names
 newColumns = ["name", "age"]

 df = reduce(lambda data, idx: data.withColumnRenamed(oldColumns[idx], newColumns[idx]), xrange(len(oldColumns)), data)
 df.printSchema()
 df.show()

  • 选项 3. 使用
    别名，在 Scala 中您也可以使用as。

 from pyspark.sql.functions import col

 data = data.select(col("Name").alias("name"), col("askdaosdka").alias("age"))
 data.show()

 # Output
 #+-------+---+
 #|   name|age|
 #+-------+---+
 #|Alberto|  2|
 #| Dakota|  2|
 #+-------+---+

  • 选项 4.使用sqlContext.sqlDataFrames ，它允许您在注册为表上使用 SQL 查询。

 sqlContext.registerDataFrameAsTable(data, "myTable")
 df2 = sqlContext.sql("SELECT Name AS name, askdaosdka as age from myTable")

 df2.show()

 # Output
 #+-------+---+
 #|   name|age|
 #+-------+---+
 #|Alberto|  2|
 #| Dakota|  2|
 #+-------+---+

解决方案 2：

df = df.withColumnRenamed("colName", "newColName")\n       .withColumnRenamed("colName2", "newColName2")

使用这种方式的优点：如果列表很长，您只想更改少数列名。这在这些情况下非常方便。在连接具有重复列名的表时非常有用。

解决方案 3：

如果要更改所有列名称，请尝试df.toDF(*cols)

解决方案 4：

如果你想对所有列名应用简单的转换，这个代码可以解决问题：（我用下划线替换所有空格）

new_column_name_list= list(map(lambda x: x.replace(" ", "_"), df.columns))

df = df.toDF(*new_column_name_list)

感谢@user8117731 提供的toDf技巧。

解决方案 5：

df.withColumnRenamed('age', 'age2')

解决方案 6：

如果您要重命名单个列并保持其余列原样：

from pyspark.sql.functions import col
new_df = old_df.select(*[col(s).alias(new_name) if s == column_to_change else s for s in old_df.columns])

解决方案 7：

这是我使用的方法：

创建 pyspark 会话：

import pyspark
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName('changeColNames').getOrCreate()

创建数据框：

df = spark.createDataFrame(data = [('Bob', 5.62,'juice'),  ('Sue',0.85,'milk')], schema = ["Name", "Amount","Item"])

使用列名查看 df：

df.show()
+----+------+-----+
|Name|Amount| Item|
+----+------+-----+
| Bob|  5.62|juice|
| Sue|  0.85| milk|
+----+------+-----+

创建具有新列名的列表：

newcolnames = ['NameNew','AmountNew','ItemNew']

更改 df 的列名：

for c,n in zip(df.columns,newcolnames):
    df=df.withColumnRenamed(c,n)

使用新列名查看 df：

df.show()
+-------+---------+-------+
|NameNew|AmountNew|ItemNew|
+-------+---------+-------+
|    Bob|     5.62|  juice|
|    Sue|     0.85|   milk|
+-------+---------+-------+

解决方案 8：

我制作了一个易于使用的函数来重命名 pyspark 数据框的多个列，以防有人想要使用它：

def renameCols(df, old_columns, new_columns):
    for old_col,new_col in zip(old_columns,new_columns):
        df = df.withColumnRenamed(old_col,new_col)
    return df

old_columns = ['old_name1','old_name2']
new_columns = ['new_name1', 'new_name2']
df_renamed = renameCols(df, old_columns, new_columns)

请注意，两个列表的长度必须相同。

解决方案 9：

方法 1：

df = df.withColumnRenamed("old_column_name", "new_column_name")

方法 2：
如果你想做一些计算并重命名新值

df = df.withColumn("old_column_name", F.when(F.col("old_column_name") > 1, F.lit(1)).otherwise(F.col("old_column_name"))
df = df.drop("new_column_name", "old_column_name")

解决方案 10：

重命名一列的另一种方法（使用import pyspark.sql.functions as F）：

df = df.select( '*', F.col('count').alias('new_count') ).drop('count')

解决方案 11：

您可以使用以下函数重命名数据框的所有列。

def df_col_rename(X, to_rename, replace_with):
    """
    :param X: spark dataframe
    :param to_rename: list of original names
    :param replace_with: list of new names
    :return: dataframe with updated names
    """
    import pyspark.sql.functions as F
    mapping = dict(zip(to_rename, replace_with))
    X = X.select([F.col(c).alias(mapping.get(c, c)) for c in to_rename])
    return X

如果您只需要更新几个列的名称，则可以在 replace_with 列表中使用相同的列名

重命名所有列

df_col_rename(X,['a', 'b', 'c'], ['x', 'y', 'z'])

重命名某些列

df_col_rename(X,['a', 'b', 'c'], ['a', 'y', 'z'])

解决方案 12：

我们可以使用 col.alias 来重命名该列：

from pyspark.sql.functions import col
df.select(['vin',col('timeStamp').alias('Date')]).show()

解决方案 13：

我们可以使用各种方法来重命名列名。

首先，让我们创建一个简单的DataFrame。

df = spark.createDataFrame([("x", 1), ("y", 2)], 
                                  ["col_1", "col_2"])

现在让我们尝试将 col_1 重命名为 col_3。PFB 有几种方法可以执行相同操作。

# Approach - 1 : using withColumnRenamed function.
df.withColumnRenamed("col_1", "col_3").show()

# Approach - 2 : using alias function.
df.select(df["col_1"].alias("col3"), "col_2").show()

# Approach - 3 : using selectExpr function.
df.selectExpr("col_1 as col_3", "col_2").show()

# Rename all columns
# Approach - 4 : using toDF function. Here you need to pass the list of all columns present in DataFrame.
df.toDF("col_3", "col_2").show()

这是输出。

+-----+-----+
|col_3|col_2|
+-----+-----+
|    x|    1|
|    y|    2|
+-----+-----+

我希望这会有所帮助。

解决方案 14：

您可以使用“别名”来更改列名：

col('my_column').alias('new_name')

您可以使用“别名”的另一种方法（可能未提及）：

df.my_column.alias('new_name')

解决方案 15：

您可以放入 for 循环，并使用 zip 将两个数组中的每一列名称配对。

new_name = ["id", "sepal_length_cm", "sepal_width_cm", "petal_length_cm", "petal_width_cm", "species"]

new_df = df
for old, new in zip(df.columns, new_name):
    new_df = new_df.withColumnRenamed(old, new)

解决方案 16：

我喜欢使用字典来重命名 df。

rename = {'old1': 'new1', 'old2': 'new2'}
for col in df.schema.names:
    df = df.withColumnRenamed(col, rename[col])

解决方案 17：

最简单的解决方案是：

for col, new_col in columns:
    df = df.withColumnRenamed(col, new_col)

解决方案 18：

您可以使用多种方法：

  1. df1=df.withColumn("new_column","old_column").drop(col("old_column"))

  2. df1=df.withColumn("new_column","old_column")

  3. df1=df.select("old_column".alias("new_column"))

解决方案 19：

列表推导 + f 字符串：

df = df.toDF(*[f'n_{c}' for c in df.columns])

简单列表理解：

df = df.toDF(*[c.lower() for c in df.columns])

解决方案 20：

对于单列重命名，您仍然可以使用 toDF()。例如，

df1.selectExpr("SALARY*2").toDF("REVISED_SALARY").show()

解决方案 21：


from pyspark.sql.types import StructType,StructField, StringType, IntegerType

CreatingDataFrame = [("James","Sales","NY",90000,34,10000),
    ("Michael","Sales","NY",86000,56,20000),
    ("Robert","Sales","CA",81000,30,23000),
    ("Maria","Finance","CA",90000,24,23000),
    ("Raman","Finance","CA",99000,40,24000),
    ("Scott","Finance","NY",83000,36,19000),
    ("Jen","Finance","NY",79000,53,15000),
    ("Jeff","Marketing","CA",80000,25,18000),
    ("Kumar","Marketing","NY",91000,50,21000)
  ]

schema = StructType([ \n    StructField("employee_name",StringType(),True), \n    StructField("department",StringType(),True), \n    StructField("state",StringType(),True), \n    StructField("salary", IntegerType(), True), \n    StructField("age", StringType(), True), \n    StructField("bonus", IntegerType(), True) \n  ])

 
OurData = spark.createDataFrame(data=CreatingDataFrame,schema=schema)

OurData.show()

# COMMAND ----------

GrouppedBonusData=OurData.groupBy("department").sum("bonus")


# COMMAND ----------

GrouppedBonusData.show()


# COMMAND ----------

GrouppedBonusData.printSchema()

# COMMAND ----------

from pyspark.sql.functions import col

BonusColumnRenamed = GrouppedBonusData.select(col("department").alias("department"), col("sum(bonus)").alias("Total_Bonus"))
BonusColumnRenamed.show()

# COMMAND ----------

GrouppedBonusData.groupBy("department").count().show()

# COMMAND ----------

GrouppedSalaryData=OurData.groupBy("department").sum("salary")

# COMMAND ----------

GrouppedSalaryData.show()

# COMMAND ----------

from pyspark.sql.functions import col

SalaryColumnRenamed = GrouppedSalaryData.select(col("department").alias("Department"), col("sum(salary)").alias("Total_Salary"))
SalaryColumnRenamed.show()

解决方案 22：

尝试以下方法。以下方法可以让你重命名多个文件的列

参考：https://www.linkedin.com/pulse/pyspark-methods-rename-columns-kyle-gibson/

df_initial = spark.read.load('com.databricks.spark.csv')
    
    rename_dict = {
      'Alberto':'Name',
      'Dakota':'askdaosdka'
    }
    
    df_renamed = df_initial \n    .select([col(c).alias(rename_dict.get(c, c)) for c in df_initial.columns])

    
     rename_dict = {
       'FName':'FirstName',
       'LName':'LastName',
       'DOB':'BirthDate'
        }

     return df.select([col(c).alias(rename_dict.get(c, c)) for c in df.columns])


df_renamed = spark.read.load('/mnt/datalake/bronze/testData') \n.transform(renameColumns)

解决方案 23：

最简单的解决方案是使用withColumnRenamed：

renamed_df = df.withColumnRenamed(‘name_1’, ‘New_name_1’).withColumnRenamed(‘name_2’, ‘New_name_2’)
renamed_df.show()

如果你想像我们对 Pandas 那样做，你可以使用toDF：

创建新列的列表顺序并将其传递给toDF

df_list = ["newName_1", “newName_2", “newName_3", “newName_4"]
renamed_df = df.toDF(*df_list)
renamed_df.show()

解决方案 24：

这是一个使用循环重命名多列的简单方法：

cols_to_rename = ["col1","col2","col3"]

for col in cols_to_rename:
  df = df.withColumnRenamed(col,"new_{}".format(col))

解决方案 25：

最接近的说法df.columns = new_column_name_list是：

import pyspark.sql.functions as F
df = df.select(*[F.col(name_old).alias(name_new) 
                 for (name_old, name_new) 
                 in zip(df.columns, new_column_name_list)]

这不需要任何很少使用的函数，并强调一些在 Spark 中非常有用的模式。如果您发现此一行代码要做太多事情，也可以拆分这些步骤：

import pyspark.sql.functions as F
column_mapping = [F.col(name_old).alias(name_new) 
                  for (name_old, name_new) 
                  in zip(df.columns, new_column_name_list)]
df = df.select(*column_mapping)

解决方案 26：

要在 spark dataframe 列上应用任何通用函数，然后重命名列名，可以使用 quinn 库。请参考示例代码：

import quinn
def lower_case(col):
  return col.lower()

df_ = quinn.with_columns_renamed(lower_case)(df)

lower_case 是函数名称，df 是初始 spark 数据框

如果导入 quinn 库时出错，请使用以下示例代码：

%pip install quinn
相关推荐
置顶 政府信创国产化的10大政策解读
政府信创国产化的10大政策解读
  政府信创国产化的10大政策解读一、信创国产化的背景与意义信创国产化，即信息技术应用创新国产化，是当前中国信息技术领域的一个重要发展方向。其核心在于通过自主研发和创新，实现信息技术应用的自主可控，减少对外部技术的依赖，并规避潜在的技术制裁和风险。随着全球信息技术竞争的加剧，以及某些国家对中国在科技领域的打压，信创国产化显...
工程项目管理   1887  
置顶 2025年20款好用的项目管理软件推荐，项目管理提效的20个工具和技巧
2025年20款好用的项目管理软件推荐，项目管理提效的20个工具和技巧
  为什么项目管理通常仍然耗时且低效？您是否还在反复更新电子表格、淹没在便利贴中并参加每周更新会议？这确实是耗费时间和精力。借助软件工具的帮助，您可以一目了然地全面了解您的项目。如今，国内外有足够多优秀的项目管理软件可以帮助您掌控每个项目。什么是项目管理软件？项目管理软件是广泛行业用于项目规划、资源分配和调度的软件。它使项...
项目管理软件   1425  
PLM系统与ERP、MES、CAD的集成策略与实践
PLM系统与ERP、MES、CAD的集成策略与实践
  在制造业数字化转型的进程中，PLM（产品生命周期管理）系统、ERP（企业资源计划）系统、MES（制造执行系统）以及 CAD（计算机辅助设计）软件都扮演着至关重要的角色。然而，这些系统和软件各自独立运行时，往往难以发挥出最大的协同效应。实现 PLM 系统与 ERP、MES、CAD 的有效集成，成为提升企业整体竞争力、优化...
plm系统的主要功能模块   3  
PLM在电子与半导体行业的应用价值
PLM在电子与半导体行业的应用价值
  产品生命周期管理（PLM）作为一种先进的管理理念和技术，在电子与半导体行业正发挥着日益重要的作用。随着电子与半导体行业的快速发展，产品更新换代速度加快，市场竞争愈发激烈，企业面临着诸多挑战，如缩短产品上市时间、提高产品质量、降低成本等。而PLM的应用为企业应对这些挑战提供了有效的解决方案，展现出巨大的应用价值。提升产品...
plm项目   4  
未来十年PLM项目管理软件的发展预测
未来十年PLM项目管理软件的发展预测
  PLM（产品生命周期管理）项目管理软件在现代企业的产品研发、生产与运营中扮演着至关重要的角色。它整合了从产品概念设计到退役的全流程数据与流程，助力企业提升效率、降低成本并增强创新能力。随着科技的飞速发展以及企业需求的不断演变，未来十年 PLM 项目管理软件的发展充满了无限可能，值得深入探讨与预测。智能化与自动化趋势智能...
plm产品全生命周期管理   6  
热门文章
项目管理软件
政府信创国产化的10大政策解读
2025soft
2025年20款好用的项目管理软件推荐，项目管理提效的20个工具和技巧
img020
使用 Python 'Requests' 模块的代理
img044
10个项目管理常见问题解答：包括难点和解决方法
项目管理软件
项目延期的原因有哪些？如何有效预防和管理？
项目里程碑计划模板
项目里程碑计划模板怎么写?设定项目里程碑的5个方法
项目管理软件
项目管理指南：制定项目实施计划的6大步骤有哪些？
项目管理软件有哪些？
热门标签
更多>
IPD流程 项目管理 plm项目管理软件 敏捷开发 项目管理软件 Scrum 敏捷项目管理 IPD流程管理 项目风险管理 项目管理工具 项目经理 极限编程  产品管理  项目经理职责 项目路线图 项目进度管理 团队管理 测试管理工具 项目预算管理 PMP认证 瀑布式管理 项目范围管理 IT科技 项目管理平台 工程项目管理 项目资源管理 pmp证书考试
云禅道AD
禅道项目管理软件

云端的项目管理软件

尊享禅道项目软件收费版功能

无需维护，随时随地协同办公

内置subversion和git源码管理

每天备份，随时转为私有部署

免费试用