将两列的值合并到 Pandas 数据框中的一列中-IT科技

摘要：问题描述：我正在寻找一种与 T-SQL 中的 coalesce 行为类似的方法。我有 2 列（列 A 和 B），它们在 pandas 数据框中稀疏填充。我想使用以下规则创建一个新列：如果 A 列中的值不为空，则将该值用于新的 C 列如果 A 列中的值为空，则使用 B 列中的值作为新的 C 列就像我提到的，这可...

问题描述：

我正在寻找一种与 T-SQL 中的 coalesce 行为类似的方法。我有 2 列（列 A 和 B），它们在 pandas 数据框中稀疏填充。我想使用以下规则创建一个新列：

如果 A 列中的值不为空，则将该值用于新的 C 列
如果 A 列中的值为空，则使用 B 列中的值作为新的 C 列

就像我提到的，这可以通过 MS SQL Server 中的 coalesce 函数来实现。我还没有找到一个好的 Python 方法来做到这一点；有这样的方法吗？

解决方案 1：

使用Combine_first()：

In [16]: df = pd.DataFrame(np.random.randint(0, 10, size=(10, 2)), columns=list('ab'))

In [17]: df.loc[::2, 'a'] = np.nan

In [18]: df
Out[18]:
     a  b
0  NaN  0
1  5.0  5
2  NaN  8
3  2.0  8
4  NaN  3
5  9.0  4
6  NaN  7
7  2.0  0
8  NaN  6
9  2.0  5

In [19]: df['c'] = df.a.combine_first(df.b)

In [20]: df
Out[20]:
     a  b    c
0  NaN  0  0.0
1  5.0  5  5.0
2  NaN  8  8.0
3  2.0  8  2.0
4  NaN  3  3.0
5  9.0  4  9.0
6  NaN  7  7.0
7  2.0  0  2.0
8  NaN  6  6.0
9  2.0  5  2.0

解决方案 2：

使用以下方法合并多个列`DataFrame.bfill`

所有这些方法都适用于两列，也许三列也行，但如果有n列，则它们都需要方法链接n > 2：

示例数据框：

import numpy as np
import pandas as pd

df = pd.DataFrame({'col1':[np.NaN, 2, 4, 5, np.NaN],
                   'col2':[np.NaN, 5, 1, 0, np.NaN],
                   'col3':[2, np.NaN, 9, 1, np.NaN],
                   'col4':[np.NaN, 10, 11, 4, 8]})

print(df)

   col1  col2  col3  col4
0   NaN   NaN   2.0   NaN
1   2.0   5.0   NaN  10.0
2   4.0   1.0   9.0  11.0
3   5.0   0.0   1.0   4.0
4   NaN   NaN   NaN   8.0

使用DataFrame.bfill列轴（），我们可以以通用方式获取大量列的axis=1值n

另外，这也适用于string type列！

df['coalesce'] = df.bfill(axis=1).iloc[:, 0]

   col1  col2  col3  col4  coalesce
0   NaN   NaN   2.0   NaN       2.0
1   2.0   5.0   NaN  10.0       2.0
2   4.0   1.0   9.0  11.0       4.0
3   5.0   0.0   1.0   4.0       5.0
4   NaN   NaN   NaN   8.0       8.0

使用Series.combine_first（接受的答案），它会变得相当麻烦，并且当列数增加时最终将无法撤消

df['coalesce'] = (
    df['col1'].combine_first(df['col2'])
        .combine_first(df['col3'])
        .combine_first(df['col4'])
)

   col1  col2  col3  col4  coalesce
0   NaN   NaN   2.0   NaN       2.0
1   2.0   5.0   NaN  10.0       2.0
2   4.0   1.0   9.0  11.0       4.0
3   5.0   0.0   1.0   4.0       5.0
4   NaN   NaN   NaN   8.0       8.0

解决方案 3：

也试试这个..更容易记住：

df['c'] = np.where(df["a"].isnull(), df["b"], df["a"] )

这稍微快一点： df['c'] = np.where(df["a"].isnull() == True, df["b"], df["a"] )

%timeit df['d'] = df.a.combine_first(df.b)
1000 loops, best of 3: 472 µs per loop


%timeit  df['c'] = np.where(df["a"].isnull(), df["b"], df["a"] )
1000 loops, best of 3: 291 µs per loop

解决方案 4：

combine_first是最直接的选择。下面我列出了其他几种方法。我将列出更多解决方案，其中一些适用于不同的情况。

案例 #1：非互斥 NaN

并非所有行都有 NaN，并且这些NaNNaN在列之间并不互斥。

df = pd.DataFrame({
    'a': [1.0, 2.0, 3.0, np.nan, 5.0, 7.0, np.nan],
    'b': [5.0, 3.0, np.nan, 4.0, np.nan, 6.0, 7.0]})      
df

     a    b
0  1.0  5.0
1  2.0  3.0
2  3.0  NaN
3  NaN  4.0
4  5.0  NaN
5  7.0  6.0
6  NaN  7.0

我们先来结合一下a。

Series.mask

df['a'].mask(pd.isnull, df['b'])
# df['a'].mask(df['a'].isnull(), df['b'])

0    1.0
1    2.0
2    3.0
3    4.0
4    5.0
5    7.0
6    7.0
Name: a, dtype: float64

Series.where

df['a'].where(pd.notnull, df['b'])

0    1.0
1    2.0
2    3.0
3    4.0
4    5.0
5    7.0
6    7.0
Name: a, dtype: float64

您可以使用类似的语法np.where。

或者，首先合并b，然后切换条件。

案例 #2：相互排斥的定位 NaN

所有行都有NaN与列之间互斥的 s。

df = pd.DataFrame({
    'a': [1.0, 2.0, 3.0, np.nan, 5.0, np.nan, np.nan],
    'b': [np.nan, np.nan, np.nan, 4.0, np.nan, 6.0, 7.0]})
df

     a    b
0  1.0  NaN
1  2.0  NaN
2  3.0  NaN
3  NaN  4.0
4  5.0  NaN
5  NaN  6.0
6  NaN  7.0

Series.update

此方法可就地工作，修改原始 DataFrame。对于此用例，这是一种有效的选择。

df['b'].update(df['a'])
# Or, to update "a" in-place,
# df['a'].update(df['b'])
df

     a    b
0  1.0  1.0
1  2.0  2.0
2  3.0  3.0
3  NaN  4.0
4  5.0  5.0
5  NaN  6.0
6  NaN  7.0

Series.add

df['a'].add(df['b'], fill_value=0)

0    1.0
1    2.0
2    3.0
3    4.0
4    5.0
5    6.0
6    7.0
dtype: float64

DataFrame.fillna+DataFrame.sum

df.fillna(0).sum(1)

0    1.0
1    2.0
2    3.0
3    4.0
4    5.0
5    6.0
6    7.0
dtype: float64

解决方案 5：

我遇到了这个问题，但我想合并多个列，从几列中挑选第一个非空值。我发现以下内容很有帮助：

构建虚拟数据

import pandas as pd
df = pd.DataFrame({'a1': [None, 2, 3, None],
                   'a2': [2, None, 4, None],
                   'a3': [4, 5, None, None],
                   'a4': [None, None, None, None],
                   'b1': [9, 9, 9, 999]})

df

    a1   a2   a3    a4   b1
0  NaN  2.0  4.0  None    9
1  2.0  NaN  5.0  None    9
2  3.0  4.0  NaN  None    9
3  NaN  NaN  NaN  None  999

将 a1 a2, a3 合并为新的 A 列

def get_first_non_null(dfrow, columns_to_search):
    for c in columns_to_search:
        if pd.notnull(dfrow[c]):
            return dfrow[c]
    return None

# sample usage:
cols_to_search = ['a1', 'a2', 'a3']
df['A'] = df.apply(lambda x: get_first_non_null(x, cols_to_search), axis=1)

print(df)

    a1   a2   a3    a4   b1    A
0  NaN  2.0  4.0  None    9  2.0
1  2.0  NaN  5.0  None    9  2.0
2  3.0  4.0  NaN  None    9  3.0
3  NaN  NaN  NaN  None  999  NaN

解决方案 6：

我正在考虑这样的解决方案，

def coalesce(s: pd.Series, *series: List[pd.Series]):
    """coalesce the column information like a SQL coalesce."""
    for other in series:
        s = s.mask(pd.isnull, other)        
    return s

因为给定一个包含的列的 DataFrame ['a', 'b', 'c']，你可以像 SQL 合并一样使用它，

df['d'] = coalesce(df.a, df.b, df.c)

解决方案 7：

对于更一般的情况，其中没有 NaN 但你想要相同的行为：

合并“左”，但尽可能覆盖“右”值

解决方案 8：

很好的代码，但是你输入的 Python 3 版本号有误，正确的版本如下

    """coalesce the column information like a SQL coalesce."""
    for other in series:
        s = s.mask(pd.isnull, other)        
    return s

解决方案 9：

考虑使用 DuckDB 在 Pandas 上实现高效的 SQL。它性能卓越、简单且功能丰富。https ://duckdb.org/2021/05/14/sql-on-pandas.html

示例数据框：

import numpy as np
import pandas as pd

df = pd.DataFrame({'A':[1,np.NaN, 3, 4, 5],
                   'B':[np.NaN, 2, 3, 4, np.NaN]})

使用 DuckDB 进行合并：

import duckdb
out_df = duckdb.query("""SELECT A,B,coalesce(A,B) as C from df""").to_df()
print(out_df)

输出：

     A    B    c
0  1.0  NaN  1.0
1  NaN  2.0  2.0
2  3.0  3.0  3.0
3  4.0  4.0  4.0
4  5.0  NaN  5.0