Concat кадры данных python на основе уникальных строк

Мой фрейм данных выглядит так:

df1

user_id    username firstname lastname 
 123         abc      abc       abc
 456         def      def       def 
 789         ghi      ghi       ghi

df2

user_id     username  firstname lastname
 111         xyz       xyz       xyz
 456         def       def       def
 234         mnp       mnp        mnp

Теперь мне нужен выходной фрейм данных, например

 user_id    username firstname lastname 
 123         abc      abc       abc
 456         def      def       def 
 789         ghi      ghi       ghi
 111         xyz       xyz       xyz
 234         mnp       mnp        mnp

Поскольку user_id 456 является общим для обоих фреймов данных. Я пробовал groupby на user_id groupby(['user_id']) . Но похоже, что за groupby должен следовать какой-то aggregation, который мне здесь не нужен.


python pandas pandas-groupby
person curiousguy    schedule 29.05.2017    source источник

Ответы (4)


arrow_upward
4
arrow_downward

Используйте concat + drop_duplicates:

df = pd.concat([df1, df2]).drop_duplicates('user_id').reset_index(drop=True)
print (df)
   user_id username firstname lastname
0      123      abc       abc      abc
1      456      def       def      def
2      789      ghi       ghi      ghi
3      111      xyz       xyz      xyz
4      234      mnp       mnp      mnp

Решение с groupby и агрегатом first работает медленнее:

df = pd.concat([df1, df2]).groupby('user_id', as_index=False, sort=False).first()
print (df)
   user_id username firstname lastname
0      123      abc       abc      abc
1      456      def       def      def
2      789      ghi       ghi      ghi
3      111      xyz       xyz      xyz
4      234      mnp       mnp      mnp

РЕДАКТИРОВАТЬ:

Другое решение с boolean indexing и numpy.in1d:

df = pd.concat([df1, df2[~np.in1d(df2['user_id'], df1['user_id'])]], ignore_index=True)
print (df)
   user_id username firstname lastname
0      123      abc       abc      abc
1      456      def       def      def
2      789      ghi       ghi      ghi
3      111      xyz       xyz      xyz
4      234      mnp       mnp      mnp
person jezrael    schedule 29.05.2017
comment
Это лучший оптимизированный способ сделать это. Поскольку я буду иметь дело с огромным набором данных. Просто запрос. - person curiousguy; 29.05.2017
comment
Я думаю да, drop_duplicates быстрее, чем groupby. - person jezrael; 29.05.2017

arrow_upward
0
arrow_downward

Один подход с маскировкой -

def app1(df1,df2):
    df20 = df2[~df2.user_id.isin(df1.user_id)]
    return pd.concat([df1, df20],axis=0)

Еще два подхода с использованием данных базового массива, np.in1d, np.searchsorted, чтобы получить маску совпадений, а затем сложить эти два и построить выходной кадр данных из данных сложенного массива -

def app2(df1,df2):    
    df20_arr = df2.values[~np.in1d(df1.user_id.values, df2.user_id.values)]
    arr = np.vstack(( df1.values, df20_arr ))
    df_out = pd.DataFrame(arr, columns= df1.columns)
    return df_out

def app3(df1,df2):
    a = df1.values
    b = df2.values

    df20_arr = b[~np.in1d(a[:,0], b[:,0])]
    arr = np.vstack(( a, df20_arr ))
    df_out = pd.DataFrame(arr, columns= df1.columns)
    return df_out

def app4(df1,df2):
    a = df1.values
    b = df2.values

    b0 = b[:,0].astype(int)
    as0 = np.sort(a[:,0].astype(int))
    df20_arr = b[as0[np.searchsorted(as0,b0)] != b0]
    arr = np.vstack(( a, df20_arr ))
    df_out = pd.DataFrame(arr, columns= df1.columns)
    return df_out

Тайминги для данного образца -

In [49]: %timeit app1(df1,df2)
    ...: %timeit app2(df1,df2)
    ...: %timeit app3(df1,df2)
    ...: %timeit app4(df1,df2)
    ...: 
1000 loops, best of 3: 753 µs per loop
10000 loops, best of 3: 192 µs per loop
10000 loops, best of 3: 181 µs per loop
10000 loops, best of 3: 171 µs per loop

# @jezrael's edited solution
In [85]: %timeit pd.concat([df1, df2[~np.in1d(df2['user_id'], df1['user_id'])]], ignore_index=True)
1000 loops, best of 3: 614 µs per loop

Было бы интересно посмотреть, как они работают с большими наборами данных.

person Divakar    schedule 29.05.2017

arrow_upward
0
arrow_downward

Другой подход — использовать np.in1d ​​для проверки дубликатов user_id.

pd.concat([df1,df2[df2.user_id.isin(np.setdiff1d(df2.user_id,df1.user_id))]])

Или использовать набор для получения уникальных строк из объединенных записей из df1 и df2. Этот, кажется, в несколько раз быстрее.

pd.DataFrame(data=np.vstack({tuple(row) for row in np.r_[df1.values,df2.values]}),columns=df1.columns)

Тайминги:

%timeit pd.concat([df1,df2[df2.user_id.isin(np.setdiff1d(df2.user_id,df1.user_id))]])
1000 loops, best of 3: 2.48 ms per loop

%timeit pd.DataFrame(data=np.vstack({tuple(row) for row in np.r_[df1.values,df2.values]}),columns=df1.columns)

1000 loops, best of 3: 632 µs per loop
person Allen    schedule 29.05.2017

arrow_upward
0
arrow_downward

Можно также использовать append + drop_duplicates.

df1.append(df2)
df1.drop_duplicates(inplace=True)
person Divyanshu Srivastava    schedule 06.05.2020