Python pandas: elimine duplicados por columnas A, manteniendo la fila con el valor más alto en la columna B

Tengo un marco de datos con valores de repetición en la columna A. Quiero eliminar duplicados, manteniendo la fila con el valor más alto en la columna B.

Así que esto:

A B
1 10
1 20
2 30
2 40
3 10

Debería convertirse en esto:

A B
1 20
2 40
3 10

Wes ha agregado una buena funcionalidad para eliminar duplicados: http://wesmckinney.com/blog/?p=340 . Pero AFAICT, está diseñado para duplicados exactos, por lo que no se mencionan los criterios para seleccionar qué filas se mantienen.

Supongo que probablemente haya una manera fácil de hacer esto, tal vez tan fácil como ordenar el marco de datos antes de soltar duplicados, pero no conozco la lógica interna de groupby lo suficientemente bien como para descubrirlo. ¿Alguna sugerencia?

Esto lleva lo último. Sin embargo, no es el máximo:

In [10]: df.drop_duplicates(subset='A', keep="last")
Out[10]: 
   A   B
1  1  20
3  2  40
4  3  10

También puedes hacer algo como:

In [12]: df.groupby('A', group_keys=False).apply(lambda x: x.loc[x.B.idxmax()])
Out[12]: 
   A   B
A       
1  1  20
2  2  40
3  3  10

La respuesta principal es hacer demasiado trabajo y parece ser muy lenta para conjuntos de datos más grandes. applyes lento y debe evitarse si es posible. ixestá en desuso y también debe evitarse.

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index()

   A   B
1  1  20
3  2  40
4  3  10

O simplemente agrupe por todas las otras columnas y tome el máximo de la columna que necesita. df.groupby('A', as_index=False).max()

La solución más simple:

Para soltar duplicados basados ​​en una columna:

df = df.drop_duplicates('column_name', keep='last')

Para soltar duplicados basados ​​en múltiples columnas:

df = df.drop_duplicates(['col_name1','col_name2','col_name3'], keep='last')

Prueba esto:

df.groupby(['A']).max()

Primero ordenaría el marco de datos con la columna B descendente, luego soltaría los duplicados para la columna A y me quedaría primero

df = df.sort_values(by='B', ascending=False)
df = df.drop_duplicates(subset='A', keep="first")

sin ningún grupo

Puedes probar esto también

df.drop_duplicates(subset='A', keep='last')

Remití esto desde https://pandas.pydata.org/pandas-docs/stable/generated/pandas.DataFrame.drop_duplicates.html

Creo que en tu caso realmente no necesitas un grupo. Ordenaría por orden descendente su columna B, luego soltaría duplicados en la columna A y si lo desea, también puede tener un nuevo índice agradable y limpio como ese:

df.sort_values('B', ascending=False).drop_duplicates('A').sort_index().reset_index(drop=True)

Aquí hay una variación que tuve que resolver que vale la pena compartir: para cada cadena única en la columnAque quería encontrar la cadena asociada más común columnB.

df.groupby('columnA').agg({'columnB': lambda x: x.mode().any()}).reset_index()

La .any()recoge uno si hay un empate para el modo. (Tenga en cuenta que el uso .any()en una serie de ints devuelve un valor booleano en lugar de elegir uno de ellos).

Para la pregunta original, el enfoque correspondiente se simplifica a

df.groupby('columnA').columnB.agg('max').reset_index().

Cuando las publicaciones ya respondieron la pregunta, hice un pequeño cambio agregando el nombre de la columna en la que se aplica la función max () para una mejor legibilidad del código.

df.groupby('A', as_index=False)['B'].max()

La forma más fácil de hacer esto:

# First you need to sort this DF as Column A as ascending and column B as descending 
# Then you can drop the duplicate values in A column 
# Optional - you can reset the index and get the nice data frame again
# I'm going to show you all in one step. 

d = {'A': [1,1,2,3,1,2,3,1], 'B': [30, 40,50,42,38,30,25,32]}
df = pd.DataFrame(data=d)
df

    A   B
0   1   30
1   1   40
2   2   50
3   3   42
4   1   38
5   2   30
6   3   25
7   1   32


df = df.sort_values(['A','B'], ascending =[True,False]).drop_duplicates(['A']).reset_index(drop=True)

df

    A   B
0   1   40
1   2   50
2   3   42

esto también funciona:

a=pd.DataFrame({'A':a.groupby('A')['B'].max().index,'B':a.groupby('A')       ['B'].max().values})

No voy a darle la respuesta completa (no creo que esté buscando el análisis y la escritura en la parte del archivo de todos modos), pero una sugerencia fundamental debería ser suficiente: use la set()función de Python y luego sorted()o .sort()junto con .reverse():

>>> a=sorted(set([10,60,30,10,50,20,60,50,60,10,30]))
>>> a
[10, 20, 30, 50, 60]
>>> a.reverse()
>>> a
[60, 50, 30, 20, 10]