Los pandas se agrupan por resultado en columnas

8

Tengo un marco de datos como este:

x = pd.DataFrame({
    'audio': ['audio1', 'audio1', 'audio2', 'audio2', 'audio3', 'audio3'],
    'text': ['text1', 'text2', 'text3', 'text4', 'text5', 'text6'],
    'login': ['operator1', 'operator2', 'operator3', 'operator4', 'operator5', 'operator6'] 
})

Estoy tratando de agregarlo así:

x1 = x.groupby('audio')['text'].agg(
    [
    ('text1', lambda x : x.iat[0]),
    ('text2', lambda x : x.iat[1]),
    ('leven', lambda x: Levenshtein.distance(x.iat[0], x.iat[1])) #some function works with grouped text
    ]
).reset_index()

y funciona, pero también necesito agregar inicios de sesión agrupados a la fila, para hacer una fila como esta:

audio, text1, text2, leven, login1, login2

Intenté algo así lambda x : x.ait[0, 1]pero no funciona

python pandas dataframe

— Contra111
fuente

¿Los datos siempre están ordenados y en pares de dos filas que pertenecen juntas?

— Darkonaut

6

Mirando su marco de datos, estoy pensando en pivotar el marco de datos, a continuación se muestra mi enfoque que utiliza groupby().cumcount()y unstackcon un formato de columna para crear un marco de datos pivotado.

Opción 1: Entonces puede utilizar df.applypara aplicar la función

m = x.assign(k=x.groupby('audio').cumcount().add(1)).set_index(['audio','k']).unstack()
m.columns=[f"{a}{b}" for a,b in m.columns]
m = m.assign(leven=m.apply(lambda x: 
              Levenshtein.distance(x['text1'],x['text2']),1)).reset_index()

    audio  text1  text2     login1     login2  leven
0  audio1  text1  text2  operator1  operator2      1
1  audio2  text3  text4  operator3  operator4      1
2  audio3  text5  text6  operator5  operator6      1

Opción 2: ( preferiría esto )

También puede usar una lista de comprensión para hacer lo mismo, simplemente reemplace la última línea con:

m = x.assign(k=x.groupby('audio').cumcount().add(1)).set_index(['audio','k']).unstack()
m.columns=[f"{a}{b}" for a,b in m.columns]
m = m.assign(leven=[Levenshtein.distance(a,b) for 
               a,b in zip(m['text1'],m['text2'])]).reset_index()

    audio  text1  text2     login1     login2  leven
0  audio1  text1  text2  operator1  operator2      1
1  audio2  text3  text4  operator3  operator4      1
2  audio3  text5  text6  operator5  operator6      1

Opción 3:

Si la ubicación de la levencolumna es importante, puede usar df.insert:

m=x.assign(k=x.groupby('audio').cumcount().add(1)).set_index(['audio','k']).unstack()
m.columns=[f"{a}{b}" for a,b in m.columns]
m.insert(2,'leven',[Levenshtein.distance(a,b) for a,b in zip(m['text1'],m['text2'])])
m=m.reset_index()

    audio  text1  text2  leven     login1     login2
0  audio1  text1  text2      1  operator1  operator2
1  audio2  text3  text4      1  operator3  operator4
2  audio3  text5  text6      1  operator5  operator6

— anky
fuente

1

bueno, es posible que desee considerar el FuzzyWuzzyuso del algoritmo de distancia de Levenshtein

— Datanovice

@Datanovice sí, sin embargo, creo que OP usa este aquí. independientemente de cualquier función debería funcionar :)

— anky

1

Responde bien, creo que deberías obtener +50;)

— jezrael

2

Es esto lo que estás buscando:

x1 = x.groupby('audio',)['login'].agg(
     [
     ('operator1', lambda x : x.iat[0]),
     ('operator2', lambda x : x.iat[1]),
     ('leven', lambda x: Levenshtein.distance(x.iat[0], x.iat[1])) #some function works with grouped text
     ]
 ).reset_index()

 x2 = x.groupby('audio',)['text'].agg(
     [
     ('text1', lambda x : x.iat[0]),
     ('text2', lambda x : x.iat[1]),
     ('leven', lambda x: Levenshtein.distance(x.iat[0], x.iat[1])) #some function works with grouped text
     ]
 ).reset_index()

x1.merge(x2)

    audio  operator1  operator2  leven  text1  text2
0  audio1  operator1  operator2      1  text1  text2
1  audio2  operator3  operator4      1  text3  text4
2  audio3  operator5  operator6      1  text5  text6

— Ryan Hunt
fuente

0

Esta solución funciona muy bien cuando tiene muchas columnas, las expande automáticamente para que no tenga que enumerarlas manualmente.

x = pd.DataFrame({
    'audio': ['audio1', 'audio1', 'audio2', 'audio2', 'audio3', 'audio3'],
    'text': ['text1', 'text2', 'text3', 'text4', 'text5', 'text6'],
    'login': ['operator1', 'operator2', 'operator3', 'operator4', 'operator5', 'operator6'] 
})


text = x.groupby(['audio']).agg(list)['text'].apply(pd.Series).rename(columns=lambda x: f'text{x+1}')

login = x.groupby(['audio']).agg(list)['login'].apply(pd.Series).rename(columns=lambda x: f'login{x+1}')

text['leven'] = df.apply(lambda x: Levenshtein.distance(x.text1, x.text2), axis=1) 

df = text.assign(**login)

        text1  text2  leven     login1     login2
audio                                            
audio1  text1  text2      1  operator1  operator2
audio2  text3  text4      1  operator3  operator4
audio3  text5  text6      1  operator5  operator6

— oppressionslayer
fuente

0

Simplemente puede modificar su aggexpresión de esta manera:

x1 = x.groupby('audio').agg({'text':[
    ('text1', lambda x : x.iat[0]),
    ('text2', lambda x : x.iat[1])
    ('leven', lambda x: Levenshtein.distance(x.iat[0], x.iat[1])) #some function works with grouped text
    ],
    'login': [
    ('login1', lambda x : x.iat[0]),
    ('login2', lambda x : x.iat[1])]
    }
).droplevel(0,axis=1).reset_index()

— Stepan
fuente