J'ai un ensemble de données avec 2 colonnes qui ressemblent à:
|group| |sequence|
A BX
A X
B SFS
B BCX
B BSS*B1S
A BBX
Je voudrais un moyen de pouvoir grouper et trouver la fréquence de chaque personnage, pour obtenir quelque chose comme ceci:
|group| |char| |freq|
A B 3
A X 3
B S 5
...
4
Justin
16 avril 2018 à 04:46
3 réponses
Meilleure réponse
Vous pouvez utiliser une solution efficace basée sur repeat suivie de groupby:
from itertools import chain
# Step 1 - flatten your dataframe
df = pd.DataFrame({
'group' : df['group'].repeat(df.sequence.str.len()),
'char' : list(chain.from_iterable(df.sequence.tolist()))
})
# Step 2 - filter out characters and groupby on `group`
df[df.char.str.isalpha()].groupby(['group', 'char']).size().reset_index(name='freq')
group char freq
0 A B 3
1 A X 3
2 B B 3
3 B C 1
4 B F 1
5 B S 5
6 B X 1
4
cs95
16 avril 2018 à 02:06
Voici quelques façons différentes de présenter vos résultats.
L'application de groupby.sum sur des chaînes les concatène, après quoi nous pouvons appliquer pd.value_counts.
df = pd.DataFrame({'group': ['A', 'A', 'B', 'B', 'B', 'A'],
'sequence': ['BX', 'X', 'SFS', 'BCX', 'BSS*B1S', 'BBX']})
res = df.groupby('group')['sequence'].sum().map(list).apply(pd.value_counts)\
.fillna(0).astype(int).reset_index()
res = res.loc[:, res.columns.str.isalpha()]
print(res)
# group B C F S X
# 0 A 3 0 0 0 3
# 1 B 3 1 1 5 1
res2 = pd.melt(res, id_vars=['group']).sort_values(['group', 'variable'])
res2 = res2[res2['value'] != 0].set_index(['group', 'variable'])
# value
# group variable
# A B 3
# X 3
# B B 3
# C 1
# F 1
# S 5
# X 1
print(res2)
Une variation plus efficace est possible avec collections.Counter:
from collections import Counter
res = df.groupby('group')['sequence'].sum().apply(Counter).apply(pd.Series)\
.fillna(0).astype(int).reset_index()
4
jpp
16 avril 2018 à 02:38
Utilisez une compréhension pour créer une liste de tuples.
c = pd.value_counts([(g, s) for g, S in df.values for s in S if s.isalpha()])
pd.DataFrame(
np.column_stack([c.index.tolist(), c.values]),
columns=df.columns.tolist() + ['freq']
)
group sequence freq
0 B S 5
1 A B 3
2 B B 3
3 A X 3
4 B F 1
5 B C 1
6 B X 1
1
piRSquared
16 avril 2018 à 05:58