Je dois des dataframes et j'utilise des pandas. Je veux faire une somme cumulative à partir d'une date variable et par la valeur dans une colonne

Je veux ajouter une deuxième colonne à df2 qui montre la date pour connaître le jour où la somme de la colonne AVG est supérieure à 100 après date2 dans df2.

Par exemple, avec df1 et df2 étant la trame de données avec laquelle je commence et df3 ce que je veux et df3 ['date100'] est le jour où la somme de moy est supérieure à 100:

df1 = pd.DataFrame({'date1': ['1/1/2014', '2/1/2014', '3/1/2014','1/1/2014', '2/1/2014', '3/1/2014','1/1/2014', '2/1/2014', '3/1/2014'],
 'Place':['A','A','A','B','B','B','C','C','C'],'AVG': [62,14,47,25,74,60,78,27,41]})

df2 = pd.DataFrame({'date2': ['1/1/2014', '2/1/2014'], 'Place':['A','C'])})

*Something*
df3 = pd.DataFrame({'date2': ['1/1/2014', '2/1/2014'], 'Place':['A','C'], 'date100': ['3/1/2014', '2/1/2014'], 'sum': [123, 105]})

J'ai trouvé quelques réponses mais la plupart utilisent groupby et df2 n'a pas de groupes.

1
yy zzz 13 mars 2019 à 18:46

2 réponses

Meilleure réponse

Puisque votre exemple est très basique, si vous avez des cas marginaux dont vous voulez que je m'occupe, demandez simplement. Cette solution implique que:

La solution :

#   For this solution your DataFrame needs to be sorted by date.
limit = 100
df = pd.DataFrame({
    'date1': ['1/1/2014', '2/1/2014', '3/1/2014','1/1/2014',
              '2/1/2014', '3/1/2014','1/1/2014', '2/1/2014', '3/1/2014'], 
    'Place':['A','A','A','B','B','B','C','C','C'],
    'AVG': [62,14,47,25,74,60,78,27,41]})

df2 = pd.DataFrame({'date2': ['1/1/2014', '2/1/2014'], 'Place':['A','C']})

result = []
for row in df2.to_dict('records'):
    #   For each date, I want to select the date that comes AFTER this one.
    #   Then, I take the .cumsum(), because it's the agg you wish to do.
    #   Filter by your limit and take the first occurrence.
    #   Converting this to a dict, appending it to a list, makes it easy
    #   to rebuild a DataFrame later.
    ndf = df.loc[ (df['date1'] >= row['date2']) & (df['Place'] == row['Place']) ]\
            .sort_values(by='date1')
    ndf['avgsum'] = ndf['AVG'].cumsum()
    final_df = ndf.loc[ ndf['avgsum'] >= limit ]

    #   Error handling, in case there is not avgsum above the threshold.
    try:
        final_df = final_df.iloc[0][['date1', 'avgsum']].rename({'date1' : 'date100'})
        result.append( final_df.to_dict() )
    except IndexError:
        continue

df3 = pd.DataFrame(result)

final_df = pd.concat([df2, df3], axis=1, sort=False)
print(final_df)
#       date2 Place  avgsum   date100
# 0  1/1/2014     A   123.0  3/1/2014
# 1  2/1/2014     C     NaN       NaN
0
IMCoins 15 mars 2019 à 08:42

Voici une solution directe, avec les hypothèses suivantes:

  • df1 est trié par date
  • une solution existe pour chaque date dans df2

Vous pouvez alors faire:

df2 = df2.join(pd.concat([
        pd.DataFrame(pd.DataFrame(df1.loc[df1.date1 >= d].AVG.cumsum()).query('AVG>=100')
                .iloc[0]).transpose()
        for d in df2.date2]).rename_axis('ix').reset_index())\
    .join(df1.drop(columns='AVG'), on='ix').rename(columns={'AVG': 'sum', 'date1': 'date100'})\
    .drop(columns='ix')[['date2', 'date100', 'sum']]

Cela fait ce qui suit:

  • pour chaque date dans df2 recherchez la première date à laquelle le cumul sur AVG sera d'au moins 100
  • combiner les résultats dans une seule trame de données indexée par l'index de cette ligne dans df1
  • stocker cet index dans une colonne ix et réinitialiser l'index pour joindre cette trame de données à df2
  • joindre cela à df1 moins la colonne AVG en utilisant la colonne ix
  • renommer les colonnes, supprimer la colonne ix et tout réorganiser
0
Serge Ballesta 13 mars 2019 à 17:02