Correspondance conditionnelle de tableau Numpy

Question

J'ai besoin de faire correspondre deux très grands tableaux Numpy (l'un est 20000 lignes, un autre environ 100000 lignes) et j'essaie de construire un script pour le faire efficacement. La simple boucle sur les tableaux est incroyablement lente, quelqu'un peut-il suggérer une meilleure façon? Voici ce que j'essaie de faire: le tableau datesSecondDict et le tableau pwfs2Dates contiennent des valeurs datetime, je dois prendre chaque valeur datetime du tableau pwfs2Dates (plus petit tableau) et voir s'il y a un Valeur datetime comme celle-ci (plus moins 5 minutes) dans le tableau datesSecondDict (il peut y en avoir plus de 1). S'il y en a un (ou plusieurs), je remplis un nouveau tableau (de la même taille que le tableau pwfs2Dates) avec la valeur (l'une des valeurs) du tableau valsSecondDict (qui est juste le tableau avec le valeurs numériques correspondantes à datesSecondDict). Voici une solution de @unutbu et @joaquin qui a fonctionné pour moi (merci les gars!):

import time
import datetime as dt
import numpy as np

def combineArs(dict1, dict2):
   """Combine data from 2 dictionaries into a list.
   dict1 contains primary data (e.g. seeing parameter).
   The function compares each timestamp in dict1 to dict2
   to see if there is a matching timestamp record(s)
   in dict2 (plus/minus 5 minutes).
   ==If yes: a list called data gets appended with the
   corresponding parameter value from dict2.
   (Note that if there are more than 1 record matching,
   the first occuring value gets appended to the list).
   ==If no: a list called data gets appended with 0."""
   # Specify the keys to use    
   pwfs2Key = 'pwfs2:dc:seeing'
   dimmKey = 'ws:seeFwhm'

   # Create an iterator for primary dict 
   datesPrimDictIter = iter(dict1[pwfs2Key]['datetimes'])

   # Take the first timestamp value in primary dict
   nextDatePrimDict = next(datesPrimDictIter)

   # Split the second dictionary into lists
   datesSecondDict = dict2[dimmKey]['datetime']
   valsSecondDict  = dict2[dimmKey]['values']

   # Define time window
   fiveMins = dt.timedelta(minutes = 5)
   data = []
   #st = time.time()
   for i, nextDateSecondDict in enumerate(datesSecondDict):
       try:
           while nextDatePrimDict < nextDateSecondDict - fiveMins:
               # If there is no match: append zero and move on
               data.append(0)
               nextDatePrimDict = next(datesPrimDictIter)
           while nextDatePrimDict < nextDateSecondDict + fiveMins:
               # If there is a match: append the value of second dict
               data.append(valsSecondDict[i])
               nextDatePrimDict = next(datesPrimDictIter)
       except StopIteration:
           break
   data = np.array(data)   
   #st = time.time() - st    
   return data

Merci, Aina.

python arrays numpy

5

Aina 19 déc. 2011 à 21:33

Answer 1

S'appuyant sur l'idée de joaquin:

import datetime as dt
import itertools

def combineArs(dict1, dict2, delta = dt.timedelta(minutes = 5)):
    marks = dict1['datetime']
    values = dict1['values']
    pdates = iter(dict2['datetime'])

    data = []
    datei = next(pdates)
    for datej, val in itertools.izip(marks, values):
        try:
            while datei < datej - delta:
                data.append(0)
                datei = next(pdates)
            while datei < datej + delta:
                data.append(val)
                datei = next(pdates)
        except StopIteration:
            break
    return data

dict1 = { 'ws:seeFwhm':
          {'datetime': [dt.datetime(2011, 12, 19, 12, 0, 0),
                        dt.datetime(2011, 12, 19, 12, 1, 0),
                        dt.datetime(2011, 12, 19, 12, 20, 0),
                        dt.datetime(2011, 12, 19, 12, 22, 0),
                        dt.datetime(2011, 12, 19, 12, 40, 0), ],
           'values': [1, 2, 3, 4, 5] } }
dict2 = { 'pwfs2:dc:seeing':
          {'datetime': [dt.datetime(2011, 12, 19, 12, 9),
                         dt.datetime(2011, 12, 19, 12, 19),
                         dt.datetime(2011, 12, 19, 12, 29),
                         dt.datetime(2011, 12, 19, 12, 39),
                        ], } }

if __name__ == '__main__':
    dimmKey = 'ws:seeFwhm'
    pwfs2Key = 'pwfs2:dc:seeing'    
    print(combineArs(dict1[dimmKey], dict2[pwfs2Key]))

Les rendements

[0, 3, 0, 5]

4

16 revs, 2 users 95% 23 mai 2017 à 12:20

Answer 2

Je pense que vous pouvez le faire avec une boucle de moins:

import datetime
import numpy

# Test data

# Create an array of dates spaced at 1 minute intervals
m = range(1, 21)
n = datetime.datetime.now()
a = numpy.array([n + datetime.timedelta(minutes=i) for i in m])

# A smaller array with three of those dates
m = [5, 10, 15]
b = numpy.array([n + datetime.timedelta(minutes=i) for i in m])

# End of test data

def date_range(date_array, single_date, delta):
    plus = single_date + datetime.timedelta(minutes=delta)
    minus = single_date - datetime.timedelta(minutes=delta)
    return date_array[(date_array < plus) * (date_array > minus)]

dates = []
for i in b:
    dates.append(date_range(a, i, 5))

all_matches = numpy.unique(numpy.array(dates).flatten())

Il y a sûrement un meilleur moyen de rassembler et de fusionner les correspondances, mais vous avez l'idée ... Vous pouvez également utiliser numpy.argwhere((a < plus) * (a > minus)) pour renvoyer l'index au lieu de la date et utiliser l'index pour saisir la ligne entière et la placer dans votre nouveau tableau.

0

Benjamin 19 déc. 2011 à 19:00

Correspondance conditionnelle de tableau Numpy

2 réponses

Questions connexes

De nouvelles questions

python