multiprocessing est un package qui prend en charge les processus de génération à l'aide d'une API similaire au module de threading en langage de programmation python.

python-multiprocessing...

Je m'attendais à ce que si j'appelais apply_async dans une méthode d'instance et obtenais son résultat, toutes les modifications apportées resteraient une partie des processus fourchus. Cependant, il semble que chaque nouvel appel à apply_async crée une nouvelle copie de ladite instance. Prenez le c....
13 mai 2020 à 15:57
J'ai créé un script simple qui itère à travers une liste de serveurs dont j'ai besoin à la fois pour ping et nslookup. Le problème est que le ping peut prendre un certain temps, en particulier le ping sur plus de serveurs que de secondes en une journée. Je suis assez nouveau dans la programmation et....
L'exécution de fonctions parallèles suivante fonctionne parfaitement: depuis le pool d'importation multiprocesseur depuis la plage d'importation aléatoire def triple(number): return number * 3 if __name__ == '__main__': numbers = [5, 10, 20] pool = Pool(processes=3) print(pool.map(t....
11 janv. 2020 à 19:49
J'essaie d'utiliser la fonction lambda pour plusieurs arguments en multi-processus. Cependant, cela ne fonctionne pas correctement. Il n'y a pas d'erreur d'exécution mais le CPU ne fonctionne pas sur python selon le moniteur d'activité. Cependant, la fonction repeat fonctionne normalement. Mon code ....
21 déc. 2019 à 11:24
J'ai le code suivant class calculator: def __init__(self, value): print("hi") result = self.do_stuff() print(result) if __name__ == '__main__': calculator(20) # I want to do this 4 times in parallel J'ai une classe qui calcule des trucs. J'ai 4 processeurs. Je veux donc inst....
Je lance un backtest pour une stratégie de trading, définie comme une classe. J'essaie de sélectionner la meilleure combinaison de paramètres à saisir dans le modèle, donc j'exécute plusieurs backtests sur une période donnée, en essayant différentes combinaisons. L'idée est de pouvoir sélectionner l....
J'essaie d'implémenter un script python qui lit le contenu d'un fichier pdf et déplace ce fichier dans un répertoire spécifique. Sur ma machine Debian, cela fonctionne sans aucun problème. Mais sur mon système Xubuntu, j'obtiens l'erreur suivante: Traceback (most recent call last): File "/usr/lib/py....
Je connais multiprocessing.Pipe, mais je cherche quelque chose qui puisse faire une copie des données d'entrée et l'envoyer à plusieurs consommateurs de sortie. Je comprends que les files d'attente prennent en charge plusieurs consommateurs, mais dans ce cas, chaque message d'entrée ne sera envoyé q....
J'essaie d'aider quelqu'un avec quelque chose. Je ne suis en aucun cas un programmeur expert mais ce que j'essaie de faire est de calculer une valeur à partir d'un CSV en fonction de l'année et de l'ID d'un autre CSV. Le programme fonctionne comme je le souhaitais si je mets statiquement un plus pet....
10 déc. 2019 à 12:36
J'essaie d'envelopper une bibliothèque C minimale, composée d'un fichier "locks.h" contenant #ifndef LOCKS_H #define LOCKS_H void f(void); #endif et "locks.c" contenant #include <stdio.h> void f(void) { #pragma omp parallel { fprintf(stderr, "Hello World!\n"); } return; } avec swig, en....
9 déc. 2019 à 18:28
J'essaie de comprendre le module de multi-traitement de Python en utilisant l'exemple donné ci-dessous, mais je n'ai jamais réussi jusqu'à présent. J'exécute le code dans Spyder et il se bloque toujours là sans sortie dans la console. J'ai appris dans un article que le module de multitraitement ne f....
Je suis assez nouveau sur Python mais j'essaie d'apprendre à utiliser le multi-traitement. J'ai une méthode pour chronométrer l'exécution de la méthode, mais pour une raison quelconque, l'objet de liste n'est pas modifié. Voir le code ci-dessous, qu'est-ce qui me manque? def timeMethod(methodToTime,....
6 déc. 2019 à 20:47
J'ai écrit un code pour extraire les données d'un format de fichier particulier et les exporter vers un fichier * .csv. Je fais cela en boucle pour plusieurs fichiers du même format. De cette façon, je n'utilise qu'un seul cœur de mon ordinateur (chargement <15%) et de cette façon, il faut beaucoup ....
Python 3.8 introduit de nouvelles fonctionnalités de mémoire partagée. Nous essayons d'utiliser le SharedMemoryManager et un NameError est lancé. Je pensais que nous pourrions faire quelque chose de mal dans notre scénario complexe, alors je l'ai décomposé en utilisant des extraits de documentation ....
Remarque: Python Multiprocessing - Comment passer des kwargs pour fonctionner? ne répond pas à cette question. procs.append(Process(target=fn, args=(cmd, results), kwargs=**kwargs)) Pycharm affiche l'erreur de syntaxe expression expected à ** pour kwargs=**kwargs. Comment dois-je passer le kwargs sa....
Disons que j'ai la classe simple suivante (facilement décapée): import time from concurrent.futures import ProcessPoolExecutor class A: def long_computation(self): time.sleep(10) return 42 J'aimerais pouvoir faire ceci: a = A() with ProcessPoolExecutor(1) as executor: a.fu....
2 déc. 2019 à 17:30
Exemple: J'ai installé un capteur dans la voiture, qui envoie les données en continu, maintenant, je dois traiter (fusionner) les données continues provenant du capteur mais en même temps, le processus terminera son exécution, les données viendront aussi , comment stocker les données qui arrivent al....
J'ai créé une interface graphique avec PyQt5, et je veux la tester via pytest. I mon interface graphique nécessite de rediriger la sortie standard, donc j'utilise un Qthread pour créer un écouteur. Cet auditeur a mis le stdout dans un Queue et a envoyé un signal exploité par l'interface graphique. J....
J'ai du mal à comprendre Pool. Je voudrais exécuter une analyse sur 12 ensembles de données indépendants à la fois. Les analyses individuelles ne dépendent pas les unes des autres, ne partagent pas de données, donc je m'attends à une augmentation de vitesse proche de 12x si je peux les exécuter en p....
28 nov. 2019 à 10:00
J'essaie de former le modèle word2vec à partir de données texte Wikipedia, pour cela j'utilise le code suivant. import logging import os.path import sys import multiprocessing from gensim.corpora import WikiCorpus from gensim.models import Word2Vec from gensim.models.word2vec import LineSentence ....
J'ai une fonction python qui appelle dans une bibliothèque C que je ne peux pas contrôler ou mettre à jour. Malheureusement, il y a un bogue intermittent avec la bibliothèque C et parfois il se bloque. Pour protéger mon application contre le blocage, j'essaie d'isoler l'appel de fonction dans Thread....
Supposons que j'ai le code suivant: from scipy import * import multiprocessing as mp num_cores = mp.cpu_count() from joblib import Parallel, delayed import matplotlib.pyplot as plt def func(x,y): return y/x def main(y, xmin,xmax, dx): x = arange(xmin,xmax,dx) output = Parallel(n_jobs=nu....
J'ai du code python qui utilise Process: def RunCode(jobs): jobs.remove(multiprocessing.current_process().name) print("Name: {}".format(multiprocessing.current_process().name)) print("len: {}".format(len(jobs))) def randomString(stringLength=10): """Generate a random string of fixed....
20 nov. 2019 à 18:18
Je suis complètement nouveau dans le multiprocessing python et un peu dépassé par la grande quantité de ressources en ligne, donc je veux un peu une approche plus claire d'ici. Mon code ressemble à ceci: les deux fonctions, avant et arrière sont très coûteuses en calcul. Sur mon jeu de données d'ent....
Actuellement, j'ai une boucle for imbriquée qui modifie une liste. J'essaie de créer la même sortie tout en utilisant le multitraitement. Mon code actuel est, for test in test_data: output.append([((ngram[-1], ngram[:-1],model.score(ngram[-1], ngram[:-1])) for ngram in test]) Où test_data ....
19 nov. 2019 à 03:25