ce code fonctionne parfaitement le seul problème qu'il ne fonctionne pas avec les gros fichiers texte. Fichier texte de 1 Go. Que puis-je faire pour corriger?

import os

file_1 = open('file1.txt', 'r', encoding='utf8').read().splitlines()
file_2 = open('file2.txt', 'r', encoding='utf8').read().splitlines()
[file_2.remove(l) for l in file_1 if l in file_2]
with open('file2.txt', 'w') as new_file:
    [new_file.write(l + '\n') for l in file_2]
python python-3.x
0
Stew 3 nov. 2019 à 14:24

1 réponse

Meilleure réponse

Vous devez lire les fichiers sans enregistrer le contenu en mémoire. Vous pouvez le faire en utilisant with sur les fichiers d'entrée

with open(r'C:\Users\Guy.SA\Desktop\fileB.txt', 'r') as file_2, open(r'C:\Users\Guy.SA\Desktop\fileC.txt', 'w') as new_file:
    for line_2 in file_2:
        with open(r'C:\Users\Guy.SA\Desktop\fileA.txt', 'r') as file_1:
            for line_1 in file_1:
                if line_1 == line_2:
                    break
            else:
                new_file.write(line_2)
1
Guy 3 nov. 2019 à 12:22

Questions connexes

10 Appel d'une commande externe à partir de Python

De nouvelles questions

4 Pourquoi affiche-t-il une erreur d'index de liste?
4 Comment mapper plusieurs fonctions sur une liste?
5 Comment puis-je remplacer la première occurrence d'un caractère dans chaque mot?
5 Lorsqu'une instruction renvoie une valeur booléenne, comment utiliser cette valeur dans une instruction if
5 Trier une liste par présence d'éléments dans une autre liste
3 Comment modifier un modèle qui a déjà migré dans la base de données?
1 récursion python ajoutée à la liste
0 pandas - Fractionnement des plages de dates sur une limite de jour spécifique
1 Que signifient les points d'exclamation dans la représentation d'un objet
0 Équivalent Python de Java Exception avec cause
Toutes les questions sur python >

Tags associés

python-3.x × 16523
pandas × 14621
list × 8580
regex × 8463
string × 7452
dataframe × 6377
numpy × 5470
django × 5446
dictionary × 4840
python-2.7 × 3369