Amazon S3 (service de stockage simple) est un service de stockage d'objets en ligne d'Amazon Web Services. LES QUESTIONS DOIVENT ETRE CONCERNANT LA PROGRAMMATION. Les questions sur le support général S3, la fonctionnalité, la configuration, etc. sont HORS-SUJET.

Plus à propos amazon-s3...

TJe souhaite envoyer un journal Cloudtrail (en particulier lorsqu'une clé de gestionnaire de secrets tourne) vers un compartiment S3. Nous avons déjà les journaux dans Cloudtrail, existe-t-il un moyen simple de configurer Cloudtrail pour envoyer ces journaux à S3 dès que cela se produit? Je pensais ....
J'ai un dossier (chemin = mnt / data / *. Json) dans s3 avec des millions de fichiers json (chaque fichier fait moins de 10 Ko). J'exécute le code suivant: df = (spark.read .option("multiline", True) .option("inferSchema", False) .json(path)) display(df) Le problème....
J'ai un gros fichier s3://my-bucket/in.tsv.gz que je voudrais charger et traiter, réécrire sa version traitée dans un fichier de sortie s3 s3://my-bucket/out.tsv.gz. Comment rationaliser le in.tsv.gz directement à partir de s3 sans charger tout le fichier en mémoire (il ne peut pas rentrer dans la m....
30 nov. 2020 à 06:54
Actuellement, dans l'environnement que je construis, un fichier est soumis à un compartiment S3 à partir d'un formulaire Web en tant que fichier JSON. Lorsque ce fichier arrive dans le compartiment S3, il déclenche AWS Lambda pour activer une instance EC2. Cet EC2 doit télécharger ce fichier dans le....
J'ai une configuration aws qui m'oblige à assumer le rôle et à obtenir les informations d'identification correspondantes afin d'écrire dans s3. Par exemple, pour écrire avec aws cli, je dois utiliser l'indicateur --profile readwrite. Si j'écris moi-même du code avec boot, j'assumerai le rôle via sts....
24 nov. 2020 à 03:56
J'essaie de mettre à jour les métadonnées existantes de mon objet S3 mais malgré la mise à jour, il crée le nouveau. Selon la documentation, il montre la même manière mais je ne sais pas pourquoi il n'est pas en mesure de le mettre à jour. k = s3.head_object(Bucket='test-bucket', Key='test.json') ....
23 nov. 2020 à 15:02
J'exécute un script python planifié sur une instance EC2 qui crée et exporte un fichier JSON vers mon compartiment S3 pour un backend. Je frappe un mur de briques en essayant de télécharger le fichier JSON pour une utilisation dans une application Android. La documentation du SDK mobile AWS suggère ....
J'ai un problème, j'utilise aws-sdk sur le navigateur pour télécharger des vidéos de mon application Web vers Amazon S3, cela fonctionne très bien avec les fichiers les plus courts (moins de 100 Mo) mais avec des fichiers volumineux (500 Mo par exemple) amazon réessaye le téléchargement . Par exempl....
J'utilise multer pour télécharger des médias dans mon compartiment s3. J'utilise multer-s3 comme middleware pour télécharger des médias tels que: const upload = multer({ storage: multerS3({ s3: s3, bucket: myBucket, key: function (req, file, cb) { cb(null, new Date().getTime() + ....
18 nov. 2020 à 23:36
Je télécharge de nombreux petits fichiers sur S3 en utilisant Rails et Carrierwave dans un travail en arrière-plan, et j'atteins les limites de débit S3. Ma pensée immédiate est de mettre un sleep 0.1 avant chaque téléchargement, mais cela ne semble pas être une excellente solution. Des suggestions ....
18 nov. 2020 à 11:01
Je télécharge près de 7 To de fichiers et de dossiers de mon serveur distant vers le compartiment s3, mais je ne vois aucun fichier sur le compartiment s3. seuls quelques fichiers que je peux voir sur s3 qui ont été copiés avec succès. J'ai un serveur ec2 sur lequel j'ai monté un seau s3 en utilisan....
J'essaye de télécharger un fichier "csv" en utilisant S3 avec Python mais il renvoie une erreur concernant la ligne s3.download_file(bucket, origin, path): TypeError: expected string or bytes-like object Est-ce que quelqu'un sait pourquoi cela se produit? from boto3.session import Session import bo....
28 oct. 2020 à 00:19
Je souhaite extraire le nom du compartiment des URL AWS s3. Les URL peuvent être dans de nombreux formats. Voici la liste des expressions régulières pour les URL s3 prises en charge: [a-z0-9.-]+\.s3\.amazonaws\.com [a-z0-9.-]+\.s3-[a-z0-9-]+\.amazonaws\.com [a-z0-9.-]+\.s3\.[a-z0-9-]+\.amazonaws\.c....
27 oct. 2020 à 18:15
J'ai un seau privé dans S3. Je suis capable de télécharger des fichiers dans S3, mais lorsque je veux afficher / télécharger un fichier, j'obtiens un "Accès refusé". À l'heure actuelle, je n'ai aucun moyen d'utiliser une URL signée. Je souhaite autoriser le téléchargement de mon fichier en fonction ....
27 oct. 2020 à 14:01
J'ai deux sources différentes dans mon CodePipeline, ECR et S3. Mon pipeline de déploiement télécharge un zip sur S3, puis une image sur ECR. J'ai besoin de CodePipeline pour détecter uniquement la validation ECR, qui se produit en dernier, puis déclencher l'action source S3. Cependant, celui qui ....
J'appelle une fonction Lambda pour envoyer un fichier .csv depuis un e-mail vers un bucket s3 de destination que je spécifie dans ladite fonction. L'appel est déclenché par Event type: ObjectCreatedByPut lorsque l'e-mail est reçu par le bucket s3 entrant. Je vois dans les journaux CloudWatch que la....
Nouveau sur Terraform. Essayer d'appliquer une règle de cycle de vie à un bucket s3 existant déclaré comme source de données, mais je suppose que je ne peux pas le faire avec une source de données - génère une erreur. Voici l'essentiel de ce que j'essaye d'accomplir : data "aws_s3_bucket" "test-b....
Alors, voici mon problème de base. J'ai un formulaire dans mon frontend qui publie un fichier sur mon backend Django. Django transmettra ensuite ce fichier à AWS S3 pour le stockage. Je dois vérifier que le fichier est un PDF ou un DOC avant de le télécharger sur S3. J'ai pensé à vérifier son ty....
J'ai une ressource S3 sur laquelle je mets et supprime des objets. Ces opérations sont des opérations côté client, ce qui signifie qu'aucune fonction lambda n'est impliquée dans ces actions. Le backend a été créé en utilisant sans serveur. Voici la ressource S3 sous la clé de ressource dans server....
Dans terraform, essayer le compartiment S3 comme déclencheur de mon lambda et donner les autorisations. Pour ce cas d'utilisation, créer une ressource S3 et essayer de faire référence à cette fonction lambda dans la logique de déclenchement. Mais lorsque je fais référence, le code échoue avec l'er....
21 oct. 2020 à 01:29
J'ai un lien http de téléchargement de stockage cloud google et je souhaite télécharger directement le fichier dans l'instance AWS ou le bucket s3. J'ai essayé gsutil cp ou rsync, mais ils ne prennent pas en charge l'envoi d'informations d'identification en tant que paramètres. Voici le lien. htt....
Je ne parviens pas à amener Loki à se connecter à AWS S3 à l'aide de docker-compose. Les journaux sont visibles dans Grafana mais le compartiment S3 reste vide. Le bucket s3 est public et j'ai un rôle IAM associé pour autoriser s3:FullAccess. J'ai mis à jour loki vers la v2.0.0 et changé la période ....
19 oct. 2020 à 20:44
J'apprends les architectures sans serveur et je lis actuellement cet article sur le blog de Martin Fowler. Je vois donc ce schéma et j'essaie de remplacer les composants abstraits par des solutions AWS. Je me demande si ne pas utiliser la passerelle API pour contrôler l'accès à S3 est une bonne idé....
18 oct. 2020 à 02:11
J'ai créé une étape liée s3 sur snowflake appelée csv_stage avec mes informations d'identification aws, et la création a réussi. Maintenant j'essaye d'interroger la scène comme ci-dessous select t.$1, t.$2 from @sandbox_ra.public.csv_stage/my_file.csv t Cependant, l'erreur que j'obtiens est Failure....
25 sept. 2020 à 07:49
Condition: obtenir le nombre exact de lignes dans le fichier, y compris NULL Problème: le nombre ignore le nombre nul Attente: comment obtenir un nombre de lignes comprenant des valeurs nulles SELECT count($1) FROM @public.bckt/east/ (file_format=> csv,pattern=>'.*/2020/08/23/abc.csv'); Ici, l....
25 août 2020 à 02:16