J'ai mis à jour mon compte pour blaze, ce qui est l'une des conditions préalables. J'ai essayé de suivre la FAQ Associer BigQuery à Firebase. toujours pas en mesure de voir les données de firestore ou de firebase-realtimeDatabase dans bigQuery.

Je vois une option dans bigQuery pour créer un ensemble de données. cependant, après avoir créé l'ensemble de données, il me permet de télécharger des données à partir de [fichier], [stockage dans le cloud], [bigQuery], [google Drive]. mais pas la base de données Firestore.

Veuillez aider.

7
Prashant t 16 nov. 2017 à 17:26

6 réponses

Meilleure réponse

Il n'y a pas de prise en charge intégrée pour importer des données de Firebase Realtime Database ou de Cloud Firestore dans BigQuery.

Pour l'instant, si vous souhaitez importer des données, vous devrez écrire du code pour le faire.

3
Frank van Puffelen 16 nov. 2017 à 15:03

Vous devez utiliser l'extension d'exportation BigQuery intégrée à Firebase

enter image description here

Voir les détails: https://firebase.google.com/products/extensions/firestore -bigquery-export

Désormais, cette extension importera dans votre table BigQuery les nouveaux documents créés / mis à jour / supprimés dans une collection. Vos anciennes données actuelles avant l'ajout de la nouvelle ne seront pas placées dans cette table.

Pour importer toutes les données précédentes, vous devrez d'abord installer l'extension car toutes les écritures lors de l'exportation sans installer l'extension seront perdues.

Après avoir installé l'extension, utilisez simplement gcloud pour exporter tout le jeu de données actuel

https://github.com/firebase/extensions/blob/master/firestore-bigquery-export/guides/IMPORT_EXISTING_DOCUMENTS.md

0
Gastón Saillén 29 mai 2020 à 00:49

Il existe désormais une extension qui le fait https://github.com / firebase / extensions / tree / master / firestore-bigquery-export

0
almeynman 26 avril 2020 à 17:04

J'ai créé un package NPM qui vous permet de créer un ensemble de données et des tables BigQuery avec des schémas générés automatiquement en fonction de vos données Firestore, puis de copier et de convertir les collections Firestore choisies.

https://www.npmjs.com/package/firestore-to-bigquery-export

1
Johannes B 18 févr. 2019 à 12:15

Au cas où quelqu'un en aurait besoin. J'ai fini par automatiser les scripts car l'option actuelle d'exportation des données ne permet que les données de flux et de les conserver pendant 30 jours.

Exporter des données

gcloud beta firestore export --collection-ids=users gs://mybucket/users

Charger la sauvegarde dans bq

bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata
4
hlagos 15 févr. 2019 à 02:15

Firestore permet désormais d'importer / exporter des données. Les données sont exportées vers un bucket Cloud Storage et à partir de là, elles peuvent être importées dans Big Query. Voici quelques liens qui pourraient être utiles:

** Éditer: Les documents pour les importations BigQuery depuis Firestore sont désormais disponibles https://cloud.google. com / bigquery / docs / loading-data-cloud-firestore

19
David Aroesti 27 août 2018 à 22:17
47332164