J'ai mis à jour mon compte pour blaze, ce qui est l'une des conditions préalables. J'ai essayé de suivre la FAQ Associer BigQuery à Firebase. toujours pas en mesure de voir les données de firestore ou de firebase-realtimeDatabase dans bigQuery.
Je vois une option dans bigQuery pour créer un ensemble de données. cependant, après avoir créé l'ensemble de données, il me permet de télécharger des données à partir de [fichier], [stockage dans le cloud], [bigQuery], [google Drive]. mais pas la base de données Firestore.
Veuillez aider.
6 réponses
Il n'y a pas de prise en charge intégrée pour importer des données de Firebase Realtime Database ou de Cloud Firestore dans BigQuery.
Pour l'instant, si vous souhaitez importer des données, vous devrez écrire du code pour le faire.
Vous devez utiliser l'extension d'exportation BigQuery intégrée à Firebase
Voir les détails: https://firebase.google.com/products/extensions/firestore -bigquery-export
Désormais, cette extension importera dans votre table BigQuery les nouveaux documents créés / mis à jour / supprimés dans une collection. Vos anciennes données actuelles avant l'ajout de la nouvelle ne seront pas placées dans cette table.
Pour importer toutes les données précédentes, vous devrez d'abord installer l'extension car toutes les écritures lors de l'exportation sans installer l'extension seront perdues.
Après avoir installé l'extension, utilisez simplement gcloud pour exporter tout le jeu de données actuel
Il existe désormais une extension qui le fait https://github.com / firebase / extensions / tree / master / firestore-bigquery-export
J'ai créé un package NPM qui vous permet de créer un ensemble de données et des tables BigQuery avec des schémas générés automatiquement en fonction de vos données Firestore, puis de copier et de convertir les collections Firestore choisies.
https://www.npmjs.com/package/firestore-to-bigquery-export
Au cas où quelqu'un en aurait besoin. J'ai fini par automatiser les scripts car l'option actuelle d'exportation des données ne permet que les données de flux et de les conserver pendant 30 jours.
Exporter des données
gcloud beta firestore export --collection-ids=users gs://mybucket/users
Charger la sauvegarde dans bq
bq load --source_format=DATASTORE_BACKUP mydataset.users gs://gs://mybucket/users/all_namespaces/kind_users/all_namespaces_kind_users.export_metadata
Firestore permet désormais d'importer / exporter des données. Les données sont exportées vers un bucket Cloud Storage et à partir de là, elles peuvent être importées dans Big Query. Voici quelques liens qui pourraient être utiles:
- https://firebase.google.com/docs/firestore/manage-data/export-import
- https://cloud.google.com/bigquery/docs/loading-data -cloud-datastore (Firestore utilise le même format que Datastore pour les importations / exportations)
** Éditer: Les documents pour les importations BigQuery depuis Firestore sont désormais disponibles https://cloud.google. com / bigquery / docs / loading-data-cloud-firestore