• BigQuery
• Firebase
• Firestore

こんにちは Development Team の滝波です。

今回はFirestoreのデータをBigQueryと同期したい場合の選択肢とその方法をそれぞれ紹介していきたいと思います。

はじめに

AI SHIFTでは会話やカスタマーの情報をCSVなどでエクスポートするためにBigQueryを利用していますが、その情報の元になるいわゆる「元データ」はFirestoreに格納されているため、FirestoreとBigQueryは常にリアルタイムで同期している必要があります。同期する方法としていくつかあると思いますが、今回AI SHIFTの選択肢として下記の2つが上がりました。

選択肢

1. 自前でCloudFunctionを作成
2. Firebase Extensionsを使用

自前でCloudFunctionを作成する場合

Pros
・柔軟にロジックを書くことができるため、BigQueryへの登録する値やフォーマットの自由度が高い
・トリガーにcreate・update・delete と複数のユースケースに対応している

Cons
・実装が必要になるので、それなりの工数がかかってしまう
・CloudFunctionの運用コストがかかってしまう

Firebase Extensionを使用する場合

Pros
・Firebaseのコンソールから設定するだけで完結してしまう

Cons
・個別の実装ができないので、ロジックの自由度が無い
・データの登録フォーマットが決まっていて、変更できない

選定

AI SHIFT ではデータがBigQueryに入ってしまえば、あとはクエリ操作で自由にデータが加工できることからも、実装や運用コストの少ないFirebase Extensionsを使用する方針でデータの同期を行うことにしました。

手順

Firebase Extensionsのページ からBigQueryのExtensionsをInstall

InstallするGCPのプロジェクトを指定後、同期するBigQueryのリージョンやDataset、対象になるFirestoreのコレクションを指定して完了になります。

Installが完了すると、FirebaseのExtensionsのページに作成されたものが表示されます。

まとめ

いかがだったでしょうか、実装や運用もない状態で（verのアップデートは必要）、Firebaseのコンソールから数ステップでFirestoreとBigQueryが同期できるようになりました。

ただ、上記操作をするAPIなどがまだ提供されていないようなので、そこは今後のアップデートに期待したいところです。

Share on

CATEGORY

• Research
• Development

PICK UP

TAG

• A/Bテスト（1）
• Advent Calendar（21）
• Advent Calendar 2021（17）
• Advent Calendar 2023（25）
• Advent Calendar 2024（13）
• adversarial training（1）
• AI（5）
• AI Agent（3）
• Anthropic（1）
• API（1）
• API Gateway（1）
• architecture（3）
• Argo Workflows（2）
• ArgoCD（1）
• Audio（1）
• Azure（1）
• BigQuery（3）
• Bigtable（1）
• Bun（2）
• CA BASE NEXT（1）
• causal inference（1）
• Chart（1）
• ChatGPT（3）
• Chrome（1）
• CI/CD（1）
• Cloud Endpoints（1）
• Cloud Run（1）
• Container Apps（1）
• Data Visualization（6）
• Deep Learning（27）
• Deno（1）
• DialogFlow（4）
• Elasticsearch（2）
• Elixir（1）
• EM（1）
• FAQ検索（5）
• fastapi（1）
• few-shot learning（1）
• Firebase（2）
• Firestore（3）
• Frontend（7）
• GAS（1）
• GCP（8）
• Gemini（1）
• GitHub Actions（2）
• GKE（4）
• Golang（4）
• Google Colab（1）
• gRPC（2）
• HLS（1）
• Hono（1）
• huggingface（1）
• JavaScript（2）
• JavaScript Core（1）
• JIT（1）
• Kaggle（20）
• LightGBM（1）
• LLM（21）
• LocalFirst（1）
• machine learning（1）
• MCP（2）
• MLOps（3）
• Monitoring（1）
• Next.js（1）
• Node（1）
• OpenAI（4）
• ORM（1）
• PdM（2）
• Phoenix（1）
• PMM（1）
• Product（1）
• profiler（1）
• Prometheus（1）
• Prompt-tuning（1）
• Pydantic（1）
• Pydantic AI（1）
• python（10）
• RAG（4）
• React（4）
• React.js（1）
• Research（2）
• RLHF（2）
• RPA（1）
• Server component（1）
• SIP（1）
• SQL（2）
• SQLBoiler（1）
• Tableau（11）
• Terraform Cloud（1）
• TPU（1）
• Transformer（14）
• treatment assignment（1）
• treatment effect estimation（1）
• TypeScript（2）
• V8（1）
• voicebot（1）
• WebKit（1）
• WebSocket（1）
• WebWorker（1）
• XGBoost（1）
• Zig（1）
• インターン（7）
• インフラ（1）
• お知らせ（1）
• コンペティション（2）
• タスク指向対話（11）
• データアナリスト（7）
• フロントエンド（1）
• ベイズ推定（2）
• ボイスボット（1）
• マルチモーダル（1）
• リスキリング（2）
• 予測モデル（1）
• 信号処理（8）
• 内定者バイト（3）
• 効果検証（1）
• 参加報告（20）
• 大規模言語モデル（1）
• 学会（1）
• 学会発表（3）
• 対話（12）
• 強化学習（7）
• 感情分類（1）
• 振り返り（1）
• 数学（2）
• 機械学習（13）
• 測度論（2）
• 生成AI（2）
• 異常検知（1）
• 発表報告（20）
• 発話区間検出（1）
• 終話判定（2）
• 統計（1）
• 自然言語処理(NLP)（100）
• 話者ダイアライゼーション（1）
• 話者交代（2）
• 論文調査（1）
• 量子化（1）
• 音声処理（20）
• 音声区間検出（4）
• 音声合成（1）
• 音声言語理解(SLU)（8）
• 音声認識（23）