Google Cloud 宣布正式推出 Bigtable 的 EXPORT DATA 功能,该功能可促进将 BigQuery 中的历史数据集成到实时应用程序中。此功能通常称为反向 ETL,解决了开发人员在尝试将 BigQuery 等数据分析平台中的数据用于实时场景时所面临的查询延迟挑战。

我发现特别有趣的是 Google Cloud 如何强调 BigQuery 和 Bigtable 之间反向 ETL 的三个关键用例:

1. **实时应用程序服务:**通过将数据从 BigQuery 导出到 Bigtable,开发人员可以构建提供更快的响应时间的应用程序,尤其是在处理极低延迟的行查找时。

2. **丰富用于 ML 的流数据:**可以将存储在 BigQuery 中的历史数据与 Bigtable 中的实时流数据相结合,从而为机器学习模型(例如推荐系统和欺诈检测)提供宝贵的上下文。

3. **回填数据草图:**Bigtable 支持数据草图,这些草图是数据聚合的紧凑摘要。通过将数据草图从 BigQuery 导出到 Bigtable,开发人员可以高效地构建依赖于大型数据集的实时指标。

本文提供了一个有关如何使用反向 ETL 创建沉浸式博物馆应用程序的实际示例。通过将数据从 BigQuery 导出到 Bigtable,该应用程序可以按需提供有关艺术品的实时信息,从而显着改善用户体验。

此外,本文还重点介绍了 Bigtable 与其他 Google Cloud 服务(例如 Dataflow 和 BigQuery Data Sketches)的集成。这种集成展示了开发人员如何使用 Google Cloud 服务构建强大且全面的数据解决方案。

总的来说,我认为 EXPORT DATA to Bigtable 功能的推出是朝着使开发人员能够构建高性能且可扩展的实时应用程序迈出的重要一步。通过弥合分析系统和运营系统之间的差距,Google Cloud 为实时数据用例开辟了新的可能性。