Heroku PostgreSQL 实时数据同步，包括删除/更新/插入-解网

问：

我很好奇是否有人在 Heroku-PostgreSQL 和 Snowflake 之间有很好的实时（甚至每天）同步解决方案，包括删除和更新，而不仅仅是插入。到目前为止，我还没有遇到任何好的解决方案，并且似乎无法使用预写日志在两个系统之间实现这一点。目前，我们只是在周末拆解并重新创建数据库，以反映当前的生产快照，这大约需要 22 小时，但这限制了我们的数据团队提供实时见解的能力。处理大约 100GB 的数据。任何建议将不胜感激！

考虑到我们没有很好的方法来摄取预写日志，目前我们只是将每个表的 CSV 转储到 S3 中，然后从该 S3 阶段进行后续的 COPY INTO 导入。这大约需要 22 小时。

amazon-s3 snowflake-cloud-data-platform heroku-postgres 同步数据管道

你有ETL工具供你使用吗？与 Heroku Postgres 的“追随者”只读副本结合使用通常是您实现此目的的方式。将 ETL 工具设置为从 Postgres 向 Snowflake 进行更新插入，以获得一次性初始加载，然后按照您选择的计划进行增量加载。我通常在 Azure 环境中工作，因此过去曾多次使用 Azure 数据工厂完成此类任务，但也有大量开源实用工具可以执行此操作。

0赞 esqew 10/25/2023

但是，对于这里的问答格式，您的问题有点宽泛 - 我建议查看如何提问。

0赞 Sergiu 10/26/2023

您可以联系您的 Snowflake 客户经理询问有关 PostgreSQL 连接器的信息，也许这可能是您的解决方案。它目前处于预览状态，因此无法直接使用。

答： 暂无答案

上一个：管理服务器负载 - Flask SQLAlchemy Postgres on Heroku

下一个：我需要帮助在heroku中部署springboot应用程序

Heroku PostgreSQL 实时数据同步，包括删除/更新/插入

Heroku PostgreSQL real-time data syncing including deletes/updates/inserts

评论