卓越飞翔博客卓越飞翔博客

卓越飞翔 - 您值得收藏的技术分享站
技术文章64334本站已运行4115

使用 Golang 的 Cloud Functions Gen2 - 实例生命周期和 BigQuery 插入安全,无需等待作业完成

使用 golang 的 cloud functions gen2 - 实例生命周期和 bigquery 插入安全,无需等待作业完成

php小编苹果为您带来了一篇关于使用 Golang 的 Cloud Functions Gen2 的文章。这篇文章将重点介绍实例生命周期和 BigQuery 插入的安全性,以及如何在无需等待作业完成的情况下进行操作。通过阅读本文,您将了解到如何优化和提升您的应用程序的性能和安全性。让我们一起来探索这个令人兴奋的主题吧!

问题内容

我正在使用用 Golang 编写的 Google Cloud Function (Gen2),该函数由 HTTP 请求触发。我的用例需要在 BigQuery 中存储一些数据,我希望避免在响应 HTTP 请求之前等待作业完成。

但是,我对从函数返回后 Cloud Function 实例的行为感到担忧:

发送 HTTP 响应后实例保持活动状态多久? 不等待 BigQuery 作业完成是否安全?如果在作业完成之前终止实例,我是否会面临丢失数据的风险? 任何有关此场景的见解或最佳实践将不胜感激。

解决方法

不鼓励这种方法。请参阅以下文档:

函数执行时间线

函数只能在函数执行期间访问其分配的资源(内存和 CPU)。在执行周期之外运行的代码不保证执行,并且可以随时停止。因此,您应该始终正确地发出函数执行结束的信号,并避免运行超出函数执行范围的任何代码。

不启动后台活动

后台活动是指函数终止后发生的任何事情。一旦函数返回或以其他方式发出完成信号,函数调用就会完成,例如通过调用 Node.js 事件驱动函数中的 callback 参数。优雅终止后运行的任何代码都无法访问 CPU,也不会取得任何进展。

此外,当在同一环境中执行后续调用时,您的后台活动将恢复,从而干扰新的调用。这可能会导致难以诊断的意外行为和错误。函数终止后访问网络通常会导致连接被重置(ECONNRESET 错误代码)。

通过查找调用完成行之后记录的任何内容,通常可以在各个调用的日志中检测到后台活动。后台活动有时可能会埋藏在代码中更深处,尤其是当存在回调或计时器等异步操作时。检查您的代码以确保在终止函数之前完成所有异步操作。

另一种解决方案是将其实现为事件驱动函数(请参阅云函数的类型)。然后为此函数指定 Pub/Sub 触发器和 Pub/Sub 主题(请参阅 Pub /子触发器)。必须重写客户端才能将事件发布到该主题。

如果客户端无法重写,解决方法是同时保留 HTTP 函数和事件驱动函数,并通过向主题发布事件来使 HTTP 函数将工作卸载到事件驱动函数。根据事件的大小和 BigQuery 作业的执行时间,也许它不会让客户端等待更少的时间。而且我认为这种方法会显着增加成本。

卓越飞翔博客
上一篇: 为什么 Go 中读写文件比 Perl 慢很多?
下一篇: pandas 数据帧上的 duckdb 查询中的 SQL 注入
留言与评论(共有 0 条评论)
   
验证码:
隐藏边栏