大数据处理

large data processing


问题

你好,

我想知道,如果我得到了http调用,并且它将返回给我3万条记录,那么我可以一个一个地遍历记录。如果可以,怎么做?

我们是否在azure函数中拥有内存数据表,我可以通过一个get http调用来填充。然后在这个数据表上做过滤器,在这个过程中反复获得特定的记录?

我的要求是。

  • 通过web服务的http获取调用获得数据表中的静态记录

  • 循环处理大约30K的记录。这将来自网络服务的另一个http get调用。

  • 在循环中,从第一点开始过滤数据表,获得特定的记录并进行计算。将结果保存在另一个结果数据表中。

  • 完成While循环

  • 将结果数据表中的记录保存到数据库中。

请指导我实现上述要求。

谢谢你!

循环查看30k条记录
-


答案1

我想弄清楚你问的是什么,这个问题是关于Functions是否能在内存中容纳30k的记录,还是你在寻找一种特定语言的实现指针?消费计划中的每个Functions实例都有1.5GB的可用内存,所以这些记录的大小可能是决定因素。使用高级或专用SKU可以让你的函数获得更多的内存,这取决于你选择的大小。如果你想在实施方面得到帮助,你是否希望使用一种特定的语言?

相同问题还可以参考: large data processing