在 Azure 数据工厂 (ADF) 中复制自动下载链接Copy auto download link in Azure Data Factory (ADF)

Copy auto download link in Azure Data Factory (ADF)

提问人:RobRPJR 提问时间:11/15/2023 最后编辑:Brian Tompsett - 汤莱恩RobRPJR 更新时间:11/17/2023 访问量:36

问:

我正在处理一个不寻常的 API。
您发送 POST 以启动正在编译的文件。 然后,发送带有 ID(从 POST 返回)的 GET,最终它将为您提供一个 URL,当粘贴到浏览器中时,它会开始自动下载 excel 文件。

我正在使用 ADF,除了如何将该文件放入 Azure 数据湖之外,我拥有一切。

Pipeline Pic

复制活动在几个小时后超时(链接中的文件将在几秒钟内下载到本地),因此我认为我要么使用了错误的连接器,要么设置错误。

我在 MS 文档中找不到我要查找的内容。有人处理过这样的事情吗?

Linked Service

Dataset

下载 azure-data-factory

评论


答:

1赞 Pratik Lad 11/16/2023 #1

若要在 Azure 数据工厂 (ADF) 中复制自动下载链接并将其存储在 ADLS 中,请执行以下步骤。

  1. 使用二进制文件格式和参数化 URL 创建 HTTP 链接服务。enter image description here
  2. 在 dataset 参数中传递 URL。enter image description here
  3. 在接收器中,还可以创建二进制文件格式的 ADLS 连接器,并在数据集中传递文件名。enter image description here

输出将是:

enter image description here