具有分区文件夹的 Datalake 中的 Databricks 增量表
作者:LordRofticus 提问时间:11/16/2023
我在名为“暂存”的容器中有有关 Azure 存储帐户的数据。 使用 SourceSystem/Dataset 层次结构,我每月还有基于日期的文件夹。在文件夹内,数据以增量格式存储。 在数据块中,我...
Databricks 问答列表
作者:LordRofticus 提问时间:11/16/2023
我在名为“暂存”的容器中有有关 Azure 存储帐户的数据。 使用 SourceSystem/Dataset 层次结构,我每月还有基于日期的文件夹。在文件夹内,数据以增量格式存储。 在数据块中,我...
作者:Newbie 提问时间:11/16/2023
如何通过涉及 400+ 并发更新的增量共享以流式处理方式读取多个架构。 DLT 似乎对管道上的 100 个并发更新有限制。最初,我想在单个管道中创建多个独立的流。kafka 还是 Kinesis 更...
作者:jdhao 提问时间:11/17/2023
我的 databricks 运行时版本是 10.4 LTS。我正在尝试使用 python 中的方法访问工作区文件。我尝试了多种不同的方法,但它们都失败了。 假设我的工作区文件路径是 ,我尝试了以下路径...
作者:mouli lee 提问时间:11/16/2023
我有一个包含 2 列的 pyspark 数据帧。Column1 是整数列,Column2 是 ArrayType。我需要获取一个数据帧,该 Column2 的前几行中没有任何重复元素。在 Column...
作者:LearneR 提问时间:11/16/2023
我们从数据工厂管道调用 Azure Databricks 笔记本,该管道将引入到 Azure Synapse 中。但是,每当笔记本运行失败时,它只会显示以下错误消息: com.databricks....
作者:John Bryan 提问时间:11/16/2023
我有一个表,其中包含以下值 ID Date FinalDate 1 20120101 NULL 1 20120201 20120201 1 20120301 NULL 1 20120401 2012...
作者:geds133 提问时间:11/15/2023
我正在尝试遵循本教程:https://learn.microsoft.com/en-us/azure/databricks/getting-started/connect-to-azure-stora...
作者:Mehdi Jafari 提问时间:11/15/2023
我们正在使用 Azure Functions 将一些 txt 文件模拟到 parquet。然后,Databricks Autoloader 读取 parquet 文件。为了让 Autoloader 将...
作者:Livia Seiler 提问时间:11/15/2023
我正在尝试使用 databricks 笔记本来微调 Llama2 模型。代码在这里。我在第 219-231 行遇到错误: from trl import SFTTrainer max_seq_le...
作者:Eugene Goldberg 提问时间:11/14/2023
我们正在尝试在 C# .NET 控制台应用和 Azure Databricks 仓库之间建立连接。 我们按照以下说明设置和配置 ODBC 驱动程序: https://docs.databricks....