复杂的嵌套 json 结构，所有内容仅表示一行，数组中的重复元素需要在同一行中展平

问：

我有一个复杂的嵌套 json 结构文件，其中 100% 的元素（数组和结构）必须展平为相同的行。因此，每个 json 文件都是一行。10 个 Json 文件 = 10 行。下面是 json 文件的示例：

我多么希望我能扁平化文件，删除数组中每个键的重复值：

这可以通过 spark 中的 .getItem（） 来实现，但有没有动态方法？

我尝试了爆炸，但是爆炸为数组中的每个元素创建了新行，我需要它们在同一行中。如果我透视，我需要对一些列进行分组，这是不可接受的。谢谢。