在 2 列上获取非重复元素，并在两列之间有 1：1 的记录，按顺序重复数据删除 pyspark

假设是你的数据帧：df

from pyspark.sql import functions as F, Window as W

df.withColumn(
    "r", F.row_number().over(W.partitionBy("column1").orderBy("column2"))
).where("r=1").drop("r")

我为每一行创建一个行号。column1 的每个组（分区）的第一行是 1，因此，我只需要过滤该值。

编辑

做同样的事情两次以删除所有重复项：

df.withColumn(
    "r", F.row_number().over(W.partitionBy("column1").orderBy("column2"))
).where("r=1").drop("r").withColumn(
    "r", F.row_number().over(W.partitionBy("column2").orderBy("column1"))
).where("r=1").drop("r")

在 Spark-SQL 中使用 row_number 函数

val dF2 = Seq(
("A",1),
("B",2),
("A",3),
("C",3),
("C",4),
("C",4),
("D",4),
("E",5),
("F",4),
("G",7),
("D",8)
).toDF("Column1","Column2")

dF2.createOrReplaceTempView("dF2")

spark.sql(""" 
select column1, column2
from 
(
select column1, column2, 
       row_number() over (partition by column2 order by column1) rn
from
(
select column1, column2, 
       row_number() over (partition by column1 order by column2) rn
  from dF2
) s where rn=1
) s where rn=1

""").show(100, false)

结果：

+-------+-------+
|column1|column2|
+-------+-------+
|A      |1      |
|B      |2      |
|C      |3      |
|D      |4      |
|E      |5      |
|G      |7      |
+-------+-------+