比较相邻列表项

你能在两个列表之间做一个联合吗？如果您有一个文件名列表并执行合并，它应该只生成重叠文件的列表。如果你愿意，我可以写出一个例子，但这个链接应该给你一个大致的想法。

https://stackoverflow.com/a/13505715/1856992

编辑：对不起，出于某种原因，我以为您正在比较文件名而不是大小。

所以这里有一个实际的答案给你。

using System;
using System.Collections.Generic;
using System.Linq;


public class ObjectWithSize
{
    public int Size {get; set;}
    public ObjectWithSize(int size)
    {
        Size = size;
    }
}

public class Program
{
    public static void Main()
    {
        Console.WriteLine("start");
        var list = new List<ObjectWithSize>();
        list.Add(new ObjectWithSize(12));
        list.Add(new ObjectWithSize(13));
        list.Add(new ObjectWithSize(14));
        list.Add(new ObjectWithSize(14));
        list.Add(new ObjectWithSize(18));
        list.Add(new ObjectWithSize(15));
        list.Add(new ObjectWithSize(15));
        var duplicates = list.GroupBy(x=>x.Size)
              .Where(g=>g.Count()>1);
        foreach (var dup in duplicates)
            foreach (var objWithSize in dup)
                Console.WriteLine(objWithSize.Size);
    }
}

这将打印出来

14
14
15
15

这里有一个 netFiddle。https://dotnetfiddle.net/0ub6Bs

最后说明。我实际上认为你的答案看起来更好，而且会跑得更快。这只是 Linq 中的一个实现。

首先计算 Crcs：

// It is assumed that DupInfo.CheckSum is nullable
public void GetCRCs(List<DupInfo> dupInfos)
{
  dupInfos[0].CheckSum = null ;        
  for (int i = 1; i < dupInfos.Count(); i++)
    {
       dupInfos[i].CheckSum = null ;
       if (dupInfos[i].Size == dupInfos[i - 1].Size)
       {
         if (dupInfos[i-1].Checksum==null) dupInfos[i-1].CheckSum = crc.ComputeChecksum(File.ReadAllBytes(dupInfos[i-1].FullName));
         dupInfos[i].CheckSum = crc.ComputeChecksum(File.ReadAllBytes(dupInfos[i].FullName));
       }
    }
}

按大小和 crc 对文件进行排序后，识别重复项：

public void GetDuplicates(List<DupInfo> dupInfos) 
{
  for (int i = dupInfos.Count();i>0 i++)
  { // loop is inverted to allow list items deletion
    if (dupInfos[i].Size     == dupInfos[i - 1].Size &&
        dupInfos[i].CheckSum != null &&
        dupInfos[i].CheckSum == dupInfos[i - 1].Checksum)
     { // i is duplicated with i-1
       ... // your code here
       ... // eventually, dupInfos.RemoveAt(i) ; 
     }
   }
}

我认为for循环应该是：for（int i = 1; i < dupInfos.Count（）-1; i++）

var grps= dupInfos.GroupBy(d=>d.Size);
grps.Where(g=>g.Count>1).ToList().ForEach(g=>
{
    ...
});

我已经按大小对文件列表进行了排序，并循环到 将每个元素与其上方和下方的元素进行比较。

下一个合乎逻辑的步骤是按大小对文件进行实际分组。如果有两个以上相同大小的文件，则比较连续文件并不总是足够的。相反，您需要将每个文件与其他所有相同大小的文件进行比较。

我建议采取这种方法

1. 使用 LINQ 的 .GroupBy 创建文件大小的集合。然后仅保留具有多个文件的组。.Where

2. 在这些组中，计算 CRC32 校验和并将其添加到已知校验和的集合中。与先前计算的校验和进行比较。如果你需要知道哪些文件是重复的，你可以使用一个由这个校验和键控的字典（你可以用另一个.否则，一个简单的列表就足以检测任何重复项。GroupBy

代码可能如下所示：

var filesSetsWithPossibleDupes = files.GroupBy(f => f.Length)
                                      .Where(group => group.Count() > 1);

foreach (var grp in filesSetsWithPossibleDupes)
{
    var checksums = new List<CRC32CheckSum>(); //or whatever type
    foreach (var file in grp)
    {
        var currentCheckSum = crc.ComputeChecksum(file);
        if (checksums.Contains(currentCheckSum))
        {
            //Found a duplicate
        }
        else
        {
            checksums.Add(currentCheckSum);
        }
    }
}

或者，如果您需要可能是重复的特定对象，则内部循环可能如下所示foreach

var filesSetsWithPossibleDupes = files.GroupBy(f => f.FileSize)
                                      .Where(grp => grp.Count() > 1);

var masterDuplicateDict = new Dictionary<DupStats, IEnumerable<DupInfo>>();
//A dictionary keyed by the basic duplicate stats
//, and whose value is a collection of the possible duplicates

foreach (var grp in filesSetsWithPossibleDupes)
{
    var likelyDuplicates = grp.GroupBy(dup => dup.Checksum)
                              .Where(g => g.Count() > 1);
    //Same GroupBy logic, but applied to the checksum (instead of file size)

    foreach(var dupGrp in likelyDuplicates)
    {
        //Create the key for the dictionary (your code is likely different)
        var sample = dupGrp.First();
        var key = new DupStats() {FileSize = sample.FileSize, Checksum = sample.Checksum};
        masterDuplicateDict.Add(key, dupGrp);
    }
}

这个想法的演示。