使用大文件将文本从一个文件附加到另一个文件的最快方法是什么

问：

因此，我有 5 个文本文件，每个 50GB，我想将它们全部合并为 1 个文本文件，然后调用 LINQ 语句，以便新文件中只有唯一的条目。.Distinct()

我现在的做法是这样的

foreach (var file in files)
{
    if (Path.GetExtension(file) == ".txt")
    {
        var lines = File.ReadAllLines(file);
        var b = lines.Distinct();
        File.AppendAllLines(clear, lines);
        
    }
}

这里出现的问题是应用程序现在将整个文本文件加载到内存中，使我的 RAM 使用率高达 100%。如果我有 64GB 的内存，这个解决方案可能会起作用，但我只有 16GB。对我来说，实现我想要完成的目标的最佳选择是什么？我应该利用 CPU 上的内核吗？运行 5900x。