外部合并排序的正确 SplitSize （Chunk） 应该是什么？

问：

我正在使用外部合并排序算法的现有代码。

该算法必须能够处理大文件（即 10GB、20 GB 甚至更多） 可用内存可以是 15 GB 或 10GB（因为它必须在任何现代计算机上运行。所以我没有任何拥有 1 GB 或 2 GB RAM 的限制。

现有的 Snippet 代码如下。

public class ExternalMergeSortSplitOptions
{   
   /// Size of unsorted file (chunk) (in bytes)

   public int FileSize { get; init; } = 2 * 1024 * 1024;
   public char NewLineSeparator { get; init; } = '\n';
}

以下代码用于将整个大文件拆分为多个块。但是这个块的数量（将转换为未排序的文件）的数量太大，仅在拆分过程中就需要近 30-40 分钟。因此，使用指定的 Split.FileSize 拆分文件的现有策略是不合适的。

private async Task<IReadOnlyCollection<string>> SplitFile(
    Stream sourceStream,
    CancellationToken cancellationToken)
{
    var fileSize = _options.Split.FileSize;
    var buffer = new byte[fileSize];
    var extraBuffer = new List<byte>();
    var filenames = new List<string>();
    var totalFiles = Math.Ceiling(sourceStream.Length / (double)_options.Split.FileSize);  /// -> This line could generate 6K files if the provided size of the original file is 20 GB or similar....

    await using (sourceStream)
    {
        var currentFile = 0L;
        while (sourceStream.Position < sourceStream.Length)
        {
           ...................
           ................................................
        }
    }

问：我们是否可以转换策略，以便代码可以计算合理范围内的文件数？（即通过要求 RAM 中的可用空间，然后相应地要求每个块的大小与可用 RAM 相当）。 谢谢