是否可以有效地从大型固定宽度的 CSV 文件中获取行的子集？

正如我在评论中建议的那样，您可以将数据字段压缩为两位：

-- 00
AA 01
AB 10
BB 11

这会将您的文件大小减少 12 倍，因此它将是 ~20GB。考虑到您的处理可能是 IO 绑定的，您可以将处理速度提高 12 倍。

生成的文件将具有 20,000 字节的记录长度，因此很容易计算到任何给定记录的偏移量。没有需要考虑的新行符号:)

以下是我构建该二进制文件的方法：

#include <fstream>
#include <iostream>
#include <string>
#include <chrono>

int main()
{
    auto t1 = std::chrono::high_resolution_clock::now();
    std::ifstream src("data.txt", std::ios::binary);
    std::ofstream bin("data.bin", std::ios::binary);
    size_t length = 80'000 * 3 + 9 + 2; // the `2` is a length of CR/LF on my Windows; use `1` for other systems
    std::string str(length, '\0');
    while (src.read(&str[0], length))
    {
        size_t pos = str.find(',') + 1;
        for (int group = 0; group < 2500; ++group) {
            uint64_t compressed(0), field(0);
            for (int i = 0; i < 32; ++i, pos += 3) {
                if (str[pos] == '-')
                    field = 0;
                else if (str[pos] == 'B')
                    field = 3;
                else if (str[pos + 1] == 'B')
                    field = 2;
                else
                    field = 1;

                compressed <<= 2;
                compressed |= field;
            }
            bin.write(reinterpret_cast<char*>(&compressed), sizeof compressed);
        }
    }
    auto t2 = std::chrono::high_resolution_clock::now();
    std::cout << std::chrono::duration_cast<std::chrono::microseconds>(t2 - t1).count() << std::endl;

    // clear `bad` bit set by trying to read past EOF
    src.clear();
    // rewind to the first record
    src.seekg(0);
    src.read(&str[0], length);
    // read next (second) record
    src.read(&str[0], length);
    // read forty second record from start (skip 41)
    src.seekg(41 * length, std::ios_base::beg);
    src.read(&str[0], length);
    // read next (forty third) record
    src.read(&str[0], length);
    // read fifties record (skip 6 from current position)
    src.seekg(6 * length, std::ios_base::cur);
    src.read(&str[0], length);

    return 0;
}

这可以在一秒钟内编码大约 1,600 条记录，因此整个文件将需要 ~15 分钟。您现在需要多长时间来处理它？

更新：

添加了如何从 中读取单个记录的示例。src

我只设法在二进制模式下工作。seekg()

类中的函数系列通常是面向字节的。您可以使用它们，前提是您绝对确信您的记录（在本例中为行）具有固定的字节数;在这种情况下，您可以以二进制形式打开文件，而不是 ，并使用它可以将指定数量的字节读取到具有足够容量的字节数组中。但是 - 因为文件毕竟存储的是文本 - 如果即使一条记录的大小不同，您也会错位;如果 ID 字段保证等于行号 - 或者至少是它的不断增加的映射 - 有根据的猜测和后续的试错会有所帮助。您需要快速切换到更好的数据库管理;即使是 10GB 的单个二进制文件也太大，容易快速损坏。您可以考虑将其切成更小的切片（可能是 100MB 的数量级），以尽量减少损坏传播的机会。另外，您必须需要一些冗余机制来恢复/纠正。seek<iostream>getline.read