在 bash 中比较两个大文件并寻找性能 [已关闭]

鉴于：

head *.csv
==> base.csv <==
6517.49,450.0N,450.0N,-79.5664,-7.9726,280.434,-7.9726
6542.77,300.0N,300.0N,-79.5376,-8.0679,280.462,-8.0679
6530.41,300.0N,300.0N,-79.6216,-7.9845,280.378,-7.9845

==> tocompare.csv <==
7233.28,-81.59,-5.13513513514,278.41,-5.13513513514
7224.23,-81.59,-5.1951951952,278.41,-5.1951951952

我能为你得出的最接近下一步的是这个 Ruby：

ruby -r csv -e 'BEGIN{opts={:converters => :numeric} }
base,tc=[0,1].map{|fn| CSV.parse(File.open(ARGV[fn]).read, **opts)}
idx={}
tc.each.with_index{|tc_row, i| 
    base.each.with_index{|base_row,j| idx[i]=j if (base_row[0]-tc_row[0]).abs/base_row[0]<0.105} 
}
idx.each{|k,v| puts "#{base[k][1]}\t#{tc[v][1]}\t#{tc[v][2]}" }

' base.csv tocompare.csv

指纹：

300.0N  -81.59  -5.1951951952 

假设/理解：

• 我们想找到两个文件的笛卡尔乘积的“百分比差”（即，所有第一列来自 + 所有第一列来自base.csvtocompare.csv)
• 仅当“百分比差异”< 10.5 时生成 3 列输出

一个想法：awk

$ cat abs.awk

function abs(x) { return ((x < 0.0) ? -x : x) }

BEGIN   { FS = "," }

FNR==NR { col1[++cnt] = $1                                       # 1st file: save column 1
          col2[  cnt] = $2                                       # save column 2
          next
        }
        { for (i=1; i<=cnt; i++)                                 # 2nd file: loop through list of 1st columns from 1st file
              if (abs(col1[i]-$1)/col1[i] * 100 < 10.5)          # if calculation is less than 10.5 then ...
                 print col2[i], $2, $3                           # print 3-column output
        }

这将产生：

$ awk -f abs.awk base.csv tocompare.csv
300.0N -81.59 -5.1951951952

看看性能...

OP 提到实际文件是 300 行 （） 和 20,000 行 （）。我复制了两个文件中的行，以达到所需的行数：base.csvtocompare.csv

$ wc -l base.300.csv tocompare.20K.csv
    300 base.300.csv
  20000 tocompare.20K.csv

针对较大文件对脚本进行计时：awk

$ time awk -f abs.awk base.300.csv tocompare.20K.csv > x

real    0m1.127s
user    0m1.094s
sys     0m0.032s

笔记：

• i7-1260Prunning 和Ubuntu 22.04GNU awk 5.1.0
• ~1.2 秒执行 600 万次操作abs() / comparison
• 在之前对问题的编辑中，OP 提到了“摆脱值”和“跳过计算”，但我们没有得到关于这意味着什么的细节;如果 OP 有额外的逻辑可以让我们减少操作次数，那么就有可能将运行时间减少到当前 ~1.2 秒以下abs() / comparison

验证我们得到相同的结果：

$ sort -u x
300.0N -81.59 -5.1951951952