网络中的正则表达式字段匹配和替换-Python

问：

我有一个大的 csv（+1000000 行），我需要对其进行正则表达式搜索和替换功能。简而言之，我需要取两列并找到它们之间的匹配项;然后使用匹配的行将第三个字段中的值替换为匹配的行。它基本上将网络中的某些组件与其上游组件相匹配。下面是一个简化的小示例：

这将是预期的结果：

如您所见，在“assembly”字段中出现的任何具有上游值的行都会获得与其上游邻居相等的 Field1 值。

我有一个完全可用但非常慢（写入速度约为 15kb/s）的代码，我目前正在使用 python 中的正则表达式模块。我的问题是，有什么更有效的方法呢？由于 ram 大小有限，Pandas 是不可能的，除了 csv 之外的其他数据格式也是如此。过去我尝试过 dask，但从未让它正常工作，可能是因为在我（非常）受限的 IT 条件下 - 我无法访问 python 中的环境路径变量。

代码如下：

import csv
import re

#csv files
input_file = 'L:\\Dev_h\\Device Heirarchy\\fulljoin_device_flow2.csv'
output_file = 'L:\\Dev_h\\Device Heirarchy\\output2.csv'

# output fields
output_fields = ['gs_attached_assembly_guid', 'gs_upstream_aa_guid', 'Field1_num','Dev_no', 'gs_guid', 'gs_display_feature_guid', 'field2', 'gs_network_feature_name', 'gs_assembly_guid', 'gs_display_feature_name', 'Field1', 'gs_network_feature_guid', 'OID_']


with open(input_file, 'r', newline='') as in_csv, open(output_file, 'w', newline='') as out_csv:
    reader = csv.DictReader(in_csv)
    writer = csv.DictWriter(out_csv, fieldnames=output_fields)
    writer.writeheader()

    # Build Regex
    patterns = {row['gs_attached_assembly_guid']: row['Field1_num'] for row in reader}
    pattern = re.compile('|'.join(map(re.escape, patterns.keys())))

    # restart loop
    in_csv.seek(0)
    next(reader) # Skip header row

    #for loop allowing pattern matching
    for row in reader:

        # Step 6: Define a function to search the 'gs_upstream_aa_guid' column using the regex pattern
        def search_and_replace(match):
            matched_guids = match.group().split(',')
            replacement_values = []
            for matched_guid in matched_guids:
                if matched_guid in patterns and patterns[matched_guid] != '':
                    replacement_values.append(patterns[matched_guid])
                else:
                    # Return an empty string instead of the gs_attached_assembly_guid
                    replacement_values.append('')

            return ','.join(replacement_values)

        # check for matches in 'gs_upstream_aa_guid' value
        match = pattern.search(row['gs_upstream_aa_guid'])

        #If there is a match, replace the 'Field1_num' value with the matched value
        if match:
            row['Field1'] = search_and_replace(match)
        #Otherwise skip
        else:
            pass

        #Write the updated row out to the output CSV
        writer.writerow(row)

print("End")

那么问题来了，如何加快这一过程呢？