Powershell：寻找一种使用 csv 文件作为输入对文本文件进行查找和替换的快速方法-解网

问：

我要求在将日志文件发送给供应商分析之前对其进行编辑。由于我支持的平台的动态性质，我必须动态生成列表。这点很好。

例如，我生成了一个大约有 500 行的 CSV 文件，如下所示：

"Node","Redaction"
"Server1","Redacted-Node-1"
"Server2.domain.local","Redacted-Node-2"
"Server3","Redacted-Node-3"
etc

我使用这个文件作为$redactions = Import-Csv $nodeRedactions

该脚本通过编校文件运行以获取查找和替换对，然后对目标文件执行查找/替换。例如，将 Server1 替换为 Redacted-Node-1。

$fullpath 是当前正在使用以下代码处理的文本文件的路径：

$redactions = Import-Csv $nodeRedactions 
$fileContent = Get-Content $fullpath
$n = 1
foreach ($row in $redactions)

{ 
    #Write-Host $n + " " + $fullpath
    $field1 = $row.Node 
    $field2 = $row.Redaction
    $fileContent = $fileContent | Foreach-Object { $_ -replace $field1,$field2}
    #$n= $n + 1 
}
#Create the output file complete with redactions
$fileContent | Out-File $outputFile

这非常适合小文件。但是，当在具有 50,000 行的文件上运行时，对每一行运行查找和替换大约需要 1 秒钟。有没有更快的方法？

PowerShell CSV 替换查找

$map = @{}
Import-Csv $nodeRedactions | ForEach-Object {
    $map[$_.Node] = $_.Redaction
}

$re = [regex]::new(
    '(?:{0})' -f ($map.Keys.ForEach({ [regex]::Escape($_) }) -join '|'),
    [System.Text.RegularExpressions.RegexOptions] 'Compiled, IgnoreCase')

$content = Get-Content $fullPath -Raw
$re.Replace($content, { $map[$args[0].Value] }) | Set-Content $outputFile

# NOTE: In PowerShell 7+ you can use:
(Get-Content $fullPath -Raw) -replace $re, { $map[$_.Value] } |
    Set-Content $outputFile

值得注意的是，上述方法将在替换内存并将其存储在内存中之前获取内存中的内容，如果您需要保留内存，那么对于逐行处理，我建议：$fullPath$outputFile

$map = @{}
Import-Csv $nodeRedactions | ForEach-Object {
    $map[$_.Node] = $_.Redaction
}

$re = [regex]::new(
    '(?:{0})' -f ($map.Keys.ForEach({ [regex]::Escape($_) }) -join '|'),
    [System.Text.RegularExpressions.RegexOptions] 'Compiled, IgnoreCase')

[System.IO.File]::ReadLines($fullPath) |
    ForEach-Object { $re.Replace($_, { $map[$args[0].Value] }) } |
    Set-Content $outputFile

# NOTE: In PowerShell 7+ you can use:
[System.IO.File]::ReadLines($fullPath) |
    ForEach-Object { $_ -replace $re, { $map[$_.Value] } } |
    Set-Content $outputFile

由于评论中的反馈，添加此替代方法应该会使用匿名函数进一步提高性能：

[System.IO.File]::ReadLines($fullPath) | & {
    begin {
        $map = @{}
        Import-Csv $nodeRedactions | ForEach-Object {
            $map[$_.Node] = $_.Redaction
        }

        $re = [regex]::new(
            '(?:{0})' -f ($map.Keys.ForEach({ [regex]::Escape($_) }) -join '|'),
            [System.Text.RegularExpressions.RegexOptions] 'Compiled, IgnoreCase')
    }

    process {
        # NOTE: In PowerShell 7+ you can use:
        # $_ -replace $re, { $map[$_.Value] }

        $re.Replace($_, { $map[$args[0].Value] })
    }
} | Set-Content $outputFile

谢谢，不幸的是，我在实现此操作时出现内存不足错误。引发了类型为“System.OutOfMemoryException”的异常。在 D：\PS_Scripts\Autoredact\AutoRedact_28_11_2023_2.ps1：154 char：24 + $_ = $_ -replace $（[regex]：：Escape（$row.节点）），$row。密文 + ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ + CategoryInfo：OperationStopped：（:) []，OutOfMemoryException + FullyQualifiedErrorId：System.OutOfMemoryException

0赞 BaldFeegle 11/28/2023

选中 powershell 以允许最大内存。

上一个：在 Windows 10 上检查 CPU 温度？

下一个：当我尝试从 nuget 安装“itext7”包时出现错误

Powershell：寻找一种使用 csv 文件作为输入对文本文件进行查找和替换的快速方法

Powershell: Looking for a fast way to do a find & replace on a text file using a csv file as the input

评论

评论

评论