使用 xpath 将无序列表 html 标记转换为多维数组

Convert unordered list html markup into a multidimensional array using xpath

提问人:Sophie 提问时间:10/26/2021 最后编辑:mickmackusaSophie 更新时间:10/27/2021 访问量:182

问:

我正在尝试创建一个数组来重现以下代码:

<div class="singlepost">
    
<ul class="linha_status" style="">
<li>Status: <b>Objeto em trânsito - por favor aguarde</b></li>
<li>Data  : 24/10/2021 | Hora: 12:04</li>           
<li>Origem: Unidade de Tratamento - Jaboatao Dos Guararapes / PE</li>
<li>Destino: Agência dos Correios - Cuitegi / PB</li>
</ul>

<ul class="linha_status" style="">
<li>Status: <b>Objeto em trânsito - por favor aguarde</b></li>
<li>Data  : 19/10/2021 | Hora: 00:03</li>           
<li>Origem: Unidade de Logística Integrada - Curitiba / PR</li>
<li>Destino: Unidade de Tratamento - Recife / PE</li>
</ul>

<ul class="linha_status" style="">
<li>Status: <b>Fiscalização aduaneira finalizada</b></li>
<li>Data  : 18/10/2021 | Hora: 23:35</li>
<li>Local: Unidade Operacional - Curitiba / PR</li>
</ul>

<ul class="linha_status" style="">
<li>Status: <b>Objeto recebido pelos Correios do Brasil</b></li>
<li>Data  : 16/10/2021 | Hora: 11:45</li>
<li>Local: Unidade de Logística Integrada - Curitiba / PR</li>
</ul>

<ul class="linha_status" style="">
<li>Status: <b>Objeto postado</b></li>
<li>Data  : 14/10/2021 | Hora: 20:30</li>
<li>Local: País -  / </li>
</ul>

</div>

我正在使用 xpath 和 foreach 来创建数组,但结果并不幸运......它正在工作,但不是我需要的输出,这是我编写的代码:

$doc = new DOMDocument();
$doc->loadHTML($htmlString);
$xpath = new DOMXPath($doc);

$geral = $xpath->evaluate('//ul[@class="linha_status"]');

foreach ($geral as $name) {
    $total[] = $name->nodeValue;
}
var_dump($total);

我的实际代码产生以下输出:

  array(5) {
    [0] => string(195)
    " Status: Objeto em trânsito - por favor aguarde Data : 24/10/2021 | Hora: 12:04 Origem: Unidade de Tratamento - Jaboatao Dos Guararapes / PE Destino: Agência dos Correios - Cuitegi / PB" 
    [1] => string(189)
    " Status: Objeto em trânsito - por favor aguarde Data : 19/10/2021 | Hora: 00:03 Origem: Unidade de Logística Integrada - Curitiba / PR Destino: Unidade de Tratamento - Recife / PE" 
    [2] => string(128)
    " Status: Fiscalização aduaneira finalizada Data : 18/10/2021 | Hora: 23:35 Local: Unidade Operacional - Curitiba / PR" 
    [3] => string(145)
    " Status: Objeto recebido pelos Correios do Brasil Data : 16/10/2021 | Hora: 11:45 Local: Unidade de Logística Integrada - Curitiba / PR" 
    [4] => string(83)
    " Status: Objeto postado Data : 14/10/2021 | Hora: 20:30 Local: País - / "
  }

这是我想要的输出:

"eventos": [{
    "status": "Objeto em trânsito - por favor aguarde",
    "data": "24/10/2021",
    "hora": "12:04",
    "origem": "Unidade de Tratamento - Jaboatao Dos Guararapes / PE",
    "destino": "Agência dos Correios - Cuitegi / PB"
  }, {
    "status": "Objeto em trânsito - por favor aguarde",
    "data": "19/10/2021",
    "hora": "00:03",
    "origem": "Unidade de Logística Integrada - Curitiba / PR",
    "destino": "Unidade de Tratamento - Recife / PE"
  }, {
    "status": "Fiscalização aduaneira finalizada",
    "data": "18/10/2021",
    "hora": "23:35",
    "local": "Unidade Operacional - Curitiba / PR"
  }, {
    "status": "Objeto recebido pelos Correios do Brasil",
    "data": "16/10/2021",
    "hora": "11:45",
    "local": "Unidade de Logística Integrada - Curitiba / PR"
  }, {
    "status": "Objeto postado",
    "data": "14/10/2021",
    "hora": "20:30",
    "local": "País - /"
  }]
PHP 数组 xpath foreach html 解析

评论


答:

1赞 Percian Joseph Borja 10/26/2021 #1
$total = [];
$ind = 0;
foreach ($geral as $name) {
    $s = explode("\n",$name->nodeValue);
    foreach($s as  $ss){
        if(str_contains($ss,"Status: ")){
            $total[$ind]["status"] = str_replace('Status: ','',$ss);
        }
        if(str_contains($ss,"Data  : ")){
            
            $data = str_replace('Data  : ','',$ss);
            $data = str_replace('Hora: ','',$data);
            $data = explode(" | ",$data);
            $total[$ind]["data"] = $data[0];
            $total[$ind]["hora"] = $data[1];
        }
        if(str_contains($ss,"Origem: ")){
            $total[$ind]["origem"] = str_replace('Origem: ','',$ss);
        }
        if(str_contains($ss,"Destino: ")){
            $total[$ind]["destino"] = str_replace('Destino: ','',$ss);
        }
        if(str_contains($ss,"Local: ")){
            $total[$ind]["local"] = str_replace('Local: ','',$ss);
        }
    }
    $ind++;
}

print_r($total);

只要确保 li 后面有一个新行即可。HTML 上的不一致可能会破坏输出。对不起。

PHP v8.0 版本

评论

0赞 Sophie 10/26/2021
您好Percian,感谢您的回复,但它不起作用,我收到错误500(我使用的是PHP 7.3)
0赞 hanshenrik 10/26/2021
我认为你应该explode(":",$nodeValue, 2)
0赞 Percian Joseph Borja 10/26/2021
str_contains仅适用于版本 8.0。您可以在更高版本的 php 中使用str_pos。
0赞 Sophie 10/26/2021
右。。我做了更改(将所有“str_contains”替换为“str_pos”),但一直不工作=/有任何想法吗?
0赞 Sophie 10/26/2021
@hanshenrik 嘿,伙计,谢谢你的评论,但你能向我解释一下我需要把这段代码放在哪里吗?
2赞 hanshenrik 10/26/2021 #2

function json_encode_pretty($data, int $extra_flags = 0, int $exclude_flags = 0): string
{
    // prettiest flags for: 7.3.9
    $flags = JSON_PRETTY_PRINT | JSON_UNESCAPED_SLASHES | JSON_UNESCAPED_UNICODE | (defined("JSON_UNESCAPED_LINE_TERMINATORS") ? JSON_UNESCAPED_LINE_TERMINATORS : 0) | JSON_PRESERVE_ZERO_FRACTION | (defined("JSON_THROW_ON_ERROR") ? JSON_THROW_ON_ERROR : 0);
    $flags = ($flags | $extra_flags) & ~ $exclude_flags;
    return (json_encode($data, $flags));
}


function loadHTML_noemptywhitespace(string $html, int $extra_flags = 0, int $exclude_flags = 0): \DOMDocument
{
    $flags = LIBXML_HTML_NODEFDTD | LIBXML_NOBLANKS | LIBXML_NONET;
    $flags = ($flags & ~ $exclude_flags) | $extra_flags;

    $domd = new \DOMDocument();
    $domd->preserveWhiteSpace = false;
    @$domd->loadHTML('<?xml encoding="UTF-8">' . $html, $flags);
    $removeAnnoyingWhitespaceTextNodes = function (\DOMNode $node) use (&$removeAnnoyingWhitespaceTextNodes): void {
        if ($node->hasChildNodes()) {
            // Warning: it's important to do it backwards; if you do it forwards, the index for DOMNodeList might become invalidated;
            // that's why i don't use foreach() - don't change it (unless you know what you're doing, ofc)
            for ($i = $node->childNodes->length - 1; $i >= 0; --$i) {
                $removeAnnoyingWhitespaceTextNodes($node->childNodes->item($i));
            }
        }
        if ($node->nodeType === XML_TEXT_NODE && !$node->hasChildNodes() && !$node->hasAttributes() && ! strlen(trim($node->textContent))) {
            //echo "Removing annoying POS";
            // var_dump($node);
            $node->parentNode->removeChild($node);
        } //elseif ($node instanceof DOMText) { echo "not removed"; var_dump($node, $node->hasChildNodes(), $node->hasAttributes(), trim($node->textContent)); }
    };
    $removeAnnoyingWhitespaceTextNodes($domd);
    return $domd;
}

$domd=loadHTML_noemptywhitespace($html);
$xp=new DOMXPath($domd);
$extracted=[];
foreach($xp->query("//div[contains(@class,'singlepost')]/ul") as $ul){
    $ulData=[];
    foreach($xp->query("./li", $ul) as $li){
        $data = explode(":",$li->nodeValue, 2);
        $uldata[trim($data[0])] = trim($data[1]);
    }
    $extracted[]=$uldata;
}
echo json_encode_pretty($extracted);

打印:

[
    {
        "Status": "Objeto em trânsito - por favor aguarde",
        "Data": "24/10/2021 | Hora: 12:04",
        "Origem": "Unidade de Tratamento - Jaboatao Dos Guararapes / PE",
        "Destino": "Agência dos Correios - Cuitegi / PB"
    },
    {
        "Status": "Objeto em trânsito - por favor aguarde",
        "Data": "19/10/2021 | Hora: 00:03",
        "Origem": "Unidade de Logística Integrada - Curitiba / PR",
        "Destino": "Unidade de Tratamento - Recife / PE"
    },
    {
        "Status": "Fiscalização aduaneira finalizada",
        "Data": "18/10/2021 | Hora: 23:35",
        "Origem": "Unidade de Logística Integrada - Curitiba / PR",
        "Destino": "Unidade de Tratamento - Recife / PE",
        "Local": "Unidade Operacional - Curitiba / PR"
    },
    {
        "Status": "Objeto recebido pelos Correios do Brasil",
        "Data": "16/10/2021 | Hora: 11:45",
        "Origem": "Unidade de Logística Integrada - Curitiba / PR",
        "Destino": "Unidade de Tratamento - Recife / PE",
        "Local": "Unidade de Logística Integrada - Curitiba / PR"
    },
    {
        "Status": "Objeto postado",
        "Data": "14/10/2021 | Hora: 20:30",
        "Origem": "Unidade de Logística Integrada - Curitiba / PR",
        "Destino": "Unidade de Tratamento - Recife / PE",
        "Local": "País -  /"
    }
]

评论

0赞 Sophie 10/26/2021
嘿@hanshenrik,只有一件事,我正在尝试理解您的代码以分离您的值: “数据”: “14/10/2021 |Hora:20:30“到>”数据“:”2021 年 10 月 14 日“和”Hora:20:30“,你能再给我一个帮助吗?我真的需要分离的 thoose 值来插入 BD ;/
1赞 hanshenrik 10/26/2021
检查@Percian如何解决该特定问题。类似的东西$data = explode(":",$li->nodeValue, 2); if(trim($data[0]) === "Data"){ $data[1]=explode(" | Hora: ",$data[1]);$uldata["Data"]=$data[1][0];$uldata["Hora"]=$data[1][1]; }else{ $uldata[trim($data[0])] = trim($data[1]); }
1赞 jspit 10/26/2021 #3

如果使用 xpath 两次,解决方案会更容易一些。一次用于 ul 标签,一次用于底层 li 标签。分裂只需通过爆炸即可完成。

$doc = new DOMDocument();
$doc->loadHTML($htmlString);
$xpath = new DOMXPath($doc);

$geral = $xpath->query('//ul[@class="linha_status"]');

$total = [];
foreach ($geral as $node) {
  $sArr = [];
  $li = $xpath->query('li',$node);
  foreach($li as $item){
    $liVal = $item->nodeValue;
    $parts = explode("|",$liVal);
    foreach($parts as $part){
      list($key,$val) = explode(':',$part);
      $sArr[trim($key)] = trim($val);
    }
  }
  $total[] = $sArr;
}

$result = json_encode($total, JSON_PRETTY_PRINT | JSON_UNESCAPED_UNICODE | JSON_UNESCAPED_SLASHES);

沙盒https://3v4l.org/3E2G3 中亲自尝试。

1赞 mickmackusa 10/26/2021 #4

为了方便起见,我绝对支持@jspit使用嵌套 xpath 调用的建议,但我更喜欢几种不同的编码选择。以下是我的片段细分:

  1. 使用 UTF-8 编码加载文档以保留多字节字符
  2. 使用 xpath 循环访问具有限定类的所有标签<ul>
  3. 使用 xpath 迭代所有 !嵌套在排位赛中的标记<li><ul>
  4. 按管道拆分文本以形成 1 个或多个段 -- 不需要限制器<li>
  5. 将每个段段按第一个出现的冒号拆分 - 将爆炸限制为 2 个部分至关重要,因为某些段包含多个冒号;在这次爆炸期间删除空格可以节省以后两次呼叫的麻烦trim()
  6. 将键值对推送到结果数组中,该数组具有与父 ul 相关的一级索引。

代码:(演示)

$result = [];
$doc = new DOMDocument;
$doc->loadHTML('<?xml encoding="UTF-8">' . $htmlString);
$xpath = new DOMXPath($doc);
foreach ($xpath->query('//ul[@class="linha_status"]') as $i => $ul) {
    foreach ($xpath->query('li', $ul) as $li) {
        foreach (explode("|", $li->nodeValue) as $segment) {
            [$key, $result[$i][$key]] = preg_split('/\s*:\s*/', trim($segment), 2);
        }
    }
}
var_export($result);

输出:

array (
  0 => 
  array (
    'Status' => 'Objeto em trânsito - por favor aguarde',
    'Data' => '24/10/2021',
    'Hora' => '12:04',
    'Origem' => 'Unidade de Tratamento - Jaboatao Dos Guararapes / PE',
    'Destino' => 'Agência dos Correios - Cuitegi / PB',
  ),
  1 => 
  array (
    'Status' => 'Objeto em trânsito - por favor aguarde',
    'Data' => '19/10/2021',
    'Hora' => '00:03',
    'Origem' => 'Unidade de Logística Integrada - Curitiba / PR',
    'Destino' => 'Unidade de Tratamento - Recife / PE',
  ),
  2 => 
  array (
    'Status' => 'Fiscalização aduaneira finalizada',
    'Data' => '18/10/2021',
    'Hora' => '23:35',
    'Local' => 'Unidade Operacional - Curitiba / PR',
  ),
  3 => 
  array (
    'Status' => 'Objeto recebido pelos Correios do Brasil',
    'Data' => '16/10/2021',
    'Hora' => '11:45',
    'Local' => 'Unidade de Logística Integrada - Curitiba / PR',
  ),
  4 => 
  array (
    'Status' => 'Objeto postado',
    'Data' => '14/10/2021',
    'Hora' => '20:30',
    'Local' => 'País -  /',
  ),
)