从网页中提取数据，解析特定部分，然后显示数据

这个小示例使用 HtmlAgilityPack，并使用选择器来获取所需的元素。XPath

protected void Page_Load(object sender, EventArgs e)
{
    string url = "http://www.metacritic.com/game/pc/halo-spartan-assault";
    var web = new HtmlAgilityPack.HtmlWeb();
    HtmlDocument doc = web.Load(url);

    string metascore = doc.DocumentNode.SelectNodes("//*[@id=\"main\"]/div[3]/div/div[2]/div[1]/div[1]/div/div/div[2]/a/span[1]")[0].InnerText;
    string userscore = doc.DocumentNode.SelectNodes("//*[@id=\"main\"]/div[3]/div/div[2]/div[1]/div[2]/div[1]/div/div[2]/a/span[1]")[0].InnerText;
    string summary = doc.DocumentNode.SelectNodes("//*[@id=\"main\"]/div[3]/div/div[2]/div[2]/div[1]/ul/li/span[2]/span/span[1]")[0].InnerText;
}

获取给定元素的一种简单方法是使用您的 Web 浏览器（我使用 Chrome）开发人员工具：XPath

• 打开开发人员工具（在 Windows 上为 + +，在 Mac 上为 + +）。F12CtrlShiftCCommandShiftC
• 在页面中选择要为其使用 XPath 的元素。
• 右键单击“元素”选项卡中的元素。
• 单击“复制为 XPath”。

您可以像在 c# 中一样粘贴它（如我的代码所示），但请确保对引号进行转义。

您必须确保使用一些错误处理技术，因为如果 Web 抓取更改页面的 HTML 格式，可能会导致错误。

编辑

根据 @knocte 的建议，下面是指向 HTMLAgilityPack 的 Nuget 包的链接：

https://www.nuget.org/packages/HtmlAgilityPack/

我看了看，Metacritic.com 没有 API。

可以使用 HttpWebRequest 以字符串形式获取网站的内容。

using System.Net;
using System.IO;
using System.Windows.Forms;

string result = null;
string url = "http://www.stackoverflow.com";
WebResponse response = null;
StreamReader reader = null;

try
{
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
    request.Method = "GET";
    response = request.GetResponse();
    reader = new StreamReader(response.GetResponseStream(), Encoding.UTF8);
    result = reader.ReadToEnd();
}
catch (Exception ex)
{
    // handle error
    MessageBox.Show(ex.Message);
}
finally
{
    if (reader != null)
        reader.Close();
    if (response != null)
        response.Close();
}

然后，您可以利用 Metacritic 对元标记的使用来解析所需数据的字符串。以下是他们在元标记中提供的信息：

• og：标题
• og：类型
• og：网址
• og：图像
• og：site_name
• og：描述

每个标签的格式为：meta name="og:title" content="In a World..."

我推荐Dcsoup。它有一个 nuget 包，它使用 CSS 选择器，所以如果你使用 jquery，它会很熟悉。我尝试过其他方法，但它是我发现的最好和最容易使用的。没有太多的文档，但它是开源的，并且是 java jsoup 库的端口，有很好的文档。（此处提供了 .NET API 的文档。我非常喜欢它。

var timeoutInMilliseconds = 5000;
var uri = new Uri("http://www.metacritic.com/game/pc/fallout-4");
var doc = Supremes.Dcsoup.Parse(uri, timeoutInMilliseconds);

// <span itemprop="ratingValue">86</span>
var ratingSpan = doc.Select("span[itemprop=ratingValue]");
int ratingValue = int.Parse(ratingSpan.Text);

// selectors match both critic and user scores
var scoreDiv = doc.Select("div.score_summary");
var scoreAnchor = scoreDiv.Select("a.metascore_anchor");
int criticRating = int.Parse(scoreAnchor[0].Text);
float userRating = float.Parse(scoreAnchor[1].Text);

我向你推荐 WebsiteParser - 它基于 HtmlAgilityPack（Hanlet Escaño 提到），但它通过属性和 css 选择器使 Web 抓取更容易：

class PersonModel
{
    [Selector("#BirdthDate")]
    [Converter(typeof(DateTimeConverter))]
    public DateTime BirdthDate { get; set; }
}

// ...

PersonModel person = WebContentParser.Parse<PersonModel>(html);

Nuget 链接