cPanel面板的网站质量监控界面提供了多个选项卡,用户可以对该功能进行配置并监控网站和URL的常见问题。其中, “抓取 “选项卡允许用户设置如何定期监控网站和URL,以便及时检测并解决任何问题。通过 “抓取”选项卡,可以查看网站抓取的历史记录、设置抓取频率和监控深度等。
注意:本教程适用于 110 至最新版本。
一、概述
抓取选项卡包含可以自行运行的监控检查。这些检查都是对为受监控网站添加的每个受监控 URL 进行的抓取或系统测试。
抓取选项卡包含以下选项卡:
1、死链接 :此选项卡允许运行抓取,测试受监控网站前 500 页的链接是否返回数据。
2、丢失的图像和文件 :该选项卡可让运行抓取,检查受监控网站的前 500 页是否有丢失或损坏的 JavaScript、CSS 或图像文件。
3、文件过大 :此选项卡允许运行抓取,检查受监控网站前 500 个页面上的 JavaScript、CSS 和图像文件是否都小于 1 兆字节()。
二、死链接
死链接选项卡包含一个爬虫,用于检查监控网站前 500 个页面中遇到的链接是否返回数据。例如,如果在受监控网站上添加了一个链接,该链接指向一个已从互联网上删除的网站,则该链接不会返回数据,爬虫会将该链接注册为死链接。
单击 URL 编号开始抓取受监控的网站,查找丢失的图片和文件,其中表示该功能将抓取的页面数。
注意:此操作不会重置倒计时条。
首次开始手动抓取时,此选项卡将更新为包含 “过去的检查 “表。该表将包含在受监控网站上执行的所有死链接抓取的以下列:
1、日期 :手动抓取的日期;
2、发现的页面 :网站质量监控功能在受监控网站上发现的页面数量。如果该数字大于 ,可以点击它来打开过去的检查结果报告。结果报告将打开;
3、搜索的页面 :网站质量监控功能在受监控网站上抓取的页面数;
4、状态 :监控抓取的状态。
单击停止当前正在运行的所有抓取。
完成抓取后,网站质量监控功能会向添加到 “配置警报电子邮件 “选项卡的地址发送电子邮件。
三、丢失的图像和文件
缺失图像和文件选项卡包含一个爬网程序,该程序会测试其遇到的受监控网站的前 500 个页面,以确保加载 JavaScript、CSS 和图像文件。例如,如果尝试在受监控网站的某个页面上显示已删除的图像文件,该页面将向爬虫返回一个失败代码。
单击 URL 编号开始抓取受监控的网站,查找丢失的图片和文件,其中表示该功能将抓取的页面数。
注意:此操作不会重置倒计时条。
首次开始手动抓取时,此选项卡将更新为包含 “过去的检查 “表。该表将包含以下列,显示在受监控网站上执行过的所有缺失图像和文件抓取:
1、日期 :手动抓取的日期;
2、发现的页面 :网站质量监控功能在受监控网站上发现的页面数量。如果该数字大于 ,可以点击它来打开过去检查的结果报告,结果报告将打开;
3、搜索的页面 :网站质量监控功能在受监控网站上抓取的页面数;
4、状态 :监控抓取的状态。
单击停止当前正在运行的所有抓取。
完成抓取后,网站质量监控功能会向添加到 “配置警报电子邮件 “选项卡的地址发送电子邮件。
四、超大文件
超大文件 “选项卡包含一个爬虫,该爬虫会测试其遇到的受监控网站的前 500 个页面,以确保所有 JavaScript、CSS 和图像文件的大小均小于 1 MB。例如,如果添加了一个 3 MB 的 CSS 文件,就会导致抓取失败。
单击 500 URLs 开始抓取受监控网站的前 500 个页面,查找超大文件。
注意:此操作不会重置倒计时条。
首次开始手动抓取时,此选项卡将更新为包含 “过去的检查 “表。该表将包含在受监控网站上执行过的所有超大文件抓取的以下列:
1、日期 :手动抓取的日期;
2、发现的页面 :网站质量监控功能在受监控网站上发现的页面数量。如果该数字大于 ,可以点击它来打开过去检查的结果报告。结果报告将打开;
3、搜索的页面 :网站质量监控功能在受监控网站上抓取的页面数;
4、状态 :监控抓取的状态。
单击停止当前正在运行的所有抓取。
完成抓取后,网站质量监控功能会向添加到 “配置警报电子邮件 “选项卡的地址发送电子邮件。
五、结果报告
结果报告显示过去抓取的信息。该报告分为两个部分,分别指每个类别中的页面数量:
1、找到的页面:此部分包含爬虫搜索失败的每个页面的列表。列表显示受影响的域、导致搜索失败的 URL 以及页面返回的 HTTP 代码(如果有)。
2、已检查页面:本部分包含爬虫未搜索失败的每个页面的列表。列表中显示了爬虫检查过的每个页面的 URL。