Siteserver-信息采集管理-信息采集概述
来自站长百科
导航: 上一页
信息采集概述
Web是一个巨大的资源宝库，目前页面数目已超过400亿，每小时还以惊人的速度增长，里面有你需要的大量有价值的信息，例如潜在客户的列表与联系信息，竞争产品的价格列表，实时金融新闻，供求信息，论文摘要等等。 可是由于关键信息都是以半结构化或自由文本形式存在于大量的HTML网页中，很难直接加以利用。
SiteServer CMS 信息采集功能的主要目标就是解决网络信息的采集问题，系统通过一些定制的采集逻辑，自动从指定网站或数据库中获取内容并保存到网站中。
一、主要功能
SiteServer CMS 提供强大的信息采集功能模块，用户只需要告诉系统目标网页并简单地设置页面规则，很快就可以直接得到所需要的数据了。
除了典型的Web页面信息采集外，系统还提供数据库信息采集与单文件页采集功能：
- Web页面信息采集用于自动从指定网站中获取内容；
- 数据库信息采集用于自动从指定数据库中获取内容；
- 单文件页采集用于将指定网页采集到本地的对应文件中。
二、系统特点
- 结果数据高度准确
- 对目标网站进行信息自动抓取，支持HTML页面内各种数据的采集，如文本信息、图片、附件、日期等
- 用户对每类信息自定义来源与分类
- 可以下载图片与各类文件
- 支持定时任务，可以与SiteServer CMS 定时模块相配合，定期抽取目标网站
- 支持记录唯一索引，避免相同信息重复入库
- 支持智能替换功能，可以将内容中嵌入的所有的无关部分如广告去除
- 支持下一页自动浏览功能
- 支持数据的多种后期处理方式
- 数据直接进入数据库而不是文件中，因此与利用这些数据的网站程序或者桌面程序之间没有任何耦合
- 支持数据库表结构完全自定义，充分利用现有数据库结构
- 支持多个栏目的信息采集可用同一配置一对多处理
- 保证信息的完整性与准确性，绝不会出现乱码
三、运用行业
通过信息采集功能，用户将在信息来源，资源整合方面节约大量的人力与资金。广泛应用于门户网站，新闻媒体，科研单位、企业网站等领域。