编辑“李进斌”（章节）

==李进斌谈采集==
我们现在在更新这个采集器，在数据采集方面也积累了一些经验，增加更多功能以适应新形式下的采集

#别人经常采的网站不要去采

#太容易采的网站不要去采

#不要一次性采集太多，一定要注意后期处理（后面详续）

#做好[[关键词]]，[[tag]]的采集分析

#自己网站要有自己的定位，不采与自己网站无关的内容

#采集也要有持续性，经常更新，自动采集功能我们也有，但还是建议大家人工也参与一些审核，或定时，乱序发布

后期处理，要想法子做到让[[搜索引擎]]那看不出来两片文章的相同，这里面应该有很多[[SEO]]高手，那我不献丑了。我说下我们现在实现的功能，大家可以把这些混用，达到改变内容[[伪原创]]：

#给标题。内容分词

#使用同义词近义词替换，排除敏感词，不同的标签之间数据融合，指如标题内容之间数据的相互替换

#给文章加上摘要

#为文章标题等生成拼音地址

#采集一些其他编码的网站，我们可以做到简繁体转化，可以采集中文网站翻译成英文（虽然比较垃圾，但应该可以算是[[原创]]）

我们也发现，高难度采集的网站一般内容质量都非常好，采集其实有时也是一件很有乐趣的事情，需要你学习一些采集相关的知识。

下面讲一些主要的防采集方法。可以说是攻防对战吧。打开一个[[网页]]实际就是一个[[Http]]请求[[浏览器]]。[[百度]][[蜘蛛]]，小到我们的采集器使用的都是一个原理，模拟http请求，所以我们同样能模拟出浏览器。百度蜘蛛出来所以绝对的防采集根本不存在，只是难度的高低。或者你认为搜索引擎的搜录也无所谓了。你可以用一些非常强大的activex，[[flash]]，全图片文字的形式，这个我们无能为力。

普通的防采集方法有

#来源判断

#登录信息判断 [[Cookie]]

#请求次数判断。如一段时间内请求多少，非常规操作则封[[IP]]

#发送方式判断 POST GET 使用[[JS]]，[[Ajax]]等请求内容

举例：

#不用说了，论坛，下载站等。。

#一些大网站，需要配置[[服务器]]，单纯靠脚本判断资源消耗比较大

#如一些招聘站，asp.net的分页，Web2.0站的ajax请求内容

当然我们后面还发现一些杀手锏，今天第一次在这里给大家公布出来 有优质内容需要防采集的朋友可以考虑试下

#网页默认deflate压缩输出（[[gzip]]容易一点，容易解压） 我们普通的浏览器和baidu支持识别gzip，deflate输出内容

#网页内容不定时 \0 内容自动截断，这两点基本可以防主大部分主流软件采集及web采集程序了~

今天主要想要表达的一点，大家在做站时一定要注意技术的提高，比如我们里面有后期外部[[php]]及[[.net]]接口处理采集数据。或者干脆你自己做一个发布时的接口程序自己入库。我们伪原创做得再好，一样有非常多的会员使用，那样又不原创了，采集一样需要技术，只有你通过采集器获得了没有多少人有的数据，你才是唯一了。
说明	输入内容	输出结果
斜体	''斜体文字''	斜体文字
粗体	'''粗体文字'''	粗体文字
粗斜体	'''''粗斜体文字'''''	*粗斜体文字*