BBSGood.Spider (BBSGood蜘蛛采集系统) 1.002

nbsp;   6.无需安装，完全绿色。

    我的希望是，只要设定好规则，开在哪里，就永远自动更新你的网站了，不是起早摸黑的更新内容了。

使用方法：

    1.里面含有五个文件，一个是spider.exe,另一个是db1.mdb。test.mdb，说明.text和libmysql.dll。spider.exe是采集主程序。db1.mdb是数据库，用来存放你设定的规则。点击 spider.exe 这个文件，打开采集系统，点击上面的新建项目，就可以设定你的第一个采集目标，我们对每一个采集对方的一个目标，称为一个采集项目。
test.mdb是bbsgood论坛的数据库，默认的测试数据可以存储在这个access库中。

    2.现在我来介绍一个这个界面，最上面部分是按钮功能区，下面左侧显示的都是你新建的所有项目，项目列表里有三个字段，分别是，编号，项目名称和状态，注意，只有状态为有效的项目才能采集，而要让项目有效，必须经过，测试采集，测试采集成功的项目，才为有效的。右边是采集状态区，状态有二种，采集内容的状态和ftp将图片同步到你的服务器的状态。左边最底下，还有一些有项目管理的按钮，比如删除项目，导出，导入，复制等。

    3.现在我们先来学习，如何新建一个项目，在我们的采集里有一个默认的项目设定例子，供你参考学习:
      (1).点击新建项目，弹出新建窗口，输入项目名称，选择对方网站的编码，如何知道对方网站的编码，请打开对方网页的页面，在浏览器里右键点击，查看源码，在<meta http-equiv="Content-Type" content="text/html; charset=gb2312" />类似的语句中，查看是什么编码，像这个就是gb2312了，注意gbk的网站也选择gb2312，这个兼容的。至于自己网站是什么编码，你自己应该清楚了。 填入要采集的列表网址，这里要注意,如果你要采集的列表要好几页，那么页面就填{$ID}，如果只采一页，就直接填这一页的网址了。在列表分页面填从第几页采集到第几页，如果只有一页，那么全部是1。后面如果打勾是否倒序采集，那么采集会从最后一页开始采集到第一页。最后是要采集的这个列表开始和结束部分，查看刚才对方网站的源码，把你需要采集的列表，开始和结束部分的唯一特征代码，填上去(这个可能有点难度，注意多多测试，不懂的到论坛上交流)。
      (2).点击下一步，是设定链接，我们需要将列表的，要采集的文章链接地址给取出来，注意，如果对方网站是相对地址，你可以设定链接重定向，如果是绝对地址，那么链接重定向就不用填了。

      (3).再点下一步，这是该设置文章标题和内容的，注意内容开始和结束分别可以填五项，这是因为网站内容部分的特征码寻找非常困难，同一个网站不同的内容会出现不同的特征码，所以我们可以填写最多五个，另外，这几个特征码的按12345的顺序寻找。

      (4).分页设置，文章很多时候也会分很多页，先设置分页链接部分的开始和结束特征码，然后，将分页的链接取出。分页的内容和前面一步采集。另外，你还可以选择从分页的第几页开始采，默认是1。

      (5).图片下载和标签过滤设置，如果你需要将文章中的图片下载下来并替换成本地图片的链接，而不是盗链对方网站，请打勾将图片下载到本地。如果你需要将下载的图片加入自己的水印，则填写水印图的图片绝对地址和文件名。选择需要水印的图片扩展名，填写排除图片水印的图片大小要求。选择水印位置，另外请填写图片保存的相对路径和绝对路径，这里特别要注意，相对路径，就是你保存图片的目录，比如，你将图片保存在网站的upload目录下，那么就填写/upload，绝对路径就很好理解了，比如如果在upload目录下，那么就填写这个目录的完全路径，D:\wwwroot\upload，相对路径不要填错了，因为这个位置的链接到替换原来的图片链接地址。也就是，相对路径的目录位置同时也是绝对路径的位置(如果本软件不是在服务器上运行的，是通过ftp同步到服务器上面，那么本地的图片存储位置可以与相对路径不一至，因为相对路径就是针对服务器上的存储链接位置，而绝对路径是用来存储下载下来的图片位置。) 另外你可以设置要过滤的标签，比如有些内容中的广告是用s cript代码来调用的，你可以选择它过滤掉。

      (6).这一步是用来设置文字替换的，可以对文章内容的文字替换掉。下面是FTP设置，如果你在前一步选择了将图片下载到本地，同时本软件不是在服务器上运行的，那么需要设置ftp，用ftp功能将图片同步上传到你上一步图片设置的相对目录中。同时填写上传图片的相对位置和上一步图片设置的相对路径是一至的，注意前面不需要加/了，是upload而不是/upload了。

      (7).这是最后一步了，是设置采集的内容存储在什么数据库中，先选择你网站的数据库类型，然后填写数据库地址，帐号和密码，注意access数据库不需要填写数据库名称和帐号。点击测试连接，提示成功就ok了。然后填写表名称，就是你这个内容要存储到数据库的哪个表中。最下面是填写字段了，你想把对应的标题和内容存储到什么字段中，注意，$title$表示标题,$body$表示内容，其它字段的初始化值，你可以按实际情况填写，比如 1,boardid表示默认在boardid字段中，填1。每个设置用|隔开，比如$title$,subject|$body$,text|2,boardid，前面表示将标题存储到subject字段，将内容存储到text字段，将2这个常量存储到boardid字段。在bbsgood论坛中，boardid表示版块号，也就是说，将采集的内容存储到boardid为2的这个分类中。设置完后，请一定要点一下测试字段，查一下是否设置有错。点击完成。

    4.好了，上面我们介绍了如何新建一个项目，建立完后，这个项目名称会显示在左边的项目列表中，如果双击项目名称，我们可以对这个项目进行编辑，新项目创建完成，首先要做的就是做采集测试。在列表中，选择你要测试的项目，然后，点击测试采集，点击，开始测试采集，如果采集的标题和内容没有异常，就通过测试，可以开始正式采集，如果有异常，就双击项目名称，进行编辑修改。

    5.正式采集，在项目列表中，对需要采集的项目进行打勾，然后点击开始采集，就开始了。注意，上面还有一个，是否对所有项目循环采集，如果对它进行打勾，那么采集就永远不会停止了，除非你手工点击，停止采集，如果你想对打勾的项目，只采集一遍，就不要打勾了。如果你需要对所选的项目进行不停的采集，就打勾吧，循环采集有一个好处，就是系统不停的在对对方网站进行检测，有没有新的文章，如果发现新文章，就马上自动采集过来了，你晚上睡觉不关电脑，也自动在更新了。特别注意一点，就是你对新项目第一次采集的时候，可以在列表中，选择了采集很多页，这样对方网站的内容就全部过来了，但是在以后的循环采集中，就选择只采一页列表就可以了，这样他就只针对第一页最新的内容在不停的检测有没有新文章，提升了采集性能，也就是说当对方网站所有内容都采集过来以后，后面对这个网站的更新采集，只选择一页列表就可以了，双击项目编辑，列表分页从第1到第1页。

    6.在采集的过程中，右边的状态在不停的提醒的，还有如果选择了ftp同步图片，ftp的状态也会在上面显示，注意图片是否上传完，请看看状态里面，还需要上传多少张图片，因为采集可能完成了，但图片还可能还没有上传完，就先不要关闭系统。直到提示还需要上传0张图片为止，另外提示上传失败的图片，系统会自动补传的。

    7.左下角还有几个功能按钮，你可以先选中需要操作的项目，然后点击，删除，导入，导出，复制等，注意，导出和复制只能选择一个项目进行操作。

结束语：
    感谢你使用本系统，本系统是完全开放免费的，为了更好的对这个项目进行发展，请你对使用中的问题和自己的心得，发在我们的论坛上，我们会不停的改进这个系统。

>