《火车头采集教程火车头采集器使用说明.doc》由会员分享，可在线阅读，更多相关《火车头采集教程火车头采集器使用说明.doc（35页珍藏版）》请在三一办公上搜索。
1、火车头 采集教程火车头采集器使用说明上图中，用红线圈住的LocoySpider.exe 是主程序，我们双击打开。ps：这里说下，上图中，有好多任务是我自己用的。新程序，并没有那么多。我们会看到火车的界面，看起来非常复杂，是吧？ 呵呵，其实并没有那么复杂，对于新手，有好多东西是用不到的。下边会一一的讲解。我们先补习一下，火车头采集软件的工作原理。因为我们浏览到的网页，最后都是通过html输出的，那么意味着，我们可以查看到html的源码，那么火车头为什么会采集到内容呢？我们看下网站的基本结构。 -这些蓝色的东西，对于新手，我们不需要知道！网页的标题 -红色的是网页的标题。如下图（1）内容 在这个和
2、之间的，是网站的内容部分。如下图（2） -这里是网站的结尾。如果想查看一个网页的html源文件，之需要点击浏览器上的 查看，源文件即可。（1）（2）那么，我们知道了一个网页最基本的架构，那么就好理解火车采集的基本原理了火车采集软件是怎么采集的呢？我们配置好火车头采集规则，什么叫采集规则？就是我们查看网页的源文件，看看整个网页的源码，内容部分的开始标签，和结束标签，这样火车才能知道，我们要采集这个页面的哪个部分，比如下边我们演示的。网页的标题内容我们想要采集“内容”那么就要告诉火车采集器，内容开始标签是，结束标签就是明白了么？呃。估计是我的表达能力不够好。so。我们看下边的实例，在好好巩固下就O
3、K。OK。那么我们开始一步一步教大家设置采集规则。首先第一个。我们的目标站。discuz！x1.5架构的网站。我们要把这个版块的内容以及回复都采集到我们的网站上去。首先我们打开火车，新建一个站点。点击火车左上角上的新建按钮，选择新建站点。如下图我们只需要填写站点名就可以，其余的保持默认，然后点击保存按钮！然后。在这个站点下，新建一个任务。选中我们新建的站点，点击鼠标右键，选择第一个，从该站点新建任务。如下图其中1，是任务的名字，必须填写。2，是整个采集任务的步骤向导，3，是文章列表的设置区域（下边讲解），4，和3差不多。5，是登录的地方，有些网址必须登录，我们才可以看到内容，就是这个东西！OK
4、。就这些，那么，我们一步一步的来！首先我们给我们的任务加一个标题。下一步，我们就开始设置列表的采集规则（因为现在火车不知道 这个页面的文章列表是那些，所以我们要告诉火车！）这里有两种方式，新手嘛，我也不知道适合哪种。我们就用默认的吧，第一种我们点击向导添加然后出现下图。其中有4个选项卡，如果我们只采集目标站点的一个文章列表然后点击添加，点击完成就OK。那么，如果我们要采集多个列表。那么我们回到 看下边的图其中1，是目标网站的地址其中2，是火车的通配符（就是某个东西识别的东西）其中3，是间隔数已经补零（下边一一讲解）其中4，数字变化。下边讲解其中5，字母变化。那么。看下图图中在地址栏填写的是 这
5、个。那么，这是什么意思呢？ 我们打开 这个地址，然后点击下一页发现地址变成了 那么我们在点击下一页，就是第三页，发现地址变成了 那么在点击第四页。想必大家也知道变成什么了吧？ 那么第一页：第二页：第三页：翻页中，我们发现，只有1在变化。那么我们在火车那里就填写 这个，其中1用火车的通配符(*)替换掉。意思就是，只有1在变化。在看下边其中数字变化，从1到5.意思就是 从地址栏 1到5，就是下边这样的。明白了么？其实很简单。那么字母变化，就是 。因为我们目标地址是数字变化。我们继续看下边间隔倍数，和补零。间隔倍数1是什么意思？40又是什么意思呢？间隔倍数1就是。间隔倍数40就是。明白了么？那么我们
6、在看补零，补零就是。就是这样。其实很好理解。OK。我们继续。我们填写完成后，点击添加 - 完成。如下图到这里，我们的地址就添加完成了。那么下边，我们来设置区域列表。我们先设置第一个。“文章内容页面地址必须包含。不得包含。”我们随便点开 这个网址中的两篇文章，看下URL。就是文章地址。发现以上两个地址。那么他们其中只有 红色部分在变动。那么，文章内容必须包含。我们写 这样就可以,那么我们点击“开始测试网址采集”这个时候，我们点开网站前边的+号发现，其实网址已经采集成功了。其中的并不需要填写。这是为什么呢？因为我们采集的页面 中的文章地址，就是 红色部分都会变动。或者有可能变动。所以我们加上通配符
7、，所以我们不用填写这个，也可以采集成功。那么，为了让大家更直白的了解火车，我们还是写一下。那么我们打开 这个地址，在页面中，点击右键，选择“查看源文件”（因为不好截图。）发现上边的东西出现，都是一些猥琐的html代码。我们怎么定义文章地址的区域呢？看下图我们复制页面中的“筛选”然后在页面源码中查找下，那么自然，下边的，就是文章地址的区域咯。那么我们在这里，填写什么呢？我们要填写一个“唯一”的东西。就是这个页面独有的一个，并且在文章地址上方的一个代码。如上图。我们选择这段 代码！然后我们复制 这段代码，在我们打开的源文件中，向下查找看，看看有没有相同的。好消息。没有相同了。那么我们在填写 那么这
8、里怎么填写呢？其实一样。我们给下看看源码。我们向上查找下。OK.那么。就填写.就OK。照着这样填写就OK了。其实这一步是多此一举。只是教大家怎样填写罢了。我们随便选中一条地址，双击鼠标左键。直接跳到第二部，采集内容规则。在这里，我们点击一下测试按钮。发现，标题和内容都采集到了，但是。在标题上，我们把目标站点的网站主标题也采集过来了。而内容。是把整个页面乱七八糟的东西都采集过来了。那么。我们开始设置更精确的采集规则。擦。首先，我们设置标题。现在默认的采集标题是 又出来个史上最强大的搜索引擎！ - 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz! 我们需
9、要的标题是红色部分。那么。 我们双击上图被圈住的地方。那么我们需要设置的地方就是那么。我们现在采集到的标题是 又出来个史上最强大的搜索引擎！ - 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz! 这个，那么，我们只需要把蓝色的部分去掉。怎么去掉呢？下图我们添加然后点击确定点击测试发现又出来个史上最强大的搜索引擎！ - 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz! 蓝色部分已经被去掉。那么我们这里来解释下。上图中的开始字符串和结束字符串是什么呢？我们打开 这个页面，然后查看下源文件。如下图。可以发现，在和
10、中就是我们要采集文章的标题，只是多了- 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz! 这个，那么我们排除就可以了。那为什么在中，要写成- (*) - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz!这样的呢？为什么把 无聊扯蛋换成了(*)呢？因为我们可以看得出- 无聊扯蛋 - 张家口市姚家房镇及周边地方娱乐门户站 - Powered by Discuz! 无聊扯蛋 只是这个网站的一个版块，如果采集别的版块，那么 无聊扯蛋，就会变动。到时候我们还得设置排除标签。索性，我们把它改成通配符(*)，那么在采集别的版块，就不用
11、设置了。那么其中的蓝色部分，是网站的主标题，在一般情况下是不会变动的。所以不用搞成通配符。 那么。标题。我们就设置完成了。下边来设置内容部分。内容部分的采集规则设置，其实和列表一样！我们服饰内容，在源文件进行查找。其中选中的部分，就是我们的内容部分。那么。我们在源码中 查找下 这个标签，看看是不是唯一的。 发现并不是唯一的。而是每个楼层也就是回帖的内容都是用 和 括起来的。那么。我们就输入上图所示。在图中的 html标签排除。我们全选。因为我们之后的发布，是不支持发布附件的，也不支持html。所以全部排除。然后确定。我们测试下其中内容和内容之间，用|分割开了。这是啥意思类？呵呵。这个是循环匹配
12、。就是。一个楼层与楼层之间的分隔符。就是回复与回复之间的分隔符。哎呀。我也说不清楚啦。总之。这样就可以。默认，保持不变就OK。那么。现在，标题也设置OK。内容也OK。接下来就是分页问题。我们在源文件中查找“下一页”那么图中被选中的地方，就是下一页的全部源码。那么，我们选中下一个的开始标签 和结束标签，对应输入到就可以了。我们在分页内容合并链接代码这里输入|这个。至于什么意思。就是分页嘛。我也说不清楚。总是输入就是了。那么。到这里，网址采集部分，和内容采集部分已经设置完毕了。下边，我们要讲，发布。现在开始讲解 火车头的发布。因为我们需要发布到 我们的 discuz！x1.5的程序上。那么，首先我
13、们需要两个东西1.火车头的dz1.5的发布模块 （尘缘免费版）2.免登录接口 （尘缘免费版）那么。下载地址。如果下载地址失效。请加我QQ 索取 782711659下载后，解压。首先呢。我们需要配置接口。我们进入接口文件夹。并且进入对应编码的文件夹发现有两个php文件。 其中的 Locoy.php是程序主文件，可以改名，Locoy.config.php是配置文件，不能改名。那么我们先把Locoy.php的名字改掉。我们改成 woca.php然后我们打开locoy.config.php 这个文件其中1，是发帖的用户，2，是回帖的用户。这里我们可以填写自己的。记得用|分开。这里说下，我们填写的用户名
14、，可以是网站没有注册的，也可以是注册过的。如果没有注册的，它会自动注册。剩下其他的配置参数，可以根据自己的需要更改，都有注释，这里就不一一解释了。更改完成后，我们把这两个文件上传到我们空间的根目录。OK。接口文件我们已经处理完毕。那么。我们开始处理发布模块。进入火车。我们导入圈中的模块。因为我已经导入过了。所以这里不用。在图中圈住的地方。我们要修改成我们自己改的名字。如图。记得在刷新列表那里也要修改。OK。模块基本完成了。还有一点。如果我们的版块开启了主题分类，那么我们还需要修改下模块。比如我们要给维修知识里边发。那么。发现主题分类的typei=1 那么我们在发布模块中填写。明白了呗？ 呵呵。就这样我们的发布模块就配置完成了。 我们保存。给它加一个名字。然后我们关闭当前的模块。我们选中我们刚才修改过并且重命名的模块。然后进行填写信息。如下图。其中1，输入我们的网站地址。2，把“目标网站需要登录的沟，去掉。”3.点击一下获取列表。4，填写一个名字，并且保存配置在空白处，点击右键。选择添加更多发布配置。然后选中我们刚刚配置好的模块！选中，点击添加。记得选中启用。下一步，我们点击选择分类选择我们要发布的版块。然后确定。然后保存。更新。点击开始按钮。采集内容列表中。采集内容中。发布成功。偶尔有一两个发布失败。别管它。那是有点帖子内容太少，而你的论坛设置帖子字数的原因。Ok!
