用php写的简单采集器
|
欢迎进入Linux社区论坛，与200万技术人员互动交流 >>进入 通常我们所说的采集器又叫做小偷程序，主要是用来抓取别人网页内容的。关于采集器的制作，其实并不难，就是远程打开要采集的网页，然后用正则表达式将需要的内容匹配出来，只要稍微有点正则表达式的 欢迎进入Linux社区论坛，与200万技术人员互动交流 >>进入 通常我们所说的采集器又叫做小偷程序，主要是用来抓取别人网页内容的。关于采集器的制作，其实并不难，就是远程打开要采集的网页，然后用正则表达式将需要的内容匹配出来，只要稍微有点正则表达式的基础，都能做出自己的采集器来的。 前几天做了个小说连载的程序，因为怕更新麻烦，顺带就写了个采集器，采集八路中文网的，功能比较简单，不能自定义规则，不过大概思路都在里面了，自定义规则可以自己来扩展。 用php来做采集器主要用到两个函数：file_get_contents（）和preg_match_all（），前一个是远程读取网页内容的，不过只在php5以上的版本才能用php采集类，后一个是正则函数，用来提取需要的内容的。 下面就一步一步来讲功能实现。 因为是采集小说，所以首先要将书名、作者、类型这三个提取出来，别的信息可根据需要提取。 这里以《**********》为目标，先打开书目页， 多打开几本书会发现，书名的基本格式是书号/Index.aspx,于是我们可以做一个开始页，定义一个,用来输入需要采集的书号，以后就可以通过$_POST['number']这种格式来接收需要采集的书号了。接收到书号，下面要做的就是构造书目页，当然这里是举个例子，主要是为了讲解方便，实际制作的时候最好检查一下$_POST['number']的合法性。 构造好URL以后就可以开始采集书籍信息了。使用file_get_contents（） 函数打开书目页：$content=file_get_contents（$url），这样就能将书目页的内容都读取出来了。接下来就是将书名、作者和类型等信息匹配出来了。这里就以书名为例，其他的都一样。 打开书目页，查看源文件，找到“《回到明朝当王爷》”,这就是要提取出来的书名了。提取书名的正则表达式：/（。*?）\/is,使用preg_match_all（）函数将书名取出：preg_match_all（“/（。*?）\/is”,$contents,$title）；这样$title[0][0]的内容就是我们要的标题了（preg_match_all函数的用法可以去百度查，这里就不详细说明了）。取出了书籍信息，接下来就是取章节内容了，要取章节内容，首先要做的就是找到每一章的地址，然后远程打开章节，用正则将内容取出来，入库或者直接生成html静态文件。可以看出这个和书目页一样，是有规律可寻的。书号前面已经取得，这里的关键是找到分类号，分类号可以在前面的书目页找到，提取分类号： preg_match_all（“/Html\/Book\/[0-9]{1,}\/[0-9]{1,}\/List\.shtm/is”,$contents,$typeid）；这样还不够，还需要一个切取函数： PHP代码如下： function cut（$string,$start,$end）{ $message = explode（$start,$string）； $message = explode（$end,$message[1]）； return $message[0]; }//其中$string为要被切取的内容，$start为开始的地方，$end为结束的地方。取出分类号： $start = “Html/Book/”; $end = “List.shtm”; $typeid = cut（$typeid[0][0],$start,$end）； $typeid = explode（“/”,$typeid）； 这样，$typeid[0]就是我们要找的分类号了。接下来就是构造章节列表的地址了：$chapterurl = /Book/.$typeid[0]/$_POST['number']/List.shtm.有了这个就能找到每一章节的地址了。方法如下： $ustart = “\”“; $uend = ”\“”; //t表示title的缩写 $tstart = “>”; $tend = “ （编辑：南平站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
