談到網(wǎng)頁(yè)搜索引擎時(shí),大多數(shù)人都會(huì)想到雅虎。的確,雅虎開(kāi)創(chuàng)了一個(gè)互聯(lián)網(wǎng)絡(luò)的搜索時(shí)代。然而,雅虎目前用于搜索網(wǎng)頁(yè)的技術(shù)卻并非該公司原先自己開(kāi)發(fā)的。2000年8月,雅虎采用了Ｇｏｏｇｌｅ(ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ)這家由斯坦福大學(xué)學(xué)生創(chuàng)建的風(fēng)險(xiǎn)公司的技術(shù)。理由非常簡(jiǎn)單,Ｇｏｏｇｌｅ的搜索引擎比雅虎先前使用的技術(shù)能更快、更準(zhǔn)確搜索到所需要的信息。讓我們自己來(lái)設(shè)計(jì)、開(kāi)發(fā)一個(gè)強(qiáng)勁、高效的搜索引擎和數(shù)據(jù)庫(kù)恐怕短時(shí)間內(nèi)在技術(shù)、資金等方面是不可能的,不過(guò),既然雅虎都在使用別人的技術(shù),那么我們是不是也可以使用別人現(xiàn)成的搜索引擎網(wǎng)站呢?

    1　編程思路我們可以這樣設(shè)想:模擬一個(gè)查詢(xún),向某個(gè)搜索引擎網(wǎng)站發(fā)出相應(yīng)格式的搜索命令,然后傳回搜索結(jié)果,對(duì)結(jié)果的ＨＴＭＬ代碼進(jìn)行分析,剝離多余的字符和代碼,最后按所需要的格式顯示在我們自己的網(wǎng)站頁(yè)面里。這樣,問(wèn)題的關(guān)鍵就在于,我們要選定一個(gè)搜索信息準(zhǔn)確(這樣我們的搜索才會(huì)更有意義啊)、速度快(因?yàn)槲覀兎治鏊阉鹘Y(jié)果并顯示需要額外的時(shí)間),搜索結(jié)果簡(jiǎn)潔(便于進(jìn)行ＨＴＭＬ源代碼分析和剝離)的搜索網(wǎng)站,由于新一代搜索引擎Ｇｏｏｇｌｅ的各種優(yōu)良特性,這里我們選擇它為例,來(lái)看看用ＰＨＰ怎樣實(shí)現(xiàn)后臺(tái)對(duì)Ｇｏｏｇｌｅ(ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ)搜索、前臺(tái)個(gè)性化顯示這一過(guò)程。

    我們先來(lái)看看Ｇｏｏｇｌｅ的查詢(xún)命令的構(gòu)成。進(jìn)入ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ網(wǎng)站,在查詢(xún)欄中輸入“ａｂｃｄ”,點(diǎn)擊查詢(xún)按鈕,我們可以發(fā)現(xiàn)瀏覽器的地址欄變成:“ｈｔｔｐ:∥ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ ｓｅａｒｃｈ?ｑ=ａｂｃｄ＆ｂｔｎＧ=Ｇｏｏｇｌｅ%ＣＢ%Ｄ1%ＣＢ%Ｆ7＆ｈｌ=ｚｈ-ＣＮ＆ｌｒ=”,可見(jiàn),Ｇｏｏｇｌｅ是通過(guò)表單的ｇｅｔ方式來(lái)傳遞查詢(xún)參數(shù)并遞交查詢(xún)命令的。我們可以使用ＰＨＰ中的ｆｉｌｅ()函數(shù)來(lái)模擬這個(gè)查詢(xún)過(guò)程。

    2　了解Ｆｉｌｅ()函數(shù)語(yǔ)法:ａｒｒａｙｆｉｌｅ(ｓｔｒｉｎｇｆｉｌｅｎａｍｅ);返回值為數(shù)組,將文件全部讀入數(shù)組變量中。這里的文件可以是本地的,也可以是遠(yuǎn)程的,遠(yuǎn)程文件必須指明所使用的協(xié)議。例如:

ｒｅｓｕｌｔ=ｆｉｌｅ(“ｈｔｔｐ:∥ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ ｓｅａｒｃｈ?ｑ=ａｂｃｄ＆ｂｔｎＧ=Ｇｏｏｇｌｅ%ＣＢ%Ｄ1%ＣＢ%Ｆ7＆ｈｌ=ｚｈ-ＣＮ＆ｌｒ=”),該語(yǔ)句將模擬我們?cè)冢牵铮铮纾欤迳喜樵?xún)單詞“ａｂｃｄ”的過(guò)程,并將搜索結(jié)果以每行為元素,傳回到數(shù)組變量ｒｅｓｕｌｔ中。因?yàn)檫@里讀取的文件是遠(yuǎn)程的,所以協(xié)議名“ｈｔｔｐ:∥”不能缺少。如果要讓用戶(hù)輸入搜索字符進(jìn)行任意搜索,我們可以做一個(gè)輸入文本框和提交按鈕,并將上文中的被搜索字符“ａｂｃｄ”用變量替換:<?ｐｈｐ　ｅｃｈｏ“<ｆｏｒｍ>”;∥沒(méi)有參數(shù)的ｆｏｒｍ,默認(rèn)提交方式為ｇｅｔ,提交到本身　ｅｃｈｏ“<ｉｎｐｕｔｔｙｐｅ=“ｔｅｘｔ”ｎａｍｅ=“ｋｅｙｗｏｒｄｓ”>”;∥構(gòu)造一個(gè)文本輸入框　ｅｃｈｏ“<ｉｎｐｕｔｔｙｐｅ=“ｓｕｂｍｉｔ”ｖａｌｕｅ=“查詢(xún)”>”;∥構(gòu)造一個(gè)提交查詢(xún)按鈕　ｅｃｈｏ“< ｆｏｒｍ>”;　ｉｆ(ｉｓｓｅｔ(ｋｅｙｗｏｒｄｓ))∥提交后ＰＨＰ會(huì)生成變量ｋｅｙｗｏｒｄｓ,即要求下面的程序在提交后運(yùn)行

　{　ｕｒｌｅｎｃｏｄｅ(ｋｅｙｗｏｒｄｓ);∥對(duì)用戶(hù)輸入內(nèi)容進(jìn)行ＵＲＬ編碼　ｒｅｓｕｌｔ=ｆｉｌｅ(“ｈｔｔｐ:∥ｗｗｗ.ｇｏｏｇｌｅ.ｃｏｍ ｓｅａｒｃｈ?ｑ=”.ｋｅｙｗｏｒｄｓ.“＆ｂｔｎＧ=Ｇｏｏｇｌｅ%ＣＢ%Ｄ1%ＣＢ%Ｆ7＆ｈｌ=ｚｈ-ＣＮ＆ｌ=”);　∥對(duì)查詢(xún)語(yǔ)句進(jìn)行變量替換,將查詢(xún)結(jié)果保存在數(shù)組變量ｒｅｓｕｌｔ中　ｒｅｓｕｌｔ ｓｔｒｉｎｇ=ｊｏｉｎ(“”,ｒｅｓｕｌｔ);∥將數(shù)組|Sｒｅｓｕｌｔ合并成字符串,各數(shù)組元素之間用空格粘和…∥進(jìn)一步處理}?>上面的這段程序已經(jīng)能按用戶(hù)輸入內(nèi)容進(jìn)行查詢(xún),并將返回的結(jié)果合成一個(gè)字符串變量|Sｒｅｓｕｌｔ ｓｔｒｉｎｇ。請(qǐng)注意要使用ｕｒｌｅｎｃｏｄｅ()函數(shù)將用戶(hù)輸入內(nèi)容進(jìn)行ＵＲＬ編碼,才可以正常地對(duì)輸入的漢字、空格以及其他特殊字符進(jìn)行查詢(xún)這樣做也是盡可能逼真地模擬Ｇｏｏｇｌｅ的查詢(xún)命令,保證搜索結(jié)果的正確性。

    3　對(duì)Ｇｏｏｇｌｅ的分析為了便于理解,現(xiàn)在假設(shè)我們所真正需要的東西是:搜索結(jié)果的標(biāo)題、網(wǎng)址和簡(jiǎn)介等,這是一個(gè)簡(jiǎn)潔而典型的需求。這樣,我們所要做的便是:去除Ｇｏｏｇｌｅ搜索結(jié)果的臺(tái)頭和腳注,包括一個(gè)Ｇｏｏｇｌｅ的標(biāo)志、再次搜索的輸入框和搜索結(jié)果說(shuō)明等,并且在剩余的搜索結(jié)果各項(xiàng)條目中剝離原來(lái)的ＨＴＭＬ格式標(biāo)記,替換成我們想要的格式。要做到這一點(diǎn),我們必須仔細(xì)地分析Ｇｏｏｇｌｅ搜索結(jié)果的ＨＴＭＬ源碼,找到其中的規(guī)律。不難發(fā)現(xiàn),在Ｇｏｏｇｌｅ的搜索結(jié)果的正文總是包含在源碼的第一個(gè)<ｐ>標(biāo)記和倒數(shù)第二個(gè)<ｐ>標(biāo)記之間,并且倒數(shù)第二個(gè)<ｐ>標(biāo)記后緊跟ｔａｂｌｅ字符,而且這個(gè)組合“<ｐ><ｔａｂｌｅ”在源碼中也僅有1次,利用這個(gè)特點(diǎn),我們可以這樣去除Ｇｏｏｇｌｅ的臺(tái)頭和腳注。以下所有程序均依次接續(xù)在上文程序的“進(jìn)一步處理”處。ｒｅｓｕｌｔ ｓｔｒｉｎｇ=ｓｔｒｓｔｒ(ｒｅｓｕｌｔ ｓｔｒｉｎｇ,“<ｐ>”);∥取ｒｅｓｕｌｔ ｓｔｒｉｎｇ從第一個(gè)<ｐ>開(kāi)始后的字符串,以去除Ｇｏｏｇｌｅ臺(tái)頭ｐｏｓｉｔｉｏｎ=ｓｔｒｐｏｓ(ｒｅｓｕｌｔ ｓｔｒｉｎｇ,”<ｐ>ｔａｂｌｅ符號(hào)的位置ｒｅｓｕｌｔ ｓｔｒｉｎｇ=ｓｕｂｓｔｒ(ｒｅｓｕｌｔ ｓｔｒｉｎｇ,0,ｐｏｓｉｔｉｏｎ);∥截取第一個(gè)<ｐ>ｔａｂｌｅ符號(hào)之前的字符串,以去除腳注

    4　應(yīng)用與實(shí)現(xiàn)現(xiàn)在我們已經(jīng)得到有用的ＨＴＭＬ源碼主干了,剩下的問(wèn)題是如何自主地顯示這些內(nèi)容。我們?cè)俜治鲆幌逻@些搜索結(jié)果條目,發(fā)現(xiàn)每個(gè)條目之間也是很有規(guī)律的用分隔,也就是各成一個(gè)段落,按這個(gè)特點(diǎn)我們用ｅｘｐｌｏｄｅ()函數(shù)把每個(gè)條目切開(kāi):語(yǔ)法:ｅｘｐｌｏｄｅ(ｓｔｒｉｎｇｓｅｐａｒａｔｏｒ,ｓｔｒｉｎｇｓｔｒｉｎｇ);返回一個(gè)數(shù)組,按ｓｅｐａｒａｔｏｒ切開(kāi)后的各個(gè)小字串被保存在數(shù)組中。于是:ｒｅｓｕｌｔ ａｒｒａｙ=ｅｘｐｌｏｄｅ(“<ｐ>”,ｒｅｓｕｌｔ ｓｔｒｉｎｇ);∥用字串“<ｐ>”把結(jié)果切開(kāi)我們就得到一個(gè)數(shù)組ｒｅｓｕｌｔ ａｒｒａｙ,其中每個(gè)元素都是一個(gè)搜索結(jié)果條目。我們所要做的僅僅是研究每個(gè)條目及其ＨＴＭＬ顯示格式代碼,然后按要求替換就行了。下面用循環(huán)來(lái)處理ｒｅｓｕｌｔ ａｒｒａｙ中的每個(gè)條目。ｆｏｒ(ｉ=0;ｉ{…∥處理每個(gè)條目}對(duì)于每個(gè)條目,我們也很容易找到一些特點(diǎn):每個(gè)條目都由標(biāo)題、摘要、簡(jiǎn)介、類(lèi)別、網(wǎng)址等組成,每個(gè)部分都換行,即包含<ｂｒ>標(biāo)記,于是再次分割:(以下處理程序放在上文的循環(huán)中)ｅｖｅｒｙ ｉｔｅｍ=ｅｘｐｌｏｄｅ(“<ｂｒ>”,ｒｅｓｕｌｔ ａｒｒａｙ[ｉ]);這樣我們得到一個(gè)數(shù)組ｅｖｅｒｙ ｉｔｅｍ,其中ｅｖｅｒｙ ｉｔｅｍ[0]就是標(biāo)題,ｅｖｅｒｙ ｉｔｅｍ[1]和ｅｖｅｒｙ ｉｔｅｍ[2]兩行為摘要,ｅｖｅｒｙ ｉｔｅｍ[3]和ｅｖｅｒｙ ｉｔｅｍ[4]等等的頭部如果包含“<ｆｏｎｔｓｉｚｅ=-1ｃｏｌｏｒ=#6ｆ6ｆ6ｆ>簡(jiǎn)介:< ｆｏｎｔ>”、“<ｆｏｎｔｓｉｚｅ=-1ｃｏｌｏｒ=#6ｆ6ｆ6ｆ>類(lèi)別:< ｆｏｎｔ>”字符,則是簡(jiǎn)介或類(lèi)別(因?yàn)橛械慕Y(jié)果條目沒(méi)有該項(xiàng)),如果頭部包含“<ｆｏｎｔｃｏｌｏｒ=ｇｒｅｅｎ>”則肯定就是網(wǎng)址啦,這種對(duì)比判斷我們常使用正則表達(dá)式(略),如果要替換也很方便,比如包含標(biāo)題的|Sｅｖｅｒｙ ｉｔｅｍ[0],其本身是有鏈接的,我們希望修改這個(gè)鏈接屬性,讓它在新窗口打開(kāi)鏈接:ｅｃｈｏｅｒｅｇｉ ｒｅｐｌａｃｅ(”{…∥處理每個(gè)條目中除去第一項(xiàng)(第一項(xiàng)為標(biāo)題,已經(jīng)顯示)的每一項(xiàng)…∥更多格式修改}

    這樣就修改了鏈接屬性,其余很多顯示格式的修改、剝離、替換都能用正則替換ｅｒｅｇｉ ｒｅｐｌａｃｅ()來(lái)完成。至此我們已經(jīng)得到了每個(gè)搜索條目的每一項(xiàng),并能任意修改每項(xiàng)的格式,甚至可以給他套上漂亮的表格。然而一個(gè)好的程序應(yīng)該能適應(yīng)各種運(yùn)行環(huán)境的,這里也不例外,我們其實(shí)還只是討論了搜索結(jié)果的ＨＴＭＬ剝離的一種框架方法,真正要做得完美,還要考慮很多內(nèi)容,比如要顯示一共搜索出多少結(jié)果,分成多少頁(yè)等等,甚至還可以刨除與Ｇｏｏｇｌｅ相關(guān)的那些“類(lèi)別”、“簡(jiǎn)介”等代碼,讓客戶(hù)根本看不到原始網(wǎng)站。不過(guò)這些內(nèi)容和要求我們都能通過(guò)分析ＨＴＭＬ進(jìn)行剝離得到。現(xiàn)在大家完全能自己動(dòng)手,做個(gè)極富個(gè)性化的搜索引擎啦。