安徽互聯(lián)網(wǎng)聯(lián)盟(ahunion.org)主辦的站長講座不知不覺到了第十二期。上期的講座獲得了眾多參與站長很高的贊譽(yù)也讓更多的站長積極的加入到講座群內(nèi)來奮戰不懈，目前在國內(nèi)最知名的網(wǎng)站采集軟件肯定就似乎火車頭采集器(locoy.com)了市場開拓，火車采集器(LocoySpider)是一個功能強(qiáng)大的數(shù)據(jù)采集軟件.使用它關(guān)鍵詞搜索引擎標(biāo)題采集軟件，您可以很容易的從網(wǎng)頁上抓取文字有所增加，圖片各項要求，文件等資源.目前是國內(nèi)使用率最高的網(wǎng)站采集軟件，前不久剛推出了2009的最新版越來越重要的位置，深受廣大站長的喜愛新技術。由于該采集器的創(chuàng)始人李進(jìn)斌正好是安徽老鄉(xiāng)，前不久去年底的安徽站長聚會上有過合作順滑地配合，所以李兄很爽快的就答應(yīng)了老K我來和站長朋友們聊聊深入，由于李兄是技術(shù)出生打字速度不快，所以在算算的一個半小時內(nèi)說的內(nèi)容不太多前沿技術，但是非常精辟基礎，大家看了便明白了，希望能給諸位站長帶來幫助多種方式。由于講座主群已滿 新到站長可加直播群：47744157進(jìn)行專題講座 我們隨時會T從來不發(fā)言的站長 讓更多想學(xué)習(xí)的站長進(jìn)來對外開放。

　　一、談火車頭采集器的由來

　　火車頭：我們的這個采集器最早是從05年底開始有這個想法的深入交流研討，當(dāng)時也是和大家一樣資料，個人站長，添加管理維護(hù)網(wǎng)站很辛苦關註度，一篇篇修改復(fù)制發(fā)布最開始也是接觸dede 然后發(fā)現(xiàn)他有個外部的c#采集器新產品。不知道有多少人也記得，我的思路基本是從這個dedespider學(xué)來的橋梁作用，原來真的不懂什么長遠所需，到后來學(xué)會php和.net,所以只要大家有興趣，技術(shù)上的問題都可以克服讓人糾結，講到現(xiàn)在的采集規模，其實采集只能替代站長部分手工的操作。我們不建議大規(guī)模得制造垃圾站(全盤得采集復(fù)制別人的站點)管理，所以我們現(xiàn)在的軟件的功能越做越多優化上下，但新用戶缺越來越不會用了能力建設。

　　我們現(xiàn)在有一批很忠實的會員，他們一直在靠采集器更新網(wǎng)站生產體系。迅速的采集然后百度搜錄帶來巨大的流量的時代已經(jīng)不在服務，站長還是要關(guān)注內(nèi)容，靠采集器采集的數(shù)據(jù)一樣要注意能力和水平，前期只能做為一個數(shù)據(jù)填充覆蓋，可以稍微大的。但時間長了研究，目標(biāo)就要把垃圾數(shù)據(jù)也要變成精品高效，否則做不長久

　　二、關(guān)于采集網(wǎng)站的經(jīng)驗

　　火車頭：我們現(xiàn)在在更新這個采集器提高，在數(shù)據(jù)采集方面也積累了一些經(jīng)驗機構，增加更多功能以適應(yīng)新形式下的采集

　　1.別人經(jīng)常采的網(wǎng)站不要去采

　　2.太容易采的網(wǎng)站不要去采

　　3.不要一次性采集太多，一定要注意后期處理(后面詳續(xù))

　　4.做好關(guān)鍵詞交流，tag的采集分析

　　5.自己網(wǎng)站要有自己的定位基礎，不采與自己網(wǎng)站無關(guān)的內(nèi)容

　　6.采集也要有持續(xù)性，經(jīng)常更新還不大，自動采集功能我們也有高產，但還是建議大家人工也參與一些審核，或定時發揮作用，亂序發(fā)布

　　后期處理良好，要想法子做到讓搜索引擎那看不出來兩片文章的相同，這里面應(yīng)該有很多SEO高手銘記囑托，那我不獻(xiàn)丑了引領。我說下我們現(xiàn)在實現(xiàn)的功能，大家可以把這些混用開放以來，達(dá)到改變內(nèi)容偽原創(chuàng)：

　　1.給標(biāo)題今年。內(nèi)容分詞

　　2.使用同義詞近義詞替換，排除敏感詞結構不合理，不同的標(biāo)簽之間數(shù)據(jù)融合，指如標(biāo)題內(nèi)容之間數(shù)據(jù)的相互替換

　　3.給文章加上摘要

　　4.為文章標(biāo)題等生成拼音地址

　　5.采集一些其他編碼的網(wǎng)站逐步改善，我們可以做到簡繁體轉(zhuǎn)化意見征詢，可以采集中文網(wǎng)站翻譯成英文(雖然比較垃圾，但應(yīng)該可以算是原創(chuàng))

　　我們也發(fā)現(xiàn)大大提高，高難度采集的網(wǎng)站一般內(nèi)容質(zhì)量都非常好的必然要求，采集其實有時也是一件很有樂趣的事情，需要你學(xué)習(xí)一些采集相關(guān)的知識取得了一定進展。

　　三完善好、關(guān)于防采集的方法

　　火車頭：下面講一些主要的防采集方法大面積。可以說是攻防對戰(zhàn)吧問題分析。打開一個網(wǎng)頁實際就是一個Http請求瀏覽器培養。百度蜘蛛，小到我們的采集器使用的都是一個原理更加完善，模擬http請求形式，所以我們同樣能模擬出瀏覽器。百度蜘蛛出來所以絕對的防采集根本不存在支撐作用，只是難度的高低日漸深入。或者你認(rèn)為搜索引擎的搜錄也無所謂了同時。你可以用一些非常強(qiáng)大的activex,flash,全圖片文字的形式互動式宣講，這個我們無能為力。

　　普通的防采集方法有

　　1模式、來源判斷

　　2自動化、登錄信息判斷 Cookie

　　3、請求次數(shù)判斷通過活化。如一段時間內(nèi)請求多少關(guān)鍵詞搜索引擎標(biāo)題采集軟件落地生根，非常規(guī)操作則封IP

　　4、發(fā)送方式判斷 POST GET 使用JS健康發展，Ajax等請求內(nèi)容

　　舉例：

　　1.2不用說了有效保障，論壇，下載站等關(guān)鍵詞搜索引擎標(biāo)題采集軟件非常重要。進一步提升。

　　3、一些大網(wǎng)站營造一處，需要配置服務(wù)器改革創新，單純靠腳本判斷資源消耗比較大

　　4、如一些招聘站取得顯著成效，asp.net的分頁新模式，Web2.0站的ajax請求內(nèi)容

　　當(dāng)然我們后面還發(fā)現(xiàn)一些殺手锏，今天第一次在這里給大家公布出來~~ 有優(yōu)質(zhì)內(nèi)容需要防采集的朋友可以考慮試下

　　1不容忽視、網(wǎng)頁默認(rèn)deflate壓縮輸出(gzip容易一點組織了，容易解壓) 我們普通的瀏覽器和baidu支持識別gzip,deflate輸出內(nèi)容

　　2、網(wǎng)頁內(nèi)容不定時 \0 內(nèi)容自動截斷說服力，這兩點基本可以防主大部分主流軟件采集及web采集程序了~

　　今天主要想要表達(dá)的一點搶抓機遇，大家在做站時一定要注意技術(shù)的提高，比如我們里面有后期外部php及.net接口處理采集數(shù)據(jù)表示∪骊U釋；蛘吒纱嗄阕约鹤鲆粋€發(fā)布時的接口程序自己入庫非常激烈。我們偽原創(chuàng)做得再好，一樣有非常多的會員使用引人註目，那樣又不原創(chuàng)了領域，采集一樣需要技術(shù)，只有你通過采集器獲得了沒有多少人有的數(shù)據(jù)探索創新，你才是唯一了帶來全新智能。可能是我最為技術(shù)型人的一個通病新產品，謝謝大家!

　　互動環(huán)節(jié)

　　問：您剛才提到對采集有屏蔽去完善，那對搜索引擎呢

　　答：采集和百度爬蟲是一模一樣的原理 還有瀏覽器也是一樣的 所以沒有絕對的屏蔽，相反還會影響客戶體驗長遠所需，你可以做一些不影響客戶體驗和搜索引擎搜錄 而提高采集難度的嘗試

　　問：你剛才講的是網(wǎng)頁內(nèi)容采集求索，有沒有針對匹配關(guān)鍵詞的指定字段的高速采集，比如采集所有帶”IDC“的網(wǎng)頁的郵箱和電話號碼?用過一些規模，速度很慢穩定發展，而且數(shù)據(jù)量明顯太少。

　　答：我們不做這樣批量的工具提供深度撮合服務，其實比如做論壇發(fā)帖機(jī)之類的實現(xiàn)起來道理一樣服務品質，也很容易，其實實現(xiàn)起來也是可以組成部分，只是有更多的一些人工操作 影響，我們里面有 正則匹配。的過程中。也就是你要的這種單一工具把這種正則都集成在里面了發展契機。而我們需要用戶自己去寫

　　問：采集的復(fù)雜度應(yīng)該就在這吧?頁面規(guī)則的不規(guī)則性和多變性?

　　答：在軟件里面設(shè)置能夠匹配多種模板的正則表達(dá)式，一樣可以采集到多模板的網(wǎng)站促進進步，所謂“道高一尺發力，魔高一丈”。

　　問：火車頭迎來新的篇章，能不能說一下怎么把phpcms的文章模塊下的第一級欄目顯示出來啊?

　　答：用的是 07 還是08版 07版有一個終極欄目的屬性 如果是共創美好，就不顯示。

　　問：火車頭薄弱點，你覺得哪個CMS比較好用協調機製，你給大家推薦一個你最鐘意的CMS系統(tǒng)吧。

　　答：我現(xiàn)在是對phpcms更熟悉一些形勢。選擇一個適合自己的就夠了。研究透一個取得明顯成效。

　　問：有個采集工具 海納 號稱不要編寫采集規(guī)則約定管轄，不知道有沒有同學(xué)研究過數據，想請教其原理?

　　答：你說的這個是內(nèi)容主體識別的范疇了。也做過發揮，但只對一些新聞網(wǎng)站識別得比較好 顯著，這是一個自動匹配形式的工具，就像百度新聞一樣開放以來，能自動匹配到正文數(shù)據(jù)占。對大數(shù)據(jù)量的提取有好處。但精度相對低點點提供了有力支撐，因為人工不可控激發創作。

　　問：2008 版本能平滑升級到 2009嗎?我是免費用戶，呵呵進一步意見。

　　答：軟件升級:請運(yùn)行程序目錄下的updateto2009.exe進(jìn)行升級.支持3.2sp5及2008版到2009版的升級增幅最大，支持所有用戶

　　問：請問偽原創(chuàng)的問題怎么處理呢?

　　答：我們偽原創(chuàng)做得再好，一樣有非常多的會員使用服務水平，那樣又不原創(chuàng)了最新，采集一樣需要技術(shù)，只有你通過采集器獲得了沒有多少人有的數(shù)據(jù)處理方法，你才是唯一了重要作用。比如我們有同義詞替換功能，這個詞庫就需要最好你自己去擴(kuò)充一個屬于自己的偽原創(chuàng)習慣。 使用同義詞近義詞替換充足，排除敏感詞，不同的標(biāo)簽之間數(shù)據(jù)融合導向作用，指如標(biāo)題內(nèi)容之間數(shù)據(jù)的相互替換給標(biāo)題方案。內(nèi)容分詞。為文章標(biāo)題等生成拼音地址 給文章加上摘要十大行動。采集一些其他編碼的網(wǎng)站左右，我們可以做到簡繁體轉(zhuǎn)化，可以采集中文網(wǎng)站翻譯成英文(雖然比較垃圾綜合措施，但應(yīng)該可以算是原創(chuàng))網(wǎng)民可靠保障，默認(rèn)的我們能夠自動識別網(wǎng)頁的編碼。但可能也會有出錯的時候設計標準，這時候你需要在任務(wù)第四頁手工定義一下開展，比如是gb2312還是utf8等等。