安徽互聯(lián)網聯(lián)盟(ahunion.org)主辦的站長講座不知不覺到了第十二期積極回應。上期的講座獲得了眾多參與站長很高的贊譽也讓更多的站長積極的加入到講座群內來重要性，目前在國內最知名的網站采集軟件肯定就似乎火車頭采集器(locoy.com)了，火車采集器(LocoySpider)是一個功能強大的數(shù)據(jù)采集軟件.使用它多種場景，您可以很容易的從網頁上抓取文字多元化服務體系，圖片，文件等資源.目前是國內使用率最高的網站采集軟件擴大公共數據，前不久剛推出了2009的最新版深度，深受廣大站長的喜愛。由于該采集器的創(chuàng)始人李進斌正好是安徽老鄉(xiāng)核心技術體系，前不久去年底的安徽站長聚會上有過合作開拓創新，所以李兄很爽快的就答應了老K我來和站長朋友們聊聊，由于李兄是技術出生打字速度不快必然趨勢，所以在算算的一個半小時內說的內容不太多促進善治，但是非常精辟，大家看了便明白了多樣性，希望能給諸位站長帶來幫助短網址生成發揮效力。由于講座主群已滿 新到站長可加直播群：47744157進行專題講座 我們隨時會T從來不發(fā)言的站長 讓更多想學習的站長進來。

　　一帶動產業發展、談火車頭采集器的由來

　　火車頭：我們的這個采集器最早是從05年底開始有這個想法的責任製，當時也是和大家一樣，個人站長倍增效應，添加管理維護網站很辛苦規則製定，一篇篇修改復制發(fā)布最開始也是接觸dede 然后發(fā)現(xiàn)他有個外部的c#采集器。不知道有多少人也記得優化服務策略，我的思路基本是從這個dedespider學來的關規定，原來真的不懂什么，到后來學會php和.net,所以只要大家有興趣兩個角度入手，技術上的問題都可以克服建強保護，講到現(xiàn)在的采集，其實采集只能替代站長部分手工的操作生產效率。我們不建議大規(guī)模得制造垃圾站(全盤得采集復制別人的站點)使命責任，所以我們現(xiàn)在的軟件的功能越做越多，但新用戶缺越來越不會用了。

　　我們現(xiàn)在有一批很忠實的會員合規意識，他們一直在靠采集器更新網站密度增加。迅速的采集然后百度搜錄帶來巨大的流量的時代已經不在，站長還是要關注內容創新內容，靠采集器采集的數(shù)據(jù)一樣要注意機遇與挑戰，前期只能做為一個數(shù)據(jù)填充，可以稍微大的善於監督。但時間長了集成技術，目標就要把垃圾數(shù)據(jù)也要變成精品，否則做不長久

　　二更合理、關于采集網站的經驗

　　火車頭：我們現(xiàn)在在更新這個采集器適應能力，在數(shù)據(jù)采集方面也積累了一些經驗，增加更多功能以適應新形式下的采集

　　1.別人經常采的網站不要去采

　　2.太容易采的網站不要去采

　　3.不要一次性采集太多有所應，一定要注意后期處理(后面詳續(xù))

　　4.做好關鍵詞足了準備，tag的采集分析

　　5.自己網站要有自己的定位，不采與自己網站無關的內容

　　6.采集也要有持續(xù)性著力提升，經常更新深刻內涵，自動采集功能我們也有，但還是建議大家人工也參與一些審核重要的作用，或定時貢獻，亂序發(fā)布

　　后期處理，要想法子做到讓搜索引擎那看不出來兩片文章的相同穩中求進，這里面應該有很多SEO高手統籌，那我不獻丑了。我說下我們現(xiàn)在實現(xiàn)的功能協同控製，大家可以把這些混用振奮起來，達到改變內容偽原創(chuàng)：

　　1.給標題。內容分詞

　　2.使用同義詞近義詞替換利用好，排除敏感詞深入各系統，不同的標簽之間數(shù)據(jù)融合，指如標題內容之間數(shù)據(jù)的相互替換

　　3.給文章加上摘要

　　4.為文章標題等生成拼音地址

　　5.采集一些其他編碼的網站系列，我們可以做到簡繁體轉化作用，可以采集中文網站翻譯成英文(雖然比較垃圾，但應該可以算是原創(chuàng))

　　我們也發(fā)現(xiàn)慢體驗，高難度采集的網站一般內容質量都非常好著力增加，采集其實有時也是一件很有樂趣的事情短網址生成，需要你學習一些采集相關的知識科技實力。

　　三處理、關于防采集的方法

　　火車頭：下面講一些主要的防采集方法建設。可以說是攻防對戰(zhàn)吧助力各業。打開一個網頁實際就是一個Http請求瀏覽器極致用戶體驗。百度蜘蛛提供有力支撐，小到我們的采集器使用的都是一個原理應用，模擬http請求，所以我們同樣能模擬出瀏覽器品率。百度蜘蛛出來所以絕對的防采集根本不存在相貫通，只是難度的高低》e極影響；蛘吣阏J為搜索引擎的搜錄也無所謂了短網址生成軟件自動化方案。你可以用一些非常強大的activex,flash,全圖片文字的形式，這個我們無能為力越來越重要。

　　普通的防采集方法有

　　1線上線下、來源判斷

　　2、登錄信息判斷 Cookie

　　3近年來、請求次數(shù)判斷講道理。如一段時間內請求多少，非常規(guī)操作則封IP

　　4技術先進、發(fā)送方式判斷 POST GET 使用JS更多的合作機會，Ajax等請求內容

　　舉例：

　　1.2不用說了，論壇認為，下載站等服務好。。

　　3反應能力、一些大網站共謀發展，需要配置服務器，單純靠腳本判斷資源消耗比較大

　　4結構重塑、如一些招聘站聽得懂，asp.net的分頁，Web2.0站的ajax請求內容

　　當然我們后面還發(fā)現(xiàn)一些殺手锏先進水平，今天第一次在這里給大家公布出來~~ 有優(yōu)質內容需要防采集的朋友可以考慮試下

　　1便利性、網頁默認deflate壓縮輸出(gzip容易一點，容易解壓) 我們普通的瀏覽器和baidu支持識別gzip,deflate輸出內容

　　2重要平臺、網頁內容不定時 \0 內容自動截斷深刻認識，這兩點基本可以防主大部分主流軟件采集及web采集程序了~

　　今天主要想要表達的一點，大家在做站時一定要注意技術的提高應用提升，比如我們里面有后期外部php及.net接口處理采集數(shù)據(jù)主動性撛煨?；蛘吒纱嗄阕约鹤鲆粋€發(fā)布時的接口程序自己入庫。我們偽原創(chuàng)做得再好道路，一樣有非常多的會員使用規模設備，那樣又不原創(chuàng)了，采集一樣需要技術指導，只有你通過采集器獲得了沒有多少人有的數(shù)據(jù)競爭力，你才是唯一了∵M一步完善？赡苁俏易顬榧夹g型人的一個通病集聚，謝謝大家!

　　互動環(huán)節(jié)

　　問：您剛才提到對采集有屏蔽，那對搜索引擎呢

　　答：采集和百度爬蟲是一模一樣的原理 還有瀏覽器也是一樣的 所以沒有絕對的屏蔽調整推進，相反還會影響客戶體驗狀況，你可以做一些不影響客戶體驗和搜索引擎搜錄 而提高采集難度的嘗試

　　問：你剛才講的是網頁內容采集，有沒有針對匹配關鍵詞的指定字段的高速采集不斷創新，比如采集所有帶”IDC“的網頁的郵箱和電話號碼?用過一些建立和完善，速度很慢，而且數(shù)據(jù)量明顯太少參與水平。

　　答：我們不做這樣批量的工具大型，其實比如做論壇發(fā)帖機之類的實現(xiàn)起來道理一樣，也很容易情況較常見，其實實現(xiàn)起來也是可以可持續，只是有更多的一些人工操作 ，我們里面有 正則匹配體製。構建。也就是你要的這種單一工具把這種正則都集成在里面了。而我們需要用戶自己去寫

　　問：采集的復雜度應該就在這吧?頁面規(guī)則的不規(guī)則性和多變性?

　　答：在軟件里面設置能夠匹配多種模板的正則表達式服務延伸，一樣可以采集到多模板的網站共創輝煌，所謂“道高一尺，魔高一丈”進一步。

　　問：火車頭大部分，能不能說一下怎么把phpcms的文章模塊下的第一級欄目顯示出來啊?

　　答：用的是 07 還是08版 07版有一個終極欄目的屬性 如果是，就不顯示實際需求。

　　問：火車頭解決方案，你覺得哪個CMS比較好用，你給大家推薦一個你最鐘意的CMS系統(tǒng)吧善謀新篇。

　　答：我現(xiàn)在是對phpcms更熟悉一些增產。選擇一個適合自己的就夠了。研究透一個方法。

　　問：有個采集工具 海納 號稱不要編寫采集規(guī)則行動力，不知道有沒有同學研究過提供有力支撐，想請教其原理?

　　答：你說的這個是內容主體識別的范疇了。也做過保供，但只對一些新聞網站識別得比較好 自行開發，這是一個自動匹配形式的工具，就像百度新聞一樣責任，能自動匹配到正文數(shù)據(jù)應用情況。對大數(shù)據(jù)量的提取有好處。但精度相對低點點勞動精神，因為人工不可控開展攻關合作。

　　問：2008 版本能平滑升級到 2009嗎?我是免費用戶，呵呵預下達。

　　答：軟件升級:請運行程序目錄下的updateto2009.exe進行升級.支持3.2sp5及2008版到2009版的升級，支持所有用戶

　　問：請問偽原創(chuàng)的問題怎么處理呢?

　　答：我們偽原創(chuàng)做得再好統籌推進，一樣有非常多的會員使用方案，那樣又不原創(chuàng)了，采集一樣需要技術了解情況，只有你通過采集器獲得了沒有多少人有的數(shù)據(jù)深入，你才是唯一了短網址生成工具。比如我們有同義詞替換功能重要的，這個詞庫就需要最好你自己去擴充一個屬于自己的偽原創(chuàng)開展研究。 使用同義詞近義詞替換，排除敏感詞相互融合，不同的標簽之間數(shù)據(jù)融合首要任務，指如標題內容之間數(shù)據(jù)的相互替換給標題。內容分詞不同需求。為文章標題等生成拼音地址 給文章加上摘要發展。采集一些其他編碼的網站，我們可以做到簡繁體轉化總之，可以采集中文網站翻譯成英文(雖然比較垃圾面向，但應該可以算是原創(chuàng))網民，默認的我們能夠自動識別網頁的編碼研學體驗。但可能也會有出錯的時候建設項目，這時候你需要在任務第四頁手工定義一下，比如是gb2312還是utf8等等落實落細。