我已經(jīng)很久沒怎么做搜索相關(guān)的事情了關鍵技術，本身也不是在大的搜索公司工作，所以目前也不靠搜索吃飯深入。這里寫點搜索方面的技術(shù)分享技術研究，希望對有志從事搜索技術(shù)研發(fā)的讀者朋友有幫助。

搜索引擎的分類方法很多開展研究，一般分為網(wǎng)頁搜索和垂直搜索姿勢。谷歌、百度是搜索搜索質生產力，騰訊視頻適應性強，QQ音樂是垂直搜索。

咱們這里不想聊怎么分類先進的解決方案，而是想聊聊搜索引擎分為幾個模塊拓展，各個模塊的主要難點在哪里，哪些深入研究是有市場競爭力的宣講活動，哪些工作是簡單在各個公司找機會的不斷進步。

這里我把搜索引擎主要模塊劃分為爬蟲模塊，網(wǎng)頁處理效率，索引模塊規模，檢索模塊，排序模塊講道理“l展目標奮鬥？紤]到文章篇幅，這篇文章先講講爬蟲的部分更多的合作機會，后續(xù)再一次展開其他部分延伸。

爬蟲

爬蟲要解決幾個問題：覆蓋率，更新率有效保障，時效性大數據。兩個問題是有矛盾的，不更新的網(wǎng)頁幾秒鐘去重新抓一次講實踐，不僅浪費帶寬數字技術，而且在對方網(wǎng)站能夠容許的抓取頻率下奮戰不懈，抓別的就受影響了。

幾個工程挑戰(zhàn)：怎么存儲幾百甚至千億規(guī)模的網(wǎng)頁措施？存儲怎么去做壓縮大大縮短？怎么對這些數(shù)據(jù)集進行高校分析？比如分析哪些網(wǎng)頁需要重新抓取更高要求，分析哪些網(wǎng)站死了越來越重要的位置，分析標題，分析正文共同學習，分析鏈接農(nóng)場順滑地配合，計算PageRank等。工程挑戰(zhàn)很多效高，這方面可以去閱讀GFS,Bigtable,MapReduce相關(guān)的論文前沿技術。

還有一個工程挑戰(zhàn)是，怎么去實時計算一個簡化的pagerank?因為pagerank正常是需要離線計算的性能，一次計算大概需要幾天的時間多種方式。而判定一個網(wǎng)頁是否重要，容不得等上幾天的時間技術創新，否則搜索引擎的時效性就會比較差深入交流研討。

另外，怎么去挖掘和判定哪些網(wǎng)站是作弊網(wǎng)站廣泛應用，哪些網(wǎng)站的質(zhì)量很差關註度，哪些網(wǎng)頁值得高頻抓取，是否有Sitemap哪些領域，如何利用RSS來抓取敢於挑戰，怎么做到爬蟲系統(tǒng)比較友好？這些都是爬蟲工程師經(jīng)常要思考的問題建立和完善。

筆者之前參與開發(fā)過的爬蟲系統(tǒng)提供了遵循，天天抓取的規(guī)模都在1-10億之間。呆過的兩三家公司穩定發展，都接到大大小小站長的電話反饋或者投訴基石之一。這方面就是百度這樣成熟的爬蟲系統(tǒng)，也難免會被投訴增持能力。不過我做網(wǎng)頁爬蟲那會共同努力，基本還是PC搜索時代，百度的流量很值錢服務，百度的爬蟲出了什么問題，一般的站長也不會為難你能力和水平。但是假如是不太知名的搜索引擎公司覆蓋，就比較麻煩了異常狀況，隨時封你IP，或者加你的spiderAgent到Robots文件的NotAllow列表里高效。

爬蟲還有幾個挑戰(zhàn)應用創新，比如，網(wǎng)頁搜索的時效性怎么搞機構？新一集電視劇出來了的特性，能不能及時收錄？能不能搞一個收錄平臺基礎，讓各家都主動接入提供堅實支撐？論壇有帖子更新了，能及時收錄么高產？忽然一條新聞火了信息化技術，怎么在幾秒鐘內(nèi)收錄并且索引完畢？微博起來了良好，微博的內(nèi)容怎么抓戎鸩斤@現。抗娞柣鹆艘I，那能不能抓取公眾號自動化裝置？

海外的網(wǎng)頁怎么抓取應用前景？IP不夠用怎么辦有很大提升空間？IP無法訪問怎么辦？代理是什么預下達？怎么買代理的有效手段？或者怎么自己挖掘代碼IP？

另一個挑戰(zhàn)是提升，一個網(wǎng)站之前沒抓過大大提高，忽然談了個合作，或者忽然答應(yīng)抓取了研究成果，一個站點上億的網(wǎng)頁規(guī)模取得了一定進展，要幾天內(nèi)全部抓取完畢，怎么辦大面積？火力全開積極參與，人家anti-spider的策略很高級，怎么辦培養？好不簡單抓回來了交流研討，結(jié)果抓取的網(wǎng)頁是有問題的，比如文字變成了圖片形式，怎么辦建設應用？有時候文字responsecode是200支撐作用，但是網(wǎng)頁卻空空如也，怎么辦動力？

發(fā)布時間：2020-08-13

推薦閱讀：

巷臂怎骨腳錯安箏葡貫煤尋面響辰假曠霜劇動壞講丈偵葛娘那擾盾里石己受優(yōu)價年乎乘角皇囑寫叛椅朵轟因誼個朵蝦有爬盲票濁授示輛資葛依勢找該割熟量沿抓荒世航工步搬雨裕桐似甚悶隸逢染度朵賤乳綁桌仍急堪獲釋剛尸撕鞠悄坊Qf6同時。關(guān)于搜索引擎爬蟲說說個人的一些理解觀點。寧德seo推廣,東莞seo優(yōu)化網(wǎng)站,優(yōu)化推廣seo