欧美日韩亚洲综合一区-国产中文字幕麻豆视频-香蕉国产精品偷在看视频-人妻中字一区二区三区

15955381856 周一~周五, 9:00 - 17:30
whudows@qq.com 隨時歡迎您前來咨詢!
留學(xué)生園D座1樓 蕪湖市通全科技園新大樓

新聞資訊

15955381856
您的當(dāng)前位置:首頁 > 常見問題 > 詳細(xì)內(nèi)容

如何告訴搜索引擎該抓取什么內(nèi)容?robots文件介紹

來源:fsxulong.net 發(fā)表時間:2019-03-28

  如何告訴搜索引擎該抓取什么內(nèi)容?robots文件介紹

  如何告訴搜索引擎該抓取什么內(nèi)容?這一點(diǎn)對網(wǎng)站優(yōu)化很有影響,下面來介紹一下robots文件介紹。

  首先要了解什么是robots文件,比如,在蕪湖優(yōu)斗士的首頁網(wǎng)址后面加入“/robots.txt”,即可打開該網(wǎng)站的robots文件。

  文件里顯示的內(nèi)容是要告訴搜索引擎哪些網(wǎng)頁希望被抓取,哪些不希望被抓取。因?yàn)榫W(wǎng)站中有一些無關(guān)緊要的網(wǎng)頁,如“給我留言”或“聯(lián)系方式”等網(wǎng)頁,它們并不參與SEO排名,只是為了給用戶看,此時可以利用robots文件把它們屏蔽,即告訴搜索引擎不要抓取該頁面。

如何告訴搜索引擎該抓取什么內(nèi)容?robots文件介紹

  蜘蛛抓取網(wǎng)頁的精力是有限的,即它每次來抓取網(wǎng)站,不會把網(wǎng)站所有文章、所有頁面一次性全部抓取,尤其是當(dāng)網(wǎng)站的內(nèi)容越來越多時,它每次只能抓取一部分。那么怎樣讓它在有限的時間和精力下每次抓取更多希望被抓取的內(nèi)容,從而提高效率呢?

  此時可以利用robots文件。小型網(wǎng)站沒有該文件無所謂,但對于中大型網(wǎng)站來說,robots文件尤為重要。因?yàn)檫@些網(wǎng)站數(shù)據(jù)庫非常龐大,蜘蛛來時,要像對待好朋友一樣要給它看重要的東西,因?yàn)檫@個朋友時間精力有限,每次來都不能把所有的東西看一遍,所以就需要robots文件屏蔽一些無關(guān)些頁面。

  結(jié)合蕪湖優(yōu)斗士whudows.com的文章來說,比如,我不想讓搜索引擎抓取文章,可以在圖6-35中接著寫“Disallow:/news/120.htm1”,表示禁止搜索引擎抓取該網(wǎng)頁。所以一定要對網(wǎng)站進(jìn)行robots設(shè)置哦。

  

相關(guān)新聞
相關(guān)產(chǎn)品

微分銷

小程序如何快速注冊?

小程序?qū)徍送ㄟ^后,在微信小程序中無法搜索到?

小程序和公眾號、app的區(qū)別?

小程序的入口在哪里需要下載嗎?
亚洲国产精品无遮挡羞羞| 五月天综合网五月天综合网| 日韩精品一区二区毛片| 亚洲中文字幕人妻系列| 精品综合欧美一区二区三区| 欧美熟妇喷浆一区二区| 国产麻豆一区二区三区在| 在线中文字幕亚洲欧美一区| 国产精品欧美一区二区三区不卡| 日本精品中文字幕在线视频| 99日韩在线视频精品免费| 日韩高清一区二区三区四区| 91偷拍裸体一区二区三区| 精品国产亚洲区久久露脸| 亚洲精品有码中文字幕在线观看| 中文字幕久热精品视频在线| 亚洲另类欧美综合日韩精品| 欧美综合色婷婷欧美激情| 亚洲妇女作爱一区二区三区| 国产日产欧美精品视频| 老司机精品视频在线免费| 国产在线一区二区三区不卡| 亚洲国产成人精品福利| 黄片免费播放一区二区| 亚洲高清一区二区高清| 大香蕉久草网一区二区三区| 中文字幕久久精品亚洲乱码| 国产丝袜女优一区二区三区| 丝袜诱惑一区二区三区| 欧洲一区二区三区蜜桃| 青青操视频在线播放免费| 熟女乱一区二区三区丝袜| 成人午夜爽爽爽免费视频| 97人妻人人揉人人躁人人| 91精品视频免费播放| 国产精品久久久久久久久久久痴汉 | 国产精品成人一区二区三区夜夜夜| 精品国产av一区二区三区不卡蜜| 国产不卡在线免费观看视频| 成人精品一级特黄大片| 麻豆视频传媒入口在线看|