欧美日韩亚洲综合一区-国产中文字幕麻豆视频-香蕉国产精品偷在看视频-人妻中字一区二区三区

15955381856 周一~周五, 9:00 - 17:30
whudows@qq.com 隨時歡迎您前來咨詢!
留學(xué)生園D座1樓 蕪湖市通全科技園新大樓

新聞資訊

15955381856
您的當(dāng)前位置:首頁 > 常見問題 > 詳細(xì)內(nèi)容

如何告訴搜索引擎該抓取什么內(nèi)容?robots文件介紹

來源:fsxulong.net 發(fā)表時間:2019-03-28

  如何告訴搜索引擎該抓取什么內(nèi)容?robots文件介紹

  如何告訴搜索引擎該抓取什么內(nèi)容?這一點(diǎn)對網(wǎng)站優(yōu)化很有影響,下面來介紹一下robots文件介紹。

  首先要了解什么是robots文件,比如,在蕪湖優(yōu)斗士的首頁網(wǎng)址后面加入“/robots.txt”,即可打開該網(wǎng)站的robots文件。

  文件里顯示的內(nèi)容是要告訴搜索引擎哪些網(wǎng)頁希望被抓取,哪些不希望被抓取。因?yàn)榫W(wǎng)站中有一些無關(guān)緊要的網(wǎng)頁,如“給我留言”或“聯(lián)系方式”等網(wǎng)頁,它們并不參與SEO排名,只是為了給用戶看,此時可以利用robots文件把它們屏蔽,即告訴搜索引擎不要抓取該頁面。

如何告訴搜索引擎該抓取什么內(nèi)容?robots文件介紹

  蜘蛛抓取網(wǎng)頁的精力是有限的,即它每次來抓取網(wǎng)站,不會把網(wǎng)站所有文章、所有頁面一次性全部抓取,尤其是當(dāng)網(wǎng)站的內(nèi)容越來越多時,它每次只能抓取一部分。那么怎樣讓它在有限的時間和精力下每次抓取更多希望被抓取的內(nèi)容,從而提高效率呢?

  此時可以利用robots文件。小型網(wǎng)站沒有該文件無所謂,但對于中大型網(wǎng)站來說,robots文件尤為重要。因?yàn)檫@些網(wǎng)站數(shù)據(jù)庫非常龐大,蜘蛛來時,要像對待好朋友一樣要給它看重要的東西,因?yàn)檫@個朋友時間精力有限,每次來都不能把所有的東西看一遍,所以就需要robots文件屏蔽一些無關(guān)些頁面。

  結(jié)合蕪湖優(yōu)斗士whudows.com的文章來說,比如,我不想讓搜索引擎抓取文章,可以在圖6-35中接著寫“Disallow:/news/120.htm1”,表示禁止搜索引擎抓取該網(wǎng)頁。所以一定要對網(wǎng)站進(jìn)行robots設(shè)置哦。

  

相關(guān)新聞
相關(guān)產(chǎn)品

微分銷

小程序如何快速注冊?

小程序?qū)徍送ㄟ^后,在微信小程序中無法搜索到?

小程序和公眾號、app的區(qū)別?

小程序的入口在哪里需要下載嗎?
国产一区欧美一区二区| 欧美日韩精品久久亚洲区熟妇人 | 久久99青青精品免费| 日韩国产亚洲一区二区三区| 嫩草国产福利视频一区二区| 可以在线看的欧美黄片| 正在播放国产又粗又长| 色婷婷视频在线精品免费观看| 亚洲中文字幕日韩在线| 精品香蕉一区二区在线| 91天堂免费在线观看| a久久天堂国产毛片精品| 国内精品伊人久久久av高清| 亚洲天堂男人在线观看| 国产欧美日韩在线一区二区| 国产亚洲神马午夜福利| 国产一级特黄在线观看| 日本午夜精品视频在线观看| 日本国产欧美精品视频| 精品日韩视频在线观看| 欧美精品中文字幕亚洲| 亚洲精品一区二区三区日韩| 国产成人一区二区三区久久| 在线免费观看黄色美女| 99国产一区在线播放| 欧美日韩亚洲综合国产人| 老司机精品福利视频在线播放| 亚洲一区二区三区日韩91| 国产又粗又爽又猛又黄的| 国产极品粉嫩尤物一区二区| 欧美日韩在线第一页日韩| 欧美日本亚欧在线观看| 老司机精品在线你懂的| 亚洲天堂久久精品成人| 亚洲日本加勒比在线播放 | 玩弄人妻少妇一区二区桃花| 亚洲欧美天堂精品在线| 精品一区二区三区不卡少妇av| 国产av熟女一区二区三区蜜桃| 亚洲中文在线中文字幕91| 欧美丰满人妻少妇精品|