在編輯網(wǎng)頁(yè)的時(shí)候我們需要用到robots協(xié)議，初學(xué)者可能不知道robots協(xié)議是什么？它的作用是什么？該怎么寫呢？
1.robots協(xié)議是什么？
robots協(xié)議也叫 robots.txt（統(tǒng)一小寫）是一種存放于網(wǎng)站根目錄下的ASCII編碼的文本文件，它通常告訴網(wǎng)絡(luò)搜索引擎的漫游器（又稱網(wǎng)絡(luò)蜘蛛），此網(wǎng)站中的哪些內(nèi)容是不應(yīng)被搜索引擎的漫游器獲取的，哪些是可以被漫游器獲取的。
2.robots協(xié)議怎么寫？
因?yàn)橐恍┫到y(tǒng)中的URL是大小寫敏感的，所以robots.txt的文件名應(yīng)統(tǒng)一為小寫。
User-agent: *
Disallow:
allow:
"*"和"$"的含義
Baiduspider支持使用通配符"*"和"$"來(lái)模糊匹配url。
"$" 匹配行結(jié)束符。
"*" 匹配0或多個(gè)任意字符。
通常來(lái)說(shuō)，對(duì)于一般的企業(yè)就可以這樣去寫robots協(xié)議了，如果在Disallow掉不想被搜索引擎抓取的文件即可，例如我們的網(wǎng)站數(shù)據(jù)，圖片等等內(nèi)容。學(xué)會(huì)了robots協(xié)議，才能夠進(jìn)行下一步學(xué)習(xí)。
版權(quán)：所有文章為演示數(shù)據(jù)，版權(quán)歸原作者所有，僅提供演示效果！
轉(zhuǎn)載請(qǐng)注明出處：http://www.kangbangglove.com/seoyouhua/302.html
