百度lee曾在公開(kāi)場(chǎng)合說(shuō)過(guò)：不同的站點(diǎn)略有不同，但通常在幾天內(nèi)陸續(xù)生效。 其實(shí)我們可以假想下robots生效的過(guò)程：
1.蜘蛛發(fā)現(xiàn)robots文件修改并將信息傳回
2.分析修改前后的robots文件
3.刪除不允許被收錄的索引數(shù)據(jù) 這個(gè)過(guò)程中肯能還會(huì)存在其他的一些步驟，然而由于每個(gè)網(wǎng)站蜘蛛爬的頻率和網(wǎng)站的權(quán)重不同(網(wǎng)站的重要性)而導(dǎo)致蜘蛛發(fā)現(xiàn)robots更改的時(shí)間延時(shí)或者被處理的優(yōu)先性不同，最終導(dǎo)致的結(jié)果就是robots的生效時(shí)間不同。
織夢(mèng)模板網(wǎng)結(jié)語(yǔ)：通過(guò)以上分析我們可以得出robots的生效時(shí)間并不是一定的，如果你的robots更改后很久都沒(méi)有生效的話，那么可能就是robots設(shè)置錯(cuò)誤了
