有時候我(wǒ)們在網站建設的前期忘了寫robots.txt文件，但是很多不想被收錄到搜索引擎中(zhōng)的内容都被收錄了。這時候我(wǒ)們會發現，似乎時間久了，就不希望收錄的頁面被收錄了。robots要多久才能生(shēng)效？
宿州網站優化的小(xiǎo)編來和大(dà)家一(yī)起來看看吧！
百度李曾在公開(kāi)場合表示，不同的站點略有不同，但一(yī)般過幾天就會生(shēng)效。
事實上，我(wǒ)們可以想象robots生(shēng)效的過程：
1.蜘蛛發現robots文件被修改，并将信息傳回
2.分(fēn)析修改前後的robots文件
3.删除不允許包含的索引數據
在這個過程中(zhōng)還會有一(yī)些其他的步驟。但由于蜘蛛爬行頻(pín)率和網站權重(網站的重要性)不同，蜘蛛發現robots的延時變化或處理優先級不同，最終結果是robots的有效時間不同。
通過以上宿州網站優化小(xiǎo)編的分(fēn)析，我(wǒ)們可以得出結論，robots的有效時間是不确定的。如果你的robots在改變後很長一(yī)段時間都沒有發揮作用，你可以去(qù)這裏投訴：tousu.baidu.com
