用戶中心USER CENTER
摘要：由于公司網(wǎng)站配置的測試環(huán)境被百度爬蟲抓取，干擾了線上正常環(huán)境的使用，剛好看到每次搜索淘寶時，都會有一句由于文件存在限制指令無法提供內(nèi)容描述，于是便去學習了一波原來一般來說搜索引擎爬取網(wǎng)站時都會，先讀取下文件，并依照里面所設定的規(guī)則去爬取ps：由于公司網(wǎng)站配置的測試環(huán)境被百度爬蟲抓取，干擾了線上正常環(huán)境的使用，剛好看到每次搜索淘寶時，都會有一句由于robots.txt文件存在限制指令無法提供內(nèi)...
