网站内容不想被百度抓取时，可配置Robots文件，检测通过后，百度将对Robots文件内容及时屏蔽抓取。