Robots.txt文件是蜘蛛协议文件，理论上所有蜘蛛在抓取网站时第一个需要抓取的就是这个文件，再根据这个ro […]