robots禁止搜索引擎收录图片文件格式

robots禁止搜索引擎收录图片文件格式

分类: SEO技术 作者:网络 阅读量:

robots禁止搜索引擎收录图片文件格式

目前百度图片搜索也使用了与百度网页搜索相同的spider,如果想禁止Baiduspider抓取网站上所有图片,或允许Baiduspider抓取网站上的某种特定格式的图片文件,可以通过设置robots.txt实现。

禁止所有搜索引擎抓取网站上所有图片

仅允许抓取网页,禁止抓取任何图片:

User-agent: *
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.gif$
Disallow: /*.png$
Disallow: /*.bmp$

仅允许所有搜索引擎抓取网页和.gif格式图片

允许抓取网页和gif格式图片,不允许抓取其他格式图片:

User-agent: *
Allow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.jpeg$
Disallow: /*.png$
Disallow: /*.bmp$

仅禁止所有搜索引擎抓取.jpg格式图片

允许抓取网页,不允许抓取jpg格式图片,允许其他格式图片:

User-agent: *
Disallow: /*.jpg$

如果需要限制单独某个搜索引擎,只需把“User-agent: *”替换成“User-agent: 蜘蛛名字”,例如“User-agent: baiduspider”。

附各大蜘蛛名字:

百度蜘蛛:baiduspider

搜狗蜘蛛:sogou spider

360搜蜘蛛:360spider

google蜘蛛:googlebot

yahoo蜘蛛:slurp

bing蜘蛛:bingbot