google蜘蛛： googlebot yahoo蜘蛛：Ya hoo！ Slurp alexa蜘蛛：ia_archiver bing蜘蛛（MSN）：msnbot Robots.txt的几个常用英文意思 • User-Agent： 适用下列规则的漫游器 • Allow： 充许被抓取的网页 • Disallow： 要拦截的网页 Robots.txt的两个常用符号 “*”： 匹配0或多个任意字符（或者所有的意思） “$”：匹配行结束符。 google蜘蛛： googlebot yahoo蜘蛛：Ya hoo！ Slurp alexa蜘蛛：ia_archiver bing蜘蛛（MSN）：msnbot Robots.txt的几个常用英文意思 • User-Agent： 适用下列规则的漫游器 • Allow： 充许被抓取的网页 • Disallow： 要拦截的网页 Robots.txt的两个常用符号 “*”： 匹配0或多个任意字符（或者所有的意思） “$”：匹配行结束符。 google蜘蛛： googlebot yahoo蜘蛛：Ya hoo！ Slurp alexa蜘蛛：ia_archiver bing蜘蛛（MSN）：msnbot Robots.txt的几个常用英文意思 • User-Agent： 适用下列规则的漫游器 • Allow： 充许被抓取的网页 • Disallow： 要拦截的网页 Robots.txt的两个常用符号 “*”： 匹配0或多个任意字符（或者所有的意思） “$”：匹配行结束符。 google蜘蛛： googlebot yahoo蜘蛛：Ya hoo！ Slurp alexa蜘蛛：ia_archiver bing蜘蛛（MSN）：msnbot Robots.txt的几个常用英文意思 • User-Agent： 适用下列规则的漫游器 • Allow： 充许被抓取的网页 • Disallow： 要拦截的网页 Robots.txt的两个常用符号 “*”： 匹配0或多个任意字符（或者所有的意思） “$”：匹配行结束符。 google蜘蛛： googlebot yahoo蜘蛛：Ya hoo！ Slurp alexa蜘蛛：ia_archiver bing蜘蛛（MSN）：msnbot Robots.txt的几个常用英文意思 • User-Agent： 适用下列规则的漫游器 • Allow： 充许被抓取的网页 • Disallow： 要拦截的网页 Robots.txt的两个常用符号 “*”： 匹配0或多个任意字符（或者所有的意思） “$”：匹配行结束符。google蜘蛛： googlebot yahoo蜘蛛：Ya hoo！ Slurp alexa蜘蛛：ia_archiver bing蜘蛛（MSN）：msnbot Robots.txt的几个常用英文意思 • User-Agent： 适用下列规则的漫游器 • Allow： 充许被抓取的网页 • Disallow： 要拦截的网页 Robots.txt的两个常用符号 “*”： 匹配0或多个任意字符（或者所有的意思） “$”：匹配行结束符。 google蜘蛛： googlebot yahoo蜘蛛：Ya hoo！ Slurp alexa蜘蛛：ia_archiver bing蜘蛛（MSN）：msnbot Robots.txt的几个常用英文意思 • User-Agent： 适用下列规则的漫游器 • Allow： 充许被抓取的网页 • Disallow： 要拦截的网页 Robots.txt的两个常用符号 “*”： 匹配0或多个任意字符（或者所有的意思） “$”：匹配行结束符。