如何生成robots.txt文件-问答二五

的有关信息介绍如下：

如何生成robots.txt文件

Robots.txt 是存放在站点根目录下的一个纯文本文件。虽然它的设置很简单，但是作用却很强大。它可以指定搜索引擎蜘蛛只抓取指定的内容，或者是禁止搜索引擎蜘蛛抓取网站的部分或全部内容。那么如何一键生成呢，下面就教大家。

百度”站长工具“，点击打开。

然后点击导航里的”代码转换工具“，选择”MD5加密“。

然后输入限制目录和Sitemap: ，选择搜索引擎，点击”生成“即可。