为了爬虫, 在网站根目录创建robots.txt文件(utf-8),文件内容涉及四类键值对:User-agent,Disallow,Allow,Sitemap,支持正则, Disallow后没内容就是允许所有,sitemap四种写法:

为了优化 SEO，生成 robots.txt 和 sitemap.xml 是必不可少的功能。Next.js 自身并不提供生成 robots.txt 和 sitemap.xml 的特性，所以需要自己实现。同样地，在 pages/ 目录下创建 robots.txt 文件。

如果博客是使用Hexo管理的，sitemap可以使用插件来生成。但对于一个内容管理网站，后端可能是express、koa之类的框架，这时sitemap就需要自己来生成了，Sitemap可方便网站管理员通知搜索引擎他们网站上有哪些可供抓取的网页

让这个代码更加完善，可以同时生成首页、文章、单页面、分类和标签的 sitemap！Linux 定时任务+wget 定时生成 sitemap.xml,具体实现：将 sitemap.php 放到某个不为人知的目录，然后定时使用 wget 去请求这个文件