围绕Meta Robot标签和robots.txt文件的使用说明

@@ -46,6 +46,13 @@这些机器可读文件发布到公众没有restricti 必须*通过HTTPS提供这些URL *的位置以确保数据的完整性。 为了允许搜索引擎可发现性，既不是页面上的“robots.txt` 这通常遵循`＆lt;元名称=＃34;机器人＆＃34; 内容=＆＃34; noindex，nofollow＆gt;＆＃34;`或for a wabots.txt`文件中使用的是`禁止的dispirective。