Applebot

Applebot是苹果的网络爬虫。Siri和Spotlight建议等其他产品都使用Applebot。

来自Applebot的流量由其用户代理识别，反向DNS将其显示在*.applebot.apple.com域中，源自17.0.0.0网块。

在MacOS中，host命令可用于确定IP地址是否为Applebot的一部分。以下示例显示了host命令及其结果：

主机命令还可用于验证DNS是否指向相同的IP地址：

AppleWebKit/600.1.4(KHTML，像壁虎一样)版本/8.0Mobile/12B410Safari/600.1.4(Applebot/0.1；+http://www.apple.com/go/applebot)。

Mozilla/5.0(iPhone；CPU iPhone OS 13_4_1，如MacOSX)AppleWebKit/605.1.15Z(KHTML，如壁虎)版本/13.1Mobile/15E148Safari/604.1(Applebot/0.1)。

Applebot尊重针对Applebot的标准robots.txt指令。在此示例中，Applebot不会尝试爬网/Private/或/Not-Allowed/下的文档：

用户代理：Applebot应用程序#appleAllow：/*不允许#appleAllow：/**不允许此目录#不允许此目录#允许一切(如果省略也为真)不允许此目录

如果机器人的说明书上没有提到苹果机器人，但确实提到了谷歌机器人，那么苹果机器人就会遵循谷歌机器人的指示。

Applebot可能会在浏览器中呈现您网站的内容。如果通过robots.txt阻止javascript、CSS和其他资源，它可能无法正确呈现内容。这包括页面可能需要的XHR、JS和CSS。

为了让Applebot索引页面的最佳内容，请确保Applebot可以使用用户呈现页面所需的所有内容。或者，即使并非所有资源都可用，也要确保网站呈现干净。这通常被称为优雅的降级。

Applebot支持HTML文档中的机器人元标签。要在元标记中指定自动机规则，请将标记放在文档的<；head>；部分中，如下所示：

Noindex：Applebot不会索引这个页面，它不会出现在Spotlight或Siri建议中。

无代码片段：Applebot不会为页面生成描述或Web答案。访问此URL的任何建议都将仅包含页面标题。

All：Applebot提供文档以供建议，并对内容进行摘录，这样页面的简短描述就可以出现在代表性图像的旁边。Applebot可能会关注页面上的链接，提供更多建议。

要在单个元标记中放置多个指令，请使用逗号分隔的列表或多个元标记。例如：