除了扫描已知的虐待儿童照片外，Apple 还将开始使用设备上的 ML 来警告父母和孩子在 Messages 中出现色情照片

作为这些发展的一部分，Apple 将能够在其移动设备（如 iPhone 和 iPad）以及上传到 iCloud 的照片中检测已知的 CSAM 图像，同时仍然尊重消费者隐私。与此同时，新的信息功能旨在让父母在帮助孩子学习在线交流方面发挥更积极、更知情的作用。通过今年晚些时候推出的软件更新，Messages 将能够使用设备上的机器学习来分析图像附件并确定共享的照片是否具有色情内容。这项技术不需要 Apple 访问或读取孩子的私人通信，因为所有处理都在设备上进行。任何东西都不会传回苹果在云端的服务器。如果在消息线程中发现敏感照片，该图像将被阻止，并且照片下方会出现一个标签，指出“这可能是敏感的”，并附有一个链接，可单击以查看该照片。如果孩子选择查看照片，则会出现另一个屏幕，其中包含更多信息。在这里，一条消息告诉孩子敏感照片和视频“展示了你用泳衣遮住的私人身体部位”和“这不是你的错，但敏感照片和视频可能会伤害你。”它还表明照片或视频中的人可能不希望看到它，并且可能在他们不知情的情况下被分享。这些警告旨在通过选择不查看内容来帮助引导孩子做出正确的决定。但是，如果孩子仍然点击查看照片，他们将看到一个额外的屏幕，通知他们如果他们选择查看照片，他们的父母将收到通知。屏幕还解释了他们的父母希望他们安全，并建议孩子在感到压力时找人倾诉。它还提供了指向更多资源的链接以获取帮助。屏幕底部仍有一个选项可以查看照片，但同样，它不是默认选项。相反，屏幕的设计方式是突出显示不查看照片的选项。

这些类型的功能可以帮助保护儿童免受性侵犯，不仅通过引入中断通信并提供建议和资源的技术，而且因为系统会提醒父母。在许多孩子被捕食者伤害的情况下，父母甚至没有意识到孩子已经开始在网上或通过电话与那个人交谈。这是因为儿童掠夺者非常善于操纵，会试图获得孩子的信任，然后将孩子与父母隔离开来，这样他们就会对交流保密。在其他情况下，掠食者也培养了父母。苹果的技术可以通过干预、识别和提醒共享的露骨材料在这两种情况下提供帮助。然而，越来越多的 CSAM 材料是所谓的自生成 CSAM，或由孩子拍摄的图像，然后可以与孩子的伴侣或同龄人自愿共享。换句话说，发送色情短信或分享“裸体”。根据 Thorn 公司 2019 年的一项调查，该公司致力于开发打击对儿童的性剥削的技术，这种做法已经变得如此普遍，以至于五分之一的 13 至 17 岁女孩表示他们曾分享过自己的裸照，十分之一的男孩曾这样做过相同。但是孩子可能不完全理解分享这些图像如何使他们面临性虐待和性剥削的风险。新的消息功能也将在这里提供一组类似的保护。在这种情况下，如果孩子试图发送露骨的照片，他们会在照片发送前收到警告。如果孩子选择发送照片，父母也可以收到一条消息。 Apple 表示，这项新技术将在今年晚些时候作为软件更新的一部分推出，适用于在美国的 iOS 15、iPadOS 15 和 macOS Monterey 的 iCloud 中设置为家庭的帐户此更新还将包括对 Siri 和搜索的更新，将提供扩大指导和资源，以帮助儿童和家长保持在线安全并在不安全的情况下获得帮助。例如，用户将能够询问 Siri 如何报告 CSAM 或儿童剥削。当用户搜索与 CSAM 相关的查询时，Siri 和 Search 也会进行干预，以解释该主题有害并提供资源以获得帮助。