在 AI 助手的背景下，攻击不仅可能来自与助手的直接交互（例如，通过修改用户要求助手分析的图像以进行快速注入），也可能来自它与其他应用程序的连接。一个巧妙命名的 Spotify 播放列表最终可能会接管你的助手，或者恶意应用程序可能会试图通过 API 连接到你的 AI 助手。这尤其危险，因为 AI 助手可以访问有价值的数据，例如你的银行信息（你的亚马逊、苹果和谷歌账户可能都可以访问某种形式的银行信息）。
访问操作系统级别的设置、应用程序和数据使人工智能助手成为威胁情报的巨大潜在来源。威胁情 电报数据 报是指收集用于检测、分析和应对网络威胁的信息。杀毒软件提供此类服务，但需要对操作系统、硬件和网络流量的高级访问权限。由于此类访问权限已被授予用于其他任务，人工智能助手可以承担这一角色，向用户和开发者告知其设备或网络上的潜在威胁。这很可能会发生，因为这些助手的开发者通常也是其操作系统的提供者，并负责其安全性。因此，微软可以将 Windows Defenders 的功能与 Copilot 合并，谷歌可以将 Gemini 与 Android 或 Chrome OS 的安全功能集成，以收集针对这些操作系统的威胁信息。问题在于，此类数据收集和处理通常伴随着不透明的数据共享（“我们使用这些数据来提高我们服务的安全性”），并且可能被恶意行为者破坏。这也意味着可能会收集一些额外的信息，并授予执行这些任务的额外访问权限。
剩下的就是AI助手，它们作为应用程序拥有扩展的数据和功能访问权限，但同时也面临着未知的安全挑战、更大的攻击面以及潜在的无限攻击。所有这些都将被捆绑在日益复杂和不透明的软件包中，这些软件包可能会掩盖其功能以提高可用性，因为一旦你将助手连接到你的谷歌/苹果/亚马逊账户，你很可能不会持续了解助手是如何与它交互的。
从我们提出的这些观点来看，对人工智能助手的开发者来说，一套更明确的要求就出现了——如果他们选择尊重我们即将给予他们的信任的话。