[惠特尼]安全研究人员揭示了劫持实时对话的深度伪造人工智能音频攻击

IBM 安全研究人员最近发现了一种“简单得令人惊讶且可怕”的技术，可以使用人工智能 (AI) 劫持和操纵实时对话。这种攻击称为“音频劫持”，依赖于生成式 AI——一类 AI，包括 OpenAI 的 ChatGPT 和Meta 的 Llama-2 — 和 Deepfake 音频技术。

音频劫持在实验中，研究人员指示人工智能处理实时通信中两个来源的音频——例如电话交谈。

在听到特定的关键字或短语后，人工智能会进一步指示拦截相关音频并对其进行处理，然后再将其发送给预期的接收者。

根据 IBM Security 的一篇博客文章，实验结束时，当另一个人类说话者提示他们提供银行账户信息时，人工智能成功拦截了说话者的音频。

然后，人工智能用深度伪造的音频替换了真实的声音，并给出了不同的帐号。

实验中的“受害者”没有发现这次攻击。图片来源：IBM SecurityGenerative AI 该博客指出，虽然执行攻击需要一定程度的社会工程或网络钓鱼，但开发 AI 系统本身并没有什么挑战：“构建这个 PoC（概念验证）非常简单。

我们花了大部分时间弄清楚如何从麦克风捕获音频并将音频输入生成人工智能。”传统上，构建一个系统来自动拦截特定的音频字符串并用动态生成的音频文件替换它们需要多个-学科计算机科学工作。但现代生成人工智能本身就承担了繁重的工作。

博客中写道：“我们只需要三秒钟的个人声音就可以克隆它。”他补充道，如今，此类深度伪造都是通过 API 完成的。

相关：人工智能深度造假在 2024 年美国大选前愚弄选民和政客——“我以为这是真的”音频劫持的威胁不仅仅是欺骗不知情的受害者将资金存入错误的账户。

研究人员还指出，它可以作为一种无形的审查形式发挥作用，有可能改变实时新闻广播或实时广播政治演讲的内容。