你的聊天机器人可能存在数据泄露风险。近期有报道称，用户与 OpenAI 的 ChatGPT、xAI 的 Grok 等 AI 聊天机器人的对话 “已出现在搜索引擎结果中”，meta AI 应用中的用户指令也可能被公开推送。但如果这些查询和对话能得到保护，隐私安全是否能得到强化？
这正是专注于隐私增强技术的公司 Duality 想要实现的目标 —— 其推出的私有大语言模型（LLM）推理框架，核心依托全同态加密（FHE）技术。这种加密技术允许在不解密数据的前提下对加密数据进行计算，从根源上保障隐私。
Duality 的框架流程十分清晰：先通过全同态加密技术对用户指令或查询进行加密，再将加密后的查询发送给大模型；大模型无需解密即可直接处理查询，生成加密回复后反馈给用户。
“用户只需解密结果，就能享受大模型的服务，而无需暴露自己的提问内容或模型的回复信息。”Duality 联合创始人兼首席技术官 Kurt Rohloff说。
目前该框架仍处于原型阶段，仅支持较小规模的模型，尤其是谷歌的 BERT 系列模型。团队对这些大模型进行了微调以适配全同态加密，例如用近似函数替代部分复杂数学函数，提升计算效率。即便经过这些细微调整，AI 模型的运行效果仍与普通大模型一致。
“我们的推理过程无需重新训练模型。”Duality 加密技术副总裁 Yuriy Polyakov 表示，“我们的思路是保持传统的训练方式不变，重点优化推理过程的效率。”
FHE LLM 推理的挑战
FHE 被认为是一种量子计算机证明加密。然而，尽管其安全性很高，但加密方法可能很慢。“完全同态加密算法严重受内存限制，”CipherSonic Labs的联合创始人兼首席技术官Rashmi Agrawal说，该公司是她在波士顿大学加速同态加密的博士研究中衍生出来的。她解释说，FHE 依赖于基于晶格的密码学，该密码学建立在网格中向量周围的数学问题之上。“由于基于格的加密方案，你会放大数据大小，”她补充道。这会导致巨大的密文（数据的加密版本）和需要大量内存的密钥。
Agrawal 说，另一个计算瓶颈需要一种称为引导的作，需要定期从密文中消除噪声。“这项特殊的作非常昂贵，这就是 FHE 迄今为止进展缓慢的原因。”
为了克服这些挑战，Duality 的团队正在对一种名为 CKKS（Cheon-Kim-Kim-Song）的 FHE 方案进行算法改进，该方案非常适合机器学习应用。“该方案可以处理实数的大向量，并且实现了非常高的吞吐量，”Polyakov 说。这些改进的一部分涉及集成一项称为功能引导的最新进展。“这使我们能够对大型载体进行非常有效的同态比较作，”Polyakov 补充道。
所有这些实现都可以在OpenFHE 上获得，OpenFHE是 Duality 贡献并帮助维护的开源库。“这是一个复杂而复杂的问题，需要社区的努力。我们正在提供这些工具，以便与社区一起推动最先进的技术并实现大型语言模型的推理，“Polyakov 说。
硬件加速在加速 LLM 推理的 FHE 方面也发挥了作用，特别是对于更大的 AI 模型。“使用专门的硬件加速设备，它们可以加速两到三个数量级，”Polyakov 说。Duality 正在考虑到这一点，并在 OpenFHE 中添加了一个硬件抽象层，用于从默认 CPU 后端切换到更快的后端，例如GPU和专用集成电路（ASIC）。
Agrawal 同意GPU以及现场可编程门阵列 （FPGA）非常适合受 FHE 保护的 LLM 推理，因为它们速度快并且连接到高带宽内存。她补充说，FPGA尤其可以针对完全同态加密工作负载进行定制。
对于 Duality 的下一步，该团队正在将他们的私有 LLM 推理框架从原型推进到生产。该公司还致力于保护其他人工智能作，包括针对特定任务根据专门数据微调预训练模型，以及语义搜索以揭示搜索查询背后的上下文和含义，而不仅仅是使用关键字。
加密大模型是未来趋势
FHE 与差分隐私和机密计算等技术一起构成了更广泛的 LLM 隐私保护工具箱的一部分。差分隐私为数据集引入了受控的噪声或随机性，在保持集体模式的同时模糊了个人细节。同时，机密计算采用可信执行环境，即 CPU 内用于处理敏感数据的安全隔离区域。
机密计算的出现早于全同态加密这种新技术，Rashmi Agrawal 认为它是全同态加密的 “直接竞争对手”。但她指出，机密计算不支持 GPU，这使其难以适配大模型的运行需求。
“当需要非交互式端到端保密时，全同态加密的优势最为明显，因为在整个计算过程中，没有人能获取你的数据。”Rashmi Agrawal 说。
使用 FHE 的完全加密的法学硕士开辟了一个可能性的领域。例如，在医疗保健领域，可以在不泄露敏感患者记录的情况下分析临床结果。金融机构可以在不披露银行账户信息的情况下检查欺诈行为。企业可以将计算外包给云环境，而无需透露专有数据。用户与人工智能助手的对话也可以受到保护。
“我们正在进入隐私技术的适用性和可用性的复兴，以实现安全的数据协作，”Rohloff 说，“我们都有数据。我们不一定必须在公开敏感数据和从这些数据中获得最佳见解之间做出选择。