大型语言模型(LLM)个人助理正被广泛用于代替用户完成日常事务。这类助理能够访问用户的私密信息,同时在执行任务时需要与第三方通信,因而可能把敏感信息泄露给接收方。现有基准主要衡量直接泄漏,即模型明确说出预设的秘密或属性,未能捕捉\textit{推断泄漏}——模型在回复中留下的间接线索能够让接收方推断出用户的敏感属性。为此我们提出\textsc{InferPriv}基准,检测一个诚实但好奇的接收者是否能从LLM对常规任务的回复中推断出用户的敏感属性。我们在五个前沿模型上进行评估,发现推断泄漏率显著高于直接泄漏。即使在加入隐私感知系统提示后,GPT-6.1‑Sol、Sonnet-5.5 和 Gemini-3.8‑Flash 的直接泄漏几乎为零,推断泄漏率仍保持在 16.2%–25.2% 之间。该结果表明,仅评估显式泄漏会大幅低估隐私风险。
点评