大语言模型用户认知差异及产品优化

在设计面向最终用户的大语言模型（LLM）工具时，一个至关重要的产品设计问题是：“用户对AI了解多少？” 这个问题之所以关键，是因为任何成功的产品设计都始于对用户的深刻理解。试想，如果构建一个网站时假设所有访客都精通中文，于是网站全部采用中文，但实际用户却都说西班牙语。即便网站本身设计精良，这个根本性的错误假设也会使其成功几率大打折扣。设计基于LLM的工具亦是如此。

因此，在为用户构建基于LLM的工具时，必须首先审视用户是如何理解LLM的。例如，用户可能存在以下认知状态：

对LLM的工作原理一无所知
并未意识到自己正在使用的工具背后有LLM的支撑
由于接触过功能强大的智能体，对LLM的能力抱有不切实际的期望
对LLM技术抱有怀疑或敌意
基于过往特定经历，对LLM输出的可信度持有不同程度的信任
期望获得确定性的结果，尽管LLM无法提供这一点

用户研究是产品设计中极其重要的一环。在构建基于LLM的工具时跳过这一步，是一个重大失误。不能假设自己了解目标用户过去如何体验LLM，更不能假设自身的经验能代表用户。

用户画像：四种典型视角

幸运的是，已有一些优秀的研究为此提供了指引。印第安纳大学医学院的Cassandra Jones-VanMieghem、Amanda Papandreou和Levi Dolan提出的“四人框架”揭示了用户对AI的几种典型视角。虽然该研究基于医疗背景，但其框架具有普适性。

无意识用户（不了解/不关心）

这类用户不常思考AI，也不认为AI与自己的生活相关。他们自然对底层技术了解有限，也缺乏深入了解的好奇心。

回避型用户（AI是危险的）

这类用户对AI持整体负面看法，会带着高度的怀疑和不信任接触相关解决方案。对他们而言，任何AI产品都可能对品牌关系产生非常不利的影响。

AI狂热者（AI总是有益的）

这类用户对AI抱有极高期望——他们热情高涨，但期望可能不切实际。例如，期望AI能接管所有枯燥工作，或能完美准确地回答任何问题。

知情型AI用户（赋能的）

这类用户持有现实主义的视角，通常具备较高的信息素养。他们可能采取“信任但验证”的策略，重视LLM断言的引用来源和证据。正如研究者所指出的，这类用户只在AI对特定任务有用时才会调用它。

基于此框架，可以认为，过度乐观和过度悲观的观点通常都源于对技术认知的不足，但二者代表的是截然不同的用户类型。信息水平和情感倾向（包括强度和性质）共同塑造了用户画像。与原作者认为“狂热者信息充分”的观点略有不同，实际上，对AI能力的不切实际期望，往往植根于知识缺乏或信息摄入不平衡。

这为设计新的LLM解决方案提供了丰富的思考维度。产品开发者有时会陷入一个误区，即只关注信息水平这一轴线，而忘记了社会对这种技术的情感态度差异巨大，并且对用户如何接受和体验这些产品具有同等重要的影响。

认知差异的根源：生成式AI的三大特性

值得思考的是，为何用户画像和情感态度会如此多元。许多我们日常使用的其他技术并未引发如此两极分化的看法。LLM和其他生成式AI对我们来说相对较新，这固然是部分原因，但生成式AI的一些独特定性特征，可能对人们的反应产生了特别的影响。Pinski和Benlian对此有深入研究，他们指出生成式AI的关键特性可能颠覆人机交互研究者对既有互动关系的预期。

非确定性

过去几十年，随着计算融入日常生活，我们已经习惯于一定程度的可重复性。点击按键或按钮，计算机的响应每次大致相同。这赋予了一种可信赖感，我们知道只要学会达成目标的正确模式，就能依赖这些模式保持一致性。生成式AI打破了这种契约，因为其输出具有非确定性。普通技术用户很少经历相同的按键或请求返回出乎意料且每次都不同的结果，这无疑会破坏他们可能建立的信任。当然，非确定性有其充分理由，一旦理解技术，这只是需要与之协作的另一个特性，但在认知不足的阶段，这可能带来问题。

不可解释性

这本质上是“黑箱”的另一种说法。构成生成式AI基础的神经网络，其特性在于，即使是直接与技术打交道的人，也无法完全解释模型“为何如此行事”。我们无法整合并解释网络中每一层每个神经元的权重，因为它过于复杂，变量太多。虽然有许多有用的可解释AI解决方案可以帮助理解影响单个预测的杠杆，但对这些技术工作原理进行更广泛的解释并不现实。这意味着我们必须接受一定程度的不可知性，这对于科学家和好奇的普通人来说，都可能难以接受。

自主性

将生成式AI融入半自主智能体的趋势日益增强，这驱使这些工具在越来越少的监督和人类用户控制下运行。在某些情况下，这可能非常有用，但也可能引发焦虑。考虑到这些工具具有非确定性和宏观上的不可解释性，自主性可能让人感觉危险。如果我们不总是知道模型会做什么，也不完全理解它为何这样做，那么一些用户认为这不是一种可以在无监督情况下安全运行的技术，也情有可原。尽管在不断开发评估和测试策略以试图防止不良行为，但一定程度的风险是不可避免的，任何概率性技术都是如此。另一方面，生成式AI的某些自主性也可能导致用户完全意识不到AI在特定任务中的参与。它可以在幕后默默工作，用户可能对其存在毫无察觉。这是AI输出变得与人类有机创作的材料难以区分的更大担忧领域的一部分。

对产品设计的启示

当然，这并不意味着构建涉及生成式AI的产品和工具是不可行的。相反，这意味着应该仔细审视生成式AI是否适合眼前的问题或任务，并确保已权衡了风险与可能的收益。这始终是第一步——确保AI是正确的选择，并且愿意接受使用它所带来的风险。

在此之后，对产品设计者的建议如下：

进行严格的用户研究。了解上述用户画像在用户群体中的分布情况，并规划所构建的产品将如何适应他们。如果回避型用户占比较大，需制定信息策略以平滑采用路径，并考虑逐步推出功能，避免对用户群体造成冲击。另一方面，如果狂热者用户较多，则需明确说明工具的功能边界，以免引发“你的AI很糟糕”之类的反应。如果人们对生成式AI抱有神奇结果的期望，而由于必须遵守重要的安全、安全和功能限制无法提供，这将成为用户体验的一个问题。
为用户而建：这听起来显而易见，但本质上是指，用户研究不仅应深刻影响生成式AI产品的外观和感觉，还应影响其实际构建和功能。工程任务应基于证据，明确产品需要具备哪些能力，以及用户可能以何种不同方式接触它。
优先考虑教育。如前所述，无论用户初始态度是积极还是消极，对他们进行关于所提供解决方案的教育都至关重要。有时会假设人们“自然会懂”从而跳过这一步，这是个错误。必须现实地设定预期，并预先回答可能来自怀疑论者的问题，以确保积极的用户体验。
不要强制使用。近来发现，一些过去愉快使用的软件产品正在添加生成式AI功能并强制使用。市场力量和AI行业模式正在推动这一现象，但这并未减少其危害性。应该做好准备，总有一部分用户（无论多寡）希望拒绝使用生成式AI工具。这可能源于批判态度、安全法规，或仅仅是缺乏兴趣。尊重这种选择是维护和保护组织声誉及与该用户关系的正确做法。如果解决方案有用、有价值、经过充分测试和良好沟通，或许能随着时间的推移提高工具的采用率，但强迫人们使用则无济于事。

结论

归根结底，这些经验教训中的许多内容对所有技术产品设计工作都是很好的建议。然而，需要强调的是，生成式AI极大地改变了用户与技术互动的方式，也代表了我们对技术期望的重大转变。因此，在将此类产品推向世界之前，比以往任何时候都更需要仔细审视用户及其起点。正如许多组织和公司正在艰难地认识到的那样，新产品是留下印象的机会，但这种印象可能很糟糕，也可能很好。留下深刻印象的机会很大，但破坏与用户的关系、摧毁他们对你的信任、并让自己陷入严重的损害控制工作的机会也同样巨大。因此，从一开始就要谨慎和认真！祝你好运！