1. 背景介绍

过去十年中，认知科学研究领域的计算建模研究 (computational modeling) 数量呈现了指数性增长趋势 (图1a)。认知科学领域的计算建模研究大体可以分为两类：数据优先 (data first) 和模型优先 (model first) 的研究。前者的主要目的是探索一个计算模型来解释相关实证数据；而后者的主要目的是对不同的计算模型进行辨别。本文的讨论主要集中于模型优先的相关研究。

2. 绝对标准

模型选择的通用原则叫奥卡姆剃刀原则，“若无必要，勿增实体” (Plurality is never to be posited without necessity.)。该原则认为如果两个理论能同样好的解释观测数据，那么我们应该接受较为简单的那个理论。这要求模型选择应该综合权衡模型的复杂度和模型对数据的拟合度。模型的复杂性或模型的经济性 (model parsimony) 通常由模型包含的自由或可变参数个数决定。模型对数据的拟合程度如 BIC、AIC 等展示的是模型的预测表现 (predictive performance)， 即在假定模型正确的前提下，研究者观测到实验数据的可能性。实际上，模型的预测性表现只是模型比较的相对标准 (relative comparison criteria)，因为他们没有提供模型选择和模型拒绝的绝对标准。

模型选择除了相对标准，还应坚持一项绝对标准 (absolute rejection criterion)，即已有理论无法解释某项实验数据，新理论则既能够解释该项实验数据，也能解释所有前人数据。证伪一项理论的核心在于报告一份该理论无法解释的行为或神经学数据。模型选择的绝对标准可以用模型的产生性表现 (generative performance) 来表示， 即一个给定模型能够产生相关数据的能力。一个模型的产生性表现通常用模拟产生数据和实际数据间的相似性来表示。

基于模型拟合的相对比较标准是无法正确证伪一个模型的，而基于模型模拟的绝对比较标准则可以有效区分不同的模型。虽然模型模拟和模型比较的绝对标准在模型证伪和模型选择中起着关键作用，但是目前大部分模型比较的研究都没有使用该绝对标准 (图1b)。

2. 两个例子

下面两个例子说明模型比较 (基于模型拟合) 和模型证伪 (基于模型模拟) 的互补性作用。

第一项研究是关于决策过程中误差的来源问题 (图2a-b)。实验中，被试会看到 2-16 个方向不同的删格 (图2a)。每次试验中的所有删格均来自于两个可能分布中的一个，即类别 A 或类别 B。被试的任务是判断该次试验中的删格来自哪一个类别。在该实验设计下，被试的选择误差有两种可能的来源：反应选择过程或推论过程。为了区分这两种理论，研究者先比较了两种模型的预测性表现，发现推论模型比选择模型更好。为了进一步探讨推论模型比选择模型好的原因，研究者考察了选择误差与刺激长度 (每次试验中出现的删格个数) 的关系，发现推论过程模型的模拟数据比选择过程模型的模拟数据能更拟合实际观测到的数据 (图2b)。

第二项研究考察了强化学习过程中个体对主观价值的习得是情景独立 (基于强化的绝对值大小) 的还是情景依存的（不单受强化绝对值大小的影响，还收强化方向的影响） (图2c-d)。每次试验中，被试在两个新异图形中选一个，两个图形获得奖赏 (或惩罚) 的概率不一样。实验的核心控制是强化的方式：正强化还是负强化。正强化条件下，选图形 A 获得奖赏 （得到 50 美分）的概率是 75%，而选 B 获得奖赏的概率是 25%。负强化条件下，被试选 C 得到惩罚 (损失 50 美分) 的概率是 25%，而选 D 得到惩罚的概率是 75% (图2c)。目前有两种理论解释被试在该实验设计下的强化学习过程：情景独立模型认为被试的学习过程仅受强化值大小，而不受强化方向的影响；而情景依存性理论认为，被试的反应既受强化值大小又受强化方向的影响。研究者综合了模型的预测性表现和模拟性表现发现情景依存模型更能解释被试的行为 (图2d)。

3. 研究建议

模型选择研究中应该遵循一下一些基本步骤：

• 首先要设计一个能够区分不同计算模型的实验任务，即在该实验任务下不同的模型应该产生不同的预测；
• 事前 (ex ante) 数据模拟。在大幅度的参数范围上用不同的模型对数据进行模拟，以确保该任务能够以辨别不同的模型：不同的模型在不同的参数范围上，应该表现出不同的行为模式。同时还要确保相对模型比较标准能够正确复原 (Model recovery) 产生模拟数据的模型和参数。然后再回到步骤一，以确定所有模型都能通过步骤二；
• 做实验收集数据；并确定数据中出现了感兴趣的行为模式；
• 用不同的模型对实验数据进行模拟以获得最佳拟合的参数值，并用相对模型选择标准确定最经济模型。确定模型似然度最好用样本外 (out-of-sample) 方法，因为此时模型更具可推广性 (model generalizability)。
• 事后数据模拟 (ex post)。用最佳拟合参数值对数据进行模拟，以确定只有最佳模型的最优拟合参数才能重构相关行为效应，而其他竞争模型不可以。

4. 参考文献

Palminteri, S., Wyart, V., & Koechlin, E. (2017). The Importance of Falsification in Computational Cognitive Modeling. Trends in Cognitive Sciences. doi:10.1016/j.tics.2017.03.011