第6章 科学计量学视角：发现、传播、评价与知识集中

科学计量学容易被误写成一种“给论文打分的科学”。这种理解把本应分开的三件事混在了一起：第一，指标测量什么构念；第二，真实语料中观察到了什么；第三，合成模型能够检验什么机制。引文索引可以告诉我们哪些文献彼此发生联系，却不能单凭这种联系判断哪一篇更正确；召回率可以告诉我们排序工具在某个候选池中找回了多少已标注的相关记录，却不能保证数据库在更早阶段没有漏掉整个主题；引用、影响因子或网络中心性可以描述传播和可见度，却不能独自证明严谨性、原创性或社会价值。因此，本章把科学计量学放在一个受约束的位置：它是对发现路径、传播结构、集中趋势和评价差异的观察工具，而不是对科学质量的无损测量。

在第2章的“技术能力—科研实践—科学制度”框架中，本章主要位于科研实践与科学制度的连接处，同时检验技术能力在具体计量任务中的表现。基准分数或合成指标只涉及技术能力层，检索、筛选和推荐属于实践接口，机构与身份评价则涉及制度和规范；这三层是对象层级，不是自动递进的阶段。因而，低层任务中的局部变化只有经过重复观察并与评价、责任和资源安排相连接，才可能支持更高层的结构判断。

6.1 从书目准确性到科学价值：先固定测量对象

讨论 AI 是否改变科研，需要先说清楚“被测量的对象”是什么。至少需要区分四个层次。

第一是书目信息准确性，即作者、题名、年份、出版物、数字对象标识符、版本和状态是否真实存在。它是后续核验的基础，却不能推出论文的结论真实或研究质量高。这一层在语料层面已经出现系统性风险：对大规模生物医学论文语料的引用审计观察到伪造引用显著上升，引用核验已从个案问题变成文献基础设施问题 (Topaz et al., 2026)。该审计以生物医学语料为主，也不能把伪造引用的增长全部归因于大模型使用。

第二是书目相关性，即某条记录是否满足一个具体问题、纳排标准或用户的信息需求。相关性是一个有参照集的任务概念。同一篇文章对“某一检索问题的相关性”和对“某一科学问题的价值”并不是同一个判断。

第三是引用行为，即文献之间是否发生引用或被引用事件。引用可能承担补全参考文献、说明方法、提出批评、表达致谢、推广成果或维持社交关系等功能。只记录引用数量而不记录引用情境，就无法知道这些引用在知识层面发生了什么 (Bornmann and Daniel, 2008)。因此，引用数可以描述传播结果或学术相关性的一部分，不能被直接命名为“影响力”“严谨性”或“原创性”。

第四是科学价值。它至少应拆分为可信度与严谨性、原创性、科学重要性、稳健性与可推广性、复现性，以及社会或转化价值等维度。不同维度需要不同证据：方法透明度、统计与报告质量、复现记录可以支持严谨性判断；引用情境和领域专家判断可以辅助判断后续影响；政策、临床或专利纳入则属于特定的转化代理。把这些维度压成一个不透明分数，会把构念争议隐藏在计算步骤之后。对生成式系统而言，这一分离已有直接评测：深层报告中的流畅度与引用对齐会掩盖事实与推理缺陷，表层质量指标因而不足以判定可信，评测须自带工具核验能力 (Avraham et al., 2026)。这不等于所有 AI 生成综述失实，其聚合基准任务也不等于真实研究流程，语料以英文开放网络为主，指标本身仍是代理量。

引文索引的历史构想之所以重要，不在于它已经解决了现代科学的评价问题，而在于它提供了一个不同的组织视角：通过论文之间的关联，发现主题相近但表达方式不同的工作，追踪评论和思想后继，并把原本分散的研究放入可检索的知识地图中 (Garfield, 1955)。这正是 AI 辅助发现可以介入的地方。可是，早期引文索引的构想和现代数据库中的引用图，也不能代替对全文、方法和结论的阅读。负责任计量的基本原则是让指标服务于明确目的，披露任务、差异和不确定性，并辅助而不是取代专家判断 (Hicks et al., 2015)。本章后续所有指标都沿着这条原则解释。

6.2 搜索召回与筛选召回：从“找得到”到“在预算内找到”

文献发现需要区分“筛选召回”和“搜索召回”。两者对应不同的总体和不同的失败方式。可以用一个四元组固定任务边界：

Universe（全部应纳入记录） → Candidate pool（实际进入候选池的记录） → Ranked list（模型排序） → Gold labels（独立人工或权威纳排结果）。

在这个链条中，发现阶段召回 R_search 是检索器最终纳入的合格记录数除以全部合格记录数；筛选阶段召回 R_screen(k) 是排序前 k 条中命中的合格记录数除以全部合格记录数；漏检率 M(k) 则是 1 - R_screen(k)。如果人工标签只覆盖了候选池，或者初始检索本身已经漏掉了一个主题簇，那么后续排序器就没有办法把没有进入候选池的研究“找回来”。此时，计算出的召回率至多是相对于已标注参照集的筛选召回，而不是整个知识发现链路的绝对召回。

本节筛选证据的主体是前 LLM 时代的主动学习与传统机器学习排序，这里的“模型”指经典分类与排序器，不是生成式检索。主动学习筛选的证据说明，排序通常可以把低价值记录推迟到人工阅读之后。van de Schoot 等人在四个已标注综述数据集上的回放模拟中报告了较低的工作量负担，但同时强调最终相关记录仍应由人阅读，而且回放开始之前检索式已经限制了可见的总体 (Feng et al., 2022; van de Schoot et al., 2021)。Ferdinands 等人把发现时序纳入比较，发现效率、相关记录到达位置和难发现文献的表现会随数据集与模型而变化；极晚才发现的记录会显著影响平均发现时间指标 (Ferdinands et al., 2023)。在单一真实项目中的工具比较还观察到同类筛选方法可能产生很大的召回差异，且该比较未标明所用工具、版本与底层模型，这提醒我们不能把某个基准上的表现写成产品排名或普遍保证 (Ringeval et al., 2026)。

这种差异比“选出唯一的最佳方法”更能揭示效率指标背后的残余风险。医学筛选的系统综述与元分析在最大化召回的合并结果中仍报告了约 0.928 的 pooled recall，这意味着平均而言仍可能有约 7.2% 的合格记录未被找到；同一分析在最大化精确率时，召回率下降到约 0.708，显示排序工具只能在漏检与误排之间移动，而不能同时消除二者 (Feng et al., 2022)。这些数值是前 LLM 经典机器学习筛选在医学语料上的汇总结果，不能读作生成式模型的错误率。范围综述又发现，60 项主动学习模拟研究使用了多达 61 种评价指标，纳入研究使用的数据集中位数只有 3.5 个，代码和数据同时开放的研究不足四分之一 (Teijema et al., 2025)。因此，WSS@r 这样的工作量指标不能被写成“95%召回的安全保证”。它衡量的是在给定参照集、召回目标和排序方式下，相对于随机顺序节省了多少工作量；它并不自动包括初始检索遗漏、标签错误、全文判断、综述结论变化和真实劳动成本。

当前代模型的直接证据在 2026 年才出现：一项临床医学领域的 LLM 辅助系统综述研究报告，前沿代模型（GPT-5 级）在题录筛选上达到 κ=0.820 的高一致性，而在分层等更复杂的任务上降至 κ=0.695，仍需人审在环 (Chen et al., 2026a)。该证据限于单一领域、特定提示流程与已标注语料，任务复杂度会调节一致性水平，筛选一致性也不能外推为证据综合可以无人参与。

因此，主动筛选的稳妥定位是研究者在环的优先级工具。一个实际报告至少要同时给出：候选池和参照集的定义；N、相关数、TP、FP、FN、TN；固定阅读预算下的 R@k、RRF@k 和漏检数；停止规则、先验样本、随机种子、重复次数和最坏运行；以及主题、年份、语言和文献类型的分层结果。只报告一个百分比，会把不同分母、不同停止时点和不同错误代价隐藏在同一个数字里。尤其要区分“找到一个相关记录”和“找到全部相关记录”：前者是命中问题，后者是完整性问题，二者不能由一个高分替代。

为避免这些符号在叙述中滑移，Precision@k 是前 k 条中的合格记录数除以 k，用于表示阅读负担中的命中密度；RRF@k 是前 k 条找到的合格记录数除以参照集中的全部合格记录数，用于表示固定阅读预算下的覆盖率；WSS@r 可写为 (TN + FN) / N - (1-r)，表示在召回目标 r 下相对于随机顺序节省的工作量；ATD 则是相关记录到达位置的平均值除以候选集大小，用于定位难发现项。它们必须分别和 k/N、绝对 FN、置信区间或重复分布、尾部位置和停止规则一起解释。尤其不能把 WSS@r 直接写成“质量保证”，也不能把 ATD 的改善写成科学发现能力的现实提升。

6.3 主题覆盖、新颖性与多样性：不是同一个轴

召回率高，只能说明在给定参照集里命中的合格记录较多，不能说明这些记录覆盖了研究问题中的全部概念簇。一个排序器可能反复把同一主题的高分记录排在前面，因而在总体召回上表现不错，却对罕见概念、早期文献、跨学科连接或不同方法的覆盖不足。为此，主题覆盖应与总体召回并列，而不是作为召回的附属解释。

信息检索研究要求把新颖性和多样性分开：新颖性关注结果是否超出已知或已经出现的内容，多样性关注结果集合内部是否覆盖不同方向、主题或信息需求 (Clarke et al., 2008)。在文献计量中，可以用人工定义的主题簇数来计算主题覆盖，用平均语义距离、图距离、领域熵和重复率来描述结果集合的多样性。熵、均匀度、Simpson 指数等数学形式可以帮助描述类别或物种的集中与分散 (Hill, 1973)；这些形式仍是描述性借用，其构念范围止于结果分布，并不自动延伸到科学质量、认知多样性或公平性。

引文推荐研究提供了一个具体的权衡。Küçüktunç 等人在约百万篇论文和约六百万条引用边构成的图上，比较了不同重排策略对相关性、图距离、新近性和基础文献覆盖的影响 (Küçüktunç et al., 2014)。图多样化可以让结果到达较老、奠基性或较新的论文，但过度追求局部极大会损害查询相关性，甚至把无关领域的热门论文返回给用户。由此得到的报告包不应只有一个“多样性分数”，而应同时写出：相关性如何定义，主题簇的参照集如何形成，语义距离和图距离如何计算，重复率如何定义，以及在固定相关阈值下，新颖论文、基础论文和新近论文各被覆盖了多少。不同指标可以描述不同侧面；把它们相乘或相加之前，必须说明这种合成是否具有任务上的理由。

在筛选场景中，主题覆盖还应按“簇”而不是按单篇记录来报告。一个主题簇中即使已经命中十篇高度相似的论文，也不意味着下一个相邻但未被模型识别的簇被覆盖。相反，罕见主题的召回可能在总体平均中被大量常见主题掩盖。对 AI 筛选而言，最低限度应同时呈现总体 Recall、主题簇召回、跨年份或跨领域覆盖、尾部相关记录的位置，以及结果集合的冗余度。这样才能看出排序工具是在扩大研究视野，还是只把已经容易被找到的材料重新排到前面。

新颖性也不能脱离参照集和执行过程。一个未出现过的组合可能是真正的新问题，也可能是训练语料中已经存在但表达方式变化的旧想法；一个跨领域连接可能新颖，也可能只是把两个热门主题机械拼接。科学计量可以标记新颖性、相似性和网络距离，却不能代替对可执行性、证据基础和后续验证的判断。在合成模拟中，“新颖性”只作为相对于生成器设定的机制变量，不作为现实创意价值。

6.4 引文网络、累积优势与推荐反馈

引文网络既是知识地图，也是注意分配结构。Price 对早期科学引文网络的分析显示，引用和被引分布高度偏斜，少数论文承担大量入边，许多论文则长期没有入边；网络的时间结构还呈现研究前沿、突增和衰减等特征 (Price, 1965)。这说明网络的形状本身值得测量，但不说明处于中心位置的论文更正确、更有原创性或更值得信任。经典网络基于特定历史语料，今天的开放获取、软件论文、多语言文献和数据库覆盖会改变可见度，不能把早期分布直接当成现代推荐系统的因果证据。

累积优势理论进一步解释了为什么可见度可能自我强化。Merton 讨论了科学奖励和传播中的“马太效应”：已经拥有声誉、学术信誉（credit）和资源的研究者更容易获得新的可见度，而较弱可见度者的贡献可能被遮蔽 (Merton, 1968)。这是一种制度和传播机制的理论框架，不是对现代算法净效应的估计。它提醒我们，引用集中可能同时来自研究质量、年龄、学科、语言、作者声誉、期刊位置、可及性和曝光机会。把所有差异都归因于 AI，或者把所有既有集中都归因于推荐系统，都会跳过必要的反事实。

推荐研究把其中的一个环节形式化了。Gupta 等人指出，在推荐器训练时，未被观察到的链接可能是“未曝光”，而不是“不相关”。如果直接把观察到的链接当作训练中的正例，模型会把曝光偏差误当成相关性；再把推荐结果反馈到下一轮训练，可能进一步扩大领域集中 (Gupta et al., 2021)。该研究使用半合成的学术图和模拟的曝光、链接概率，能够支持机制上的可能性，却不能证明真实学术推荐系统上线后一定导致引用集中、跨领域阅读减少或国家与机构的曝光下降。真实部署缺少完整的反事实曝光日志，用户的点击、收藏、阅读和引用也不是同一件事。

这意味着“推荐系统必然加剧马太效应”不是一个可接受的结论。更准确的说法是：在某些数据生成和反馈设定下，曝光偏差确实提供了一条放大路径；现实净效应还取决于初始种子、推荐目标、探索比例、用户行为、数据库覆盖和制度性纠偏。多样化重排可以改变新旧文献、基础文献和图距离的覆盖，从而部分缓和局部集中 (Küçüktunç et al., 2014)，但它可能牺牲相关性，也只能描述离线图上的结果集合。把“存在反馈机制”与“已经造成现实不平等”分开，是科学计量学避免因果越界的必要步骤。

生成式检索一侧已有 2025 年的对照读数：一项比较基于大模型的搜索引擎与传统搜索引擎的预印本发现，前者返回了更多独有域名与更多样来源，但在可信度、政治中立与安全性上并无优势 (Zhang et al., 2025)。来源多样性的收益因而不是可信度或检索质量的收益；该研究测量的是引用与来源分布，不等于质量或召回率，查询与快照时点也限定了结论的适用范围。

因此，对推荐系统的评价应同时记录推荐前后候选池的构成、曝光概率、结果集合的相关性、主题覆盖、跨领域边占比以及不同群体的曝光份额。推荐概率本身不是客观相关性；点击也不是知识理解；高中心性也不是质量。若要估计反馈回路的净因果效应，还需要随机化探索、曝光日志、时间外验证或可信的反事实设计，而不能只凭一张静态网络图完成。

6.5 指标构念：传播、严谨性与转化价值不能合并

当科学计量用于 AI 评价时，核心任务是让每个分数回到其构念。引用数和网络指标描述传播与可见度；引用情境、正负引用、自引、领域与年份归一化，解释传播如何发生；专家判断、统计报告、复现和全文核验更接近严谨性与可信度；专利、指南或政策纳入则描述一种转化代理。把这些层次合并为“高影响指数”，会诱导使用者以为同一个分数可以跨越研究问题、学科和时间回答不同问题。

行为与脑科学真实语料的研究提供了一个有价值的反例。Dougherty and Horne 在 45,144 篇文章、667,208 项统计检验和 190 次复现尝试中考察引用数与期刊影响因子，发现它们对统计报告准确性、证据强度和复现成功的预测只是弱且不一致的，个别关系甚至为负 (Dougherty and Horne, 2022)。这项研究并不证明引用与任何质量维度都没有关联；它说明的是，在特定学科和质量定义下，引用与部分严谨性或复现指标之间不能建立稳定、普遍的正向代理。因而“高引用证明高质量”是越过了证据边界，而“引用有时含有局部信息”仍然是可辩护的较弱命题。

类似地，内容模型可以帮助预测某些明确的未来结果。Nelson 等人在 1990—2019 年约 4,330 万篇医学论文上，用题名、摘要和元数据预测后来是否被专利、指南或政策纳入，报告的 AUROC 约为 0.915—0.918，高于只使用年度引用的约 0.756—0.767 (Nelson et al., 2022)。这些数值来自前 LLM 时代的内容模型，不是生成式模型，也不能读作当前代大模型的价值预测能力。这个结果支持“内容信号对特定转化代理具有预测信息”，不支持“论文正确”“研究有因果贡献”或“模型已经测得一般科学价值”。转化标签本身可能由主题热度、机构声誉、元数据和引用可见性共同塑造；正负类别极不平衡时，AUROC 很高也不等于在固定预算下有用，部署还需要 top-k 精确率、召回率、校准和失败案例。

因此，AI 价值预测应当被拆成互不替代的任务：预测检索相关性、筛选召回、引用或阅读传播、统计严谨性、复现成功、原创性、转化纳入以及社会影响，分别定义标签、参照总体、时间窗和错误代价。对于任何一类预测，至少要报告样本内与时间外、学科内与学科外的差异，概率校准和阈值敏感性，以及不同群体的误差分布。模型复杂度、AUROC 较高或“预测未来引用”的能力，都不能自动推出构念更接近科学价值。科学价值的多维报告应保留严谨性、原创性、重要性、稳健性、转化和责任追踪的边界；如确有需要合成总分，也必须事先公开权重、归一化规则、缺失值处理和敏感性分析。

6.6 机构、身份与评价偏差：偏差是指标—制度关系

科学计量中的“偏差”不应被理解成某个群体天然缺少能力，或某个指标永远朝一个方向伤害某类人。更准确的构念是：在特定数据库、学科单元、时间窗、计数规则和参照评审制度下，指标与被评价对象之间出现了系统性的排序差异。它是一种关系属性，需要同时说明指标是什么、参照是什么、谁被纳入、谁没有被纳入，以及结果是否在不同群体和制度中保持一致。

Thelwall 等人对英国 REF 2014—2017 年数据的研究提供了一个不能被简化的结果集：在 73,612 篇期刊论文和 34 个学科单元中，以引用指标替代或混入同行评审时，除化学等例外，引用计分可能压缩甚至反转同行评审所认定的高质量机构优势；然而，这种关系随学科和评价任务而变，研究也没有发现跨学科成果总体上被系统性低估，女性作者结果还显示引用计分有轻微优势 (Thelwall et al., 2023)。这组结果同时支持两件事：计量指标可能对某些机构排序产生与专家评审不同的结果；计量偏差也不能被概括成对所有学科和身份群体的单向不利。该研究的结论还受英国 REF、期刊论文、宽泛学科单元、名称推断、并列分值处理和同行评审参照的限制，不能直接当作 AI 偏差或全球机构排名。

身份与地位偏差也需要按制度和盲审设计拆开。Giannakakos 等人对单盲与双盲同行评议比较研究的系统综述指出，作者特征、身份、地位和制度环境可能影响评审结果，但不同研究的设计、特征和结果并不一致，不能抽取一个适用于所有期刊和所有群体的固定偏差参数 (Giannakakos et al., 2025)。这意味着，AI 辅助评审或推荐若要讨论公平，必须先说明比较的是单盲还是双盲，身份是否可见，评价单位是稿件、作者、机构还是资源分配，参照的是人工决定还是另一个模型。不能用合成模拟中的抽象组标签替代现实身份，也不能把模型的组间误差差异直接命名为社会歧视。

评价制度本身也属于证据边界。DORA 宣言反对用期刊影响因子替代对个人成果内容的评价 (Hicks et al., 2015; DORA, 2013)，但这不是一项已经证明某种新指标能消除偏差的效果研究。更可辩护的做法是建立指标审计表：记录数据库覆盖、语言和文献类型，报告全计数与分数计数，区分领域归一化前后的结果，按机构、国家、性别或研究阶段分层，并同时展示专家评审或其他独立证据。只有当不同指标在多个情境中给出相同结论时，结论才具有较强的稳健性；当排序改变时，应把改变本身作为评价不确定性的信息，而不是隐藏在排名之后。

6.7 AI 价值预测的任务化：先说清楚要预测什么

AI 进入科学计量后，最容易出现的叙事是“模型能够读出高价值研究”。这种说法把一个尚未明确的标签偷换成了实体属性。为了避免这种构念滑移，可以把科学发现与评价拆成下表所示的任务链。

表格中的“可以支持”仍然是条件性陈述。Nelson 等人的转化预测说明，前 LLM 内容模型在明确的医学转化标签上可能比年度引用提供更多信息；Dougherty and Horne 的研究则说明，引用对另一组严谨性与复现指标只能提供弱而不一致的预测 (Nelson et al., 2022; Dougherty and Horne, 2022)。两类结果并不互相否定：不同标签、语料和时间窗回答不同问题。关键不在于选出“最接近价值”的单一指标，而在于把预测任务、参照总体、错误代价和外部验证写清楚。任务结构与验收口径对分数的调节已有直接读数：一项 2025 年预印本报告显示，同一前沿模型在长时程企业任务上的成绩约为 23%，而在 SWE-bench Verified 上超过 70% (Deng et al., 2025)；该基准由 Scale AI 自建、存在利益相关争议，分数也随模型与设置更新而变化，单一基准分数因而不能被解释为端到端软件工程生产率。时间窗同样会改变方向：一项 2026 年预印本的准实验观察显示，采纳智能体后速度增益前置并随后衰减，而静态分析告警与认知复杂度的上升持续存在，局部提速与技术债并行 (Agarwal et al., 2026)；该研究是观察性数据，双差分依赖平行趋势假设，仓库层面的质量指标变化不能写成个人生产率下降。

在实际部署中，还应把“分数”改写成“可行动的决策”。如果系统输出的是转化概率，报告应同时显示概率校准、阈值变化时的 top-k 负担和未定义或拒答案例；如果系统输出的是筛选排序，报告应同时显示绝对 FN、主题分层和停止规则；如果系统输出的是新颖性，报告应说明参照集、时间窗口、相似度阈值和后续执行验证。这样，AI 的价值预测才不会被“科学价值”这个总称遮蔽。

6.8 合成模拟的指标与证据边界

本文用三项合成模拟检验排序、召回、集中、确认加权、共享评审信号和资源分配的条件性机制。它们与现实经验证据分属不同证据层，不用于估计真实 AI、真实科研人员或现实评价制度的平均效果。合成结论只适用于给定的生成器、参数、随机种子和重复数；同环境复现还要求脚本身份、输入参数、输出 schema 和产物哈希一致。运行清单记录可复现状态，图形只呈现相应表格的数据，不增加新的观测单位。

这些指标具有明确而狭窄的定义。topic_coverage 的分子是结果中出现的合成主题数，分母固定为全部 16 个合成主题；它不是四个 query_target_topic_ids 的目标主题召回。目标主题编号只参与潜在相关信号的构造，不改变覆盖指标的分母。shannon_evenness 是主题分布熵除以主题数的对数，effective_topics 是熵的指数，head_share 是被选记录中属于预设头部组的比例；归一化 HHI 是组份额平方和经最小均匀集中度校正后的结果。这些量描述合成结果集合的覆盖、均匀性和集中度，构念范围不延伸到严谨性、语义多样性、认知质量或公平。SIM-8.3 的 MAE 和决定误差回答评分或阈值判断与构造真值有多远，共识回答合成评审在阈值上的一致程度，覆盖和资源差距回答预算如何分配；它们同样不回答真实录用、编辑责任或社会公平。

SIM-8.1 文献筛选

该实验以 10,000 条合成记录、16 个主题、100 个组和 1,000 次重复为固定条件，在 5%、10% 和 20% 的筛选深度下比较 random、keyword 与 semantic_noise。输出指标包括 recall、precision、topic_coverage、shannon_evenness、effective_topics、head_share 和 normalized_hhi，分别涉及总体命中、前排精确性、全部 16 个主题的出现比例、分布均匀性、有效主题数、头部组份额和组集中度。结果文件中的 random_expected_recall 是随机选取 k 条时包含全部 200 个相关项的概率，不是平均召回率。该实验检验的是召回、主题出现比例和组集中度之间的条件性关系，不代表真实关键词或语义产品的性能。

SIM-8.2 创意发现

该实验在 10,000 个合成项目、1,000 次重复以及 pi、d、预算比例和确认权重网格下比较 neutral、cb_1 和 cb_2。每一轮生成同规模的新合成总体，belief 标签由当轮分数内生生成，因而 belief_gap 是构念替代而非预先存在的真实群体差异。指标包括 recall、precision、fdp_single、validations_per_tp、invalid_validations_per_tp、belief_gap 以及相应的 defined_fraction。fdp_single 是单次已选集合中的假发现比例，不是总体 FDR；验证负担和信念组差距在分母为空时未定义，保留其 defined fraction 才有解释意义。d=0 的负控只检查构造边界，不测量真实科学家的心理或发现率。

SIM-8.3 同行评议

该实验以 1,000 篇合成稿件、1,000 次重复、三名评审和五个混合权重 omega 为基本网格，并改变共享 AI 误差、评审能力 profile、严厉度、特异噪声和同预算分配策略。输出包括 MAE、决定误差、评分离散、决定共识、组偏差、人类覆盖和资源差距等字段。组标签是与质量独立的抽象随机二分，不代表任何真实身份群体；ai_only_coverage 是合成稿件没有被人类评审的比例；pseudo_consensus_pattern 是脚本派生标志，而非经验证的“伪共识”构念。共享信号与同预算重分配的结果只描述构造机制，不能评价真实评审者、编辑、期刊或录用质量。该实验没有独立负控，结构检查也不能替代负控。

三个实验的生成器、标签、分母和指标并不相同，因而不应把各自的 recall、precision、MAE、共识或组间差距拼成统一效果量。q025 和 q975 是重复分布分位数，不是置信区间；单一 seed、离散参数网格和合成标签也不支持连续插值、全局最优或跨环境推断。它们所支持的是给定构造下可能出现的关系，现实生产率、科学质量、公平和制度后果仍需独立经验证据。

6.9 本章判断：计量能描述什么，不能决定什么

AI 对科学秩序的可能影响主要表现为搜索与排序方式、可见度分配、主题发现路径和评价信号的改变；生成式检索的对照研究已给出这一侧的当代读数，来源多样性与可信度的收益并不同步 (Zhang et al., 2025)。科学计量可以把这些变化拆成可观察的结构：搜索是否把合格记录带入候选池，排序是否在固定预算内找回相关记录，主题簇是否得到覆盖，头部和尾部如何分配曝光，引用和转化代理如何随时间变化。这样的描述能揭示效率与覆盖之间的取舍，也能让研究者和制度看到推荐系统改变了谁更容易被看见。

但计量描述并不自动等于机制因果，更不等于价值裁决。历史引文网络和累积优势理论说明集中可能存在；半合成推荐研究说明曝光偏差可能形成反馈；多样化研究说明干预可能改变结果集合；真实筛选研究说明效率和召回存在残余风险；指标研究说明引用与严谨性、复现和转化代理的关系不稳定且依赖构念。把这些证据拼成“AI 必然提高科学质量”或“AI 必然制造不公平”，都是把不同层次的证据越级使用。更谨慎的结论是：AI 可能改变可见度和反馈回路，因而值得被计量、审计和治理；至于它是否改善了科学质量、公平性或社会价值，必须由独立的经验研究回答。

未来的研究应建立可追溯的指标链，而不是追求一个可以解释所有论文的分数：从数据库覆盖和检索式开始，报告搜索召回、筛选召回、主题覆盖、停止不确定性、引用情境、机构与身份分层，一直延伸到全文质量、复现、转化和责任记录。每一层都应声明总体、分母、时间窗、标签来源、错误代价和不确定性；每一层都不能替下一层作结论。这样的分层并不会让数字失去作用，反而使数字更接近它真正能够支持的判断。