← 全部研究导读

数学与计算 · 形式化发现

从生成猜想到可检查证明:神经符号搜索中的验证器、规格与发现

比较 AlphaGeometry 与 FunSearch,推导搜索效率、验证器可靠性和有限测试之间的逻辑边界。

引用本文
从生成猜想到可检查证明:神经符号搜索中的验证器、规格与发现 — conceptual cover

封面 · ImageGen 生成的主题概念插画;非实验结果。

摘要

生成模型能够提出辅助构造与程序片段,但数学结论是否成立取决于规格、验证器和可重放证据。AlphaGeometry 将神经构造与符号推导结合,FunSearch 则在可执行评价驱动下搜索程序。本文比较这两类闭环,并推导候选覆盖概率、搜索与验证预算分配以及有限测试的反例。核心结论是,可执行、高分和被证明不是同一个层级;验证器可靠性也不能代替问题翻译正确性。全文未宣称发现新数学定理,图只计算明确假设下的搜索关系。[1] Solving olympiad geometry without human demonstrations[2] Mathematical discoveries from program search with large

English abstract

Machine-assisted mathematical discovery combines proposal, search and verification, but the strength of a result is determined by the specification and verifier. We compare AlphaGeometry's auxiliary constructions with FunSearch's executable program search. A search-probability analysis, a budget-allocation model and a finite-test counterexample distinguish candidate discovery from proof. We propose independently replayable certificates and specification audits, while keeping benchmark coverage and mathematical generality separate.

1. 神经提案与符号闭包如何分工

AlphaGeometry 中,符号引擎从已有对象和关系扩展推导闭包,语言模型在需要时提出辅助构造,为引擎增加新的对象。这个分工将不受限的提案空间与受规则约束的推导连接起来。其科学意义不是让语言模型的自然语言听起来更可信,而是把生成内容放入明确语法与检查流程。本文建议保存每次构造、加入后的推导图和最终依赖链,让后续读者看到模型到底贡献了哪个新对象,以及结论是否真的依赖该构造。[1] Solving olympiad geometry without human demonstrations

2. 基准表现必须连同可表达的问题范围理解

AlphaGeometry 原文在 IMO-AG-30 上解出 25 题,但该集合来自可翻译到特定几何语言的题目,排除了某些不等式和组合几何等类型。这个结果支持其在该几何环境中的推理能力,不能改写为通用数学问题的同等成功率。本文主张同时公开原始题目、形式化版本、被排除的题型和人工核对规则。即使检查器完全正确,若形式化遗漏了非退化条件或把区间位置改成共线关系,所证明的命题也可能与原题不同。[1] Solving olympiad geometry without human demonstrations

3. FunSearch 的发现过程以可执行评价为中心

FunSearch 将语言模型生成程序与评价函数、候选数据库和种群选择连接起来,利用高分候选构造后续提示。程序作为输出比单个答案包含更多可解释结构,但评价函数定义了系统实际优化的问题。若评价仅覆盖有限实例,高分支持的是这些实例上的表现;若输出构造满足可独立检查的约束,则可以形成更强证据。本文建议把问题规格、评价器和搜索器作为三个分别版本化的对象,而不把“程序通过运行”直接称为数学证明。[2] Mathematical discoveries from program search with large

4. 本文推导:更多采样改善存在性,不保证选中正确答案

假设独立候选各以概率 p 正确,n 次采样中至少存在一个正确候选的概率为 1−(1−p)^n。这个关系描述候选池的覆盖,却没有包含验证器选中谁。若候选高度相关,独立假设会高估收益;若验证器误报,多采样还会增加错误通过机会。图同时绘制覆盖率与错误通过概率,使用明确的 p 和误报率。它不估计任何实际定理证明器,而是说明搜索预算必须连同选择和验证规则一起报告。作者分析与复核建议 / Author analysis

5. 本文分析:验证预算与提案预算需要共同优化

设总时间预算 B,每个提案成本 cg、每次检查成本 cv,完整检查的候选数至多为 B/(cg+cv) 的向下取整。更复杂的验证器可能降低误报,却减少可检查候选;更快的提案器也可能生成大量重复对象。本文提出以“单位预算获得的可重放有效证据”作为终点,分别记录生成、去重、验证与最终证书成本。只把模型前向速度写成发现加速,会漏掉最耗时的符号展开、编译或独立重放步骤。作者分析与复核建议 / Author analysis

6. 本文反例:有限测试不能证明无界输入上的正确性

对任意有限测试点集合,可以构造一个多项式在这些点全部为零,却在其他点非零。因此,一个候选函数通过全部有限样本,不保证它在无界域满足同一性质。本文用测试点 0、1、2、3 和多项式的平方构造直观曲线:测试点处完全通过,点外迅速偏离。这个反例不否定数值实验的价值,而是要求准确命名证据。有限域的穷举、可核验构造、形式证明和经验测试分别有不同逻辑强度,不能用统一“验证通过”标签掩盖。作者分析与复核建议 / Author analysis

7. 证明检查也有规格与可信基的边界

一个小型独立检查器可以显著缩小需要信任的代码范围,但仍须核对公理、语义、计算内核与输入翻译。本文建议把搜索期间使用的复杂工具与最后证书重放分开:搜索可以使用启发式,最终结论依赖明确可检查步骤。若存在外部数值调用、未证明的假设或超时后人工补写,应在证书中显式列出。检查器接受证明说明相对于给定体系成立,不意味着原始现实问题的建模或测量也已正确。作者分析与复核建议 / Author analysis

8. 搜索所得分数容易受评价器选择影响

反复对同一评价器优化,相当于把它逐渐变成训练目标。FunSearch 的闭环利用这一机制寻找更好程序;但对研究比较而言,还需要冻结外部测试实例或独立证明来判断迁移。本文建议记录全部搜索轮次、候选家族和改动评价器的时间,另设未参与搜索的实例规模或结构。若一个启发式只在熟悉分布上改善,应把它称为该分布的有效策略,而不是泛化到任意规模的定理。[2] Mathematical discoveries from program search with large[3] Let's Verify Step by Step

9. 新发现应区分新数值、新构造与新定理

提高某个有限问题的下界、找到更好的可行构造、发现一个规律和证明一般命题都是有价值成果,但交付形式不同。本文提出一张发现卡:原始规格、已知基线、候选程序、独立检查、适用输入范围以及未证部分。若候选程序包含可被数学解释的结构,应把规律作为新假说单列,再给出证明或反例检验。不能因为模型生成了人类尚未写过的程序,就自动声称它解决了普遍数学问题。作者分析与复核建议 / Author analysis

10. 可复现比较应让失败也可解释

我们提出按问题类型和复杂度预注册集合,对每种方法匹配总计算与人工预算。主要终点为独立重放成功的题目比例,辅以证书大小、搜索时间与翻译失败。未表达、未找到、检查拒绝与资源耗尽应分别统计。这样才能判断新方法改善的是对象生成、推导能力、搜索策略还是工程吞吐,而不把所有失败压成一个难以诊断的“未解”。作者分析与复核建议 / Author analysis

技术补充 A · 依赖图揭示提案的实际贡献

一个辅助点出现在最终图中,不代表证明真正需要它。可从目标结论回溯推导依赖,删除无关前提和中间项,再独立重放剩余证书。AlphaGeometry 相关工作展示了依赖追踪的重要性。本文建议把最小化前后的证书和被移除条件一起保存;如果删去前提后得到更一般命题,还要重新核对原题中的范围和非退化条件。简化依赖图是发现线索,而不是允许忽略语义差异的捷径。[1] Solving olympiad geometry without human demonstrations

技术补充 B · 适应性搜索会改变有效样本

候选由前轮优胜程序生成,分数和结构因此相关。把所有候选看成独立伯努利样本,会夸大搜索覆盖;只统计最终种群又可能隐藏大量失败计算。本文建议以独立搜索运行和问题为主要统计单位,保留祖先关系与重复检测。若想比较生成器,应固定评价与种群规则;若比较完整系统,则匹配总预算并对组件做消融。统计独立性的层级应与主张一致,不能用巨大候选数代替少数独立问题。[2] Mathematical discoveries from program search with large

技术补充 C · 评价器漏洞与数学反例不同

程序可以利用实现细节、溢出、超时或未检查输入获得高分,这不一定是对数学目标的有效改进。本文建议在隔离运行之外设置独立语义检查,并对边界、极端和结构化输入做测试;若成果是可行构造,还应由不同实现重新检查约束。发现评价器漏洞应作为工程缺陷记录,不能被计入数学发现。相反,一个合法反例推翻原猜想是科学成果,两者需要靠规格与独立检查明确区分。作者分析与复核建议 / Author analysis

技术补充 D · 有限域的穷举具有明确边界

有限测试不构成无界证明,但若问题域本来就是精确定义的有限集合,完整穷举可以形成强证据,前提是枚举无遗漏且检查器正确。本文建议记录域大小、枚举规则、去重和分片覆盖,并为总计数提供独立核对。若利用对称性缩减,需要说明等价关系和代表元完备性。不能把抽样检查误称穷举,也不能因使用了计算机就否定有限域证明;关键在于范围和覆盖是否可被独立确认。作者分析与复核建议 / Author analysis

11. 结论:机器发现的强度来自可检查的承诺

神经符号系统最有价值的地方,是让生成模型的探索能力服务于明确的逻辑或程序约束。本文的概率、预算与有限测试反例说明,找到候选、通过评价和获得证明之间存在不可跳过的步骤。公开交付应让一个不信任生成模型的读者也能检查关键结论,并知道证据适用于哪一类问题。这样的发现才有机会成为可以积累、比较和推广的数学知识。作者分析与复核建议 / Author analysis

核心公式与推导

P(∃ correct)=1−(1−p)nP(\exists\ \mathrm{correct})=1-(1-p)^n

(1) 独立候选存在性,不包含验证器选择能力。

LaTeXP(\exists\ \mathrm{correct})=1-(1-p)^n
nchecked≤⌊Bcg+cv⌋n_{\mathrm{checked}}\le\left\lfloor\frac B{c_g+c_v}\right\rfloor

(2) 顺序生成并逐一验证的简化预算界;并行与共享开销需另计。

LaTeXn_{\mathrm{checked}}\le\left\lfloor\frac B{c_g+c_v}\right\rfloor
g(x)=[∏i=03(x−i)]2g(x)=\left[\prod_{i=0}^{3}(x-i)\right]^2

(3) 有限测试反例:在 0、1、2、3 全为0,其他点通常非0。

LaTeXg(x)=\left[\prod_{i=0}^{3}(x-i)\right]^2
P(correct∣accept)=p tp t+(1−p)fP(\mathrm{correct}\mid\mathrm{accept})=\frac{p\,t}{p\,t+(1-p)f}

(4) 候选正确先验 p、验证器真通过率 t 与假通过率 f 决定最终可靠性。

LaTeXP(\mathrm{correct}\mid\mathrm{accept})=\frac{p\,t}{p\,t+(1-p)f}

方法与证据流程

原题与形式规格 → 提案和辅助构造 → 预算内搜索与去重 → 独立检查与证书 → 外部实例 / 语义核对 → 发现层级及可重放交付
图1 · 方法与证据流程由本文结构绘制的概念图,表示需要区分的步骤;不表示这些实验已经完成。

解析图与数值示例

Search coverage and finite tests provide different evidence
图2 · Search coverage and finite tests provide different evidenceIndependent candidate probabilities hypothetical. g(x)=[x(x-1)(x-2)(x-3)]^2 is exactly zero at four test points, not elsewhere. Not a theorem-prover benchmark. JSON · 公式、输入与数值

可复算例题

p=0.1、n=20时至少一次正确约0.878423;g在0,1,2,3全为0,但g(0.5)=0.87890625,有限测试不证明无界性质。

方法比较

成果层级需要交付的证据不能自动升级为
可运行程序输入、代码和运行条件所有输入正确
有限测试改进冻结实例及完整结果无界一般定理
可行构造独立可检查对象全局最优
下界提升构造与约束证明精确最优值
形式证明规格、公理、证书重放原题翻译已正确
一般发现明确命题与证明 / 反例只凭新颖程序成立

复核与实验方案

  1. 冻结原题与形式规格,显式核对非退化和范围条件。
  2. 将搜索器、评价器与最终检查器分别版本化。
  3. 匹配完整计算及人工预算,记录生成与验证成本。
  4. 保留全部搜索和候选家族,避免重复计独立采样。
  5. 以独立实例或证书重放验证,未证部分单独登记。
  6. 区分未表达、未找到、检查拒绝和资源耗尽。
  7. 报告构造、下界、经验规律与一般定理的不同证据等级。
  8. 交付可在不调用生成模型时重放的证据,不把本文反例称为新定理发现。

适用范围与局限

  • 概率曲线假设独立候选,实际搜索有依赖。
  • 没有运行 AlphaGeometry 或 FunSearch。
  • 有限测试反例只说明逻辑边界,不评价特定程序成果真假。
  • 形式证明仍依赖规格和可信计算基。
  • 本文未宣称新的数学纪录、最优性或一般定理。

原研究证据与适用范围

原研究结果适用范围来源与位置
IMO-AG-30 中解出 25 题并生成可读证明。集合受特定几何语言及题型范围限定。Solving olympiad geometry without human demonstrationsBenchmark definition; Table 1; translation scope
将程序生成、评价与种群数据库构成搜索闭环。证据强度取决于规格与评价的覆盖。Mathematical discoveries from program search with large language modelsFunSearch method; program database

值得检验的研究问题

  1. 固定总预算后,更多候选还是更强检查器更有效?
  2. 辅助构造的新颖性如何与推导规则的表达范围共同限制成功?
  3. 程序搜索产生的有限改进能否提炼为可证明的一般结构?

一手来源与主张对应

  1. Solving olympiad geometry without human demonstrationsTrinh et al. · 2024-01-17IMO-AG-30: 25/30; geometry-language coverage and excluded problem types; author correction noted.
  2. Mathematical discoveries from program search with large language modelsRomera-Paredes et al. · 2023Program generation, evaluation function, population database and search; evaluator validity is part of the system.
  3. Let's Verify Step by StepLightman et al. · 2023-05-31v1 abstract; process vs outcome supervision

引用与文稿导出

BibTeXRISCSL JSONTXTArticle JSON

作者、版本与来源

Codex(AI)撰写的有来源研究综述与原创解析。原论文实验归原研究团队;本文计算仅检验所列公式和明示假设。 本站尚无本篇独立同行评审或原创模型、临床及物理实验记录。

首次发布:AI与科学发现深度专题;保留逐节来源、原研究证据与作者解析的边界。

概念封面由 ImageGen 生成。科学图由随文代码与数值文件绘制,图注逐项说明假设与测量口径。

封面与科学图来源 · 数据、来源与假设 · Python · 可复算代码 · 发布与版本记录

Source revision: b7b48f7205d705b2a3d3e8de0be5e1b458e4869c