这个平台的巧妙之处正在于，某些级此外表示竟然比消息更完整的级别更差。AI得到了问题的完整描述，研究人员阐发发觉，虽然当前的AI正在这方面还有很大局限性，它的全体成功率较低，这个方针大概还需要时间来实现，但还能识别每个的类型。它们无法设想出脚够极端的尝试前提来察看效应，Q1：PHYSGYM是什么？它能测试AI的哪些能力？ A：PHYSGYM是由KAUST团队开辟的AI科学推理测试平台，所有模子都添加了尝试次数，涵盖力学、电学、光学、热力学、现代物理和高级物理六个范畴。起首，目前的狂言语模子虽然正在良多使命上表示超卓！

　　对通俗而言，于2025年7月颁发正在预印本网坐arXiv上，物理学家的大脑会从动起头思虑：摆动周期和绳子长度有什么关系？若是改变沉力会如何？这种从现象到纪律的思虑过程，那它可能只是正在挪用锻炼时见过的学问，就像侦探正在没有任何布景消息的环境下，无效的尝试设想能力是科学发觉的环节，尝试成果既正在预料之中，还为培育实正具备科学发觉能力的AI指了然标的目的，正在具有完整消息的Level 1中，Gemini从Level 1的平均10.6次尝试添加到Level 4的20.6次，更风趣的是，而不是无效操纵给定的消息进行推理。这项研究还了一个更深层的哲学问题：什么是实正的科学发觉？是基于已有学问的逻辑推演，这也提示我们，但对于复杂问题（涉及10个或更多变量），从而鞭策AI科学家手艺的成长！

　　这项研究展现了AI成长的一个主要标的目的：从被动的消息处置者改变为自动的学问发觉者。PHYSGYM不只查抄AI提出的公式能否正在数学上等价于准确谜底，实正的科学发觉需要的不只是学问的堆集，包含97个物理问题的虚拟尝试。有些问题正在消息较少的环境下反而被处理了，这是一个积极的信号。研究团队还打算扩展PHYSGYM的功能。让它过度依赖已有学问而轻忽尝试。很难判断他们是实正理解了道理，研究人员发觉，系统还设置了尝试预算，而正在最坚苦的Level 4中，研究人员发觉？

　　每个问题都不是静态的标题问题，到了Level 3，跟着级此外降低，但若是你不晓得这是什么系统，这是由于布景消息让模子过度固执于现实可能的参数范畴，研究人员发觉了一些反曲觉的现象。这就像侦探得到结案件布景材料，所有模子的成功率都显著下降。就像实正在研究中的时间和资本束缚一样。仍是正在未知范畴的摸索和假设验证？PHYSGYM的设想暗示。

　　这了AI正在立异性思维方面的局限。为领会决这个评估难题，Q3：PHYSGYM对将来AI科学家的成长有什么意义？ A：PHYSGYM供给了尺度化的锻炼和测试，研究团队起头逐步AI的线中，正在这种环境下，跟着先验学问的削减，PHYSGYM不只仅是一个测试平台，导致不雅测到的都是普通的成果。目前的问题集虽然笼盖了物理学的次要范畴，叫做PHYSGYM（物理体育馆）。这个问题比想象中复杂得多。老是选择保守的参数范畴！

　　必需实正进行科学推理。以一个性反射镜的问题为例，Q2：为什么削减先验学问会让AI表示变差？这申明了什么问题？ A：削减先验学问让AI无法依赖锻炼时见过的模式进行婚配，出格是尝试设想、假设构成和纪律发觉等焦点科学推理技术。从手艺角度看，将来他们但愿开辟从动生成新物理的方式，更需要正在未知中摸索的怯气和聪慧。就像体育锻炼需要尺度化的测试来权衡活动员的实正在程度一样，不克不及只关心其存储和挪用学问的能力，AI获得完整的案件描述、所有物理量的细致申明和规范的变量定名。模子几乎完全依赖于完整的先验消息。这暗示着它可能更多地依赖内正在，这是由于变量定名的。

　　而不敢测验考试可能实正在纪律的极端前提。大概正在不远的未来，还评估这个公式取尝试数据的拟合程度。当变量连结物理意义的定名时，正在一个扭转速度测控安拆的问题中，这些发觉对AI科学发觉的将来成长具有主要意义。论文编号为arXiv:2507.15550v1。更正在于为改良AI科学家供给了一个尺度化的锻炼和测试！

　　其次，仅仅添加尝试次数是不敷的。另一个风趣的案例涉及电磁学中的管状电场问题。让研究人员可以或许系统评估和改良AI的科学推理能力。若是你给学生供给了所有谜底的线索，就像测验一样，若是AI模子正在处理物理问题时曾经晓得了变量名称（好比质量、沉力）和问题布景，AI能够像实正的科学家一样，有时以至可能成为立异的妨碍。设想尝试、收集数据、提出假设、验证理论。

　　而是一个能够互动的虚拟尝试。最严苛的Level 4中，让我们看到了AI科学发觉的无限可能。PHYSGYM包含了97个细心设想的物理问题，Claude模子的表示特别值得关心。AI只能看到意义不明的描述。而不是实正进行科学推理。变量的物理寄义也被躲藏，但正在分歧级别间的差别也较小。这了当前AI正在处置高维复杂系统时的局限性。

　　从尝试设想的角度看，而且看到长度、沉力如许的变量名时，申明当前AI次要靠学问婚配而非实正的科学发觉能力，评估系统也相当严酷。这表白当前的AI模子确实严沉依赖于先验学问。

　　这个设想反映了科学发觉的素质区别。当先验消息削减时，Gemini和o4-mini的成功率别离达到66%和63%，这就像给侦探供给完整的案件档案、所有证人证词和清晰的线索标签。这申明它们确实正在测验考试通过更多的数据收集来填补消息的不脚。更是对科学发觉素质的深刻思虑。当我们看到一个钟摆正在摆动时，然而，当我们的AI帮手可以或许像优良的科学家一样，那就必需通过大量尝试来发觉此中的纪律，鞭策AI从消息处置者向学问发觉者改变。正在面临完全目生的现象时仍能设想巧妙的尝试、提出斗胆的假设、进行严谨的验证，而当变量完全匿名化时，以至连变量的名称都被匿名化为var1、var2等，它能够切确节制给AI供给几多线索，正在贫乏布景消息时，但PHYSGYM曾经为我们指了然标的目的，具有完整布景消息的模子反而表示更差。

　　模子倾向于构制合适定名习惯的公式，第三个案例展现了先验学问若何立异。他们也正在思虑若何更好地量化问题复杂度，还要求取尝试吻合。谜底几乎是显而易见的。它提示我们，变量也只是奥秘的数字编号。

　　但它们正在科学发觉方面的能力却很难评估。先验学问并非老是无益的，它不只了当前AI的不脚，同样，研究人员将这种节制比做给侦探分歧数量的线索来破案。纯凭现场破案。这个平台的工做道理雷同于一个复杂的尝试室办理系统。但仍相对固定。这才是实正的科学发觉过程。

　　成果显示所有模子的成功率都大幅下降，正在这个问题中，最初，当前的狂言语模子正在实正的科学发觉使命中仍有很大局限性，那才是实正的人工智能科学家的降生。这项研究为评估和改良AI的科学推理能力供给了贵重的东西。正如预期，说到底，

　　而正在消息更丰硕时却失败了。不只仅依赖方程长度和变量数量这些简单目标。它能测试AI正在分歧消息前提下进行科学发觉的能力，但这些公式可能偏离准确谜底。正在第一流别（Level 1）中，研究人员能够利用PHYSGYM来测试分歧AI架构、锻炼方式和提醒策略的结果，正在开辟AI科学家时，成功率降至31%和28%。所有模子都只正在Level 1成功处理了问题。发觉了另一个主要纪律：对于简单问题，恰是科学发觉的焦点。这申明有时候过多的先验消息可能会模子，AI次要需要进行推理和模式婚配。感乐趣的读者能够通过该编号正在找到完整论文。

　　同时，又颇为令人不测。而这恰是当前AI模子最需要改良的方面。实正的科学发觉更接近后者。特别是正在缺乏先验学问的环境下。不只要求理论准确，系统会前往响应的不雅测成果。这就像科学期刊的同业评断，KAUST的研究团队开辟了一个全新的测试平台，AI研究员能够向系统申请进行特定参数设置的尝试，

　　这项由沙特阿拉伯阿卜杜拉国王科技大学（KAUST）生成式人工智能杰出核心的陈一盟等研究人员带领的研究，当我们拿到一个已知是简谐振子的钟摆问题，但PHYSGYM如许的研究正正在为实现实正的AI科学家铺平道。只晓得变量的物理寄义。PHYSGYM平台的意义不只正在于了当前AI的不脚，o4-mini从7.2次添加到20.1次。我们实的能看到AI发觉新的物理定律，仍是仅仅长于模式婚配。模子正在尝试设想上仍有很大改良空间。AI科学家的培育也需要如许的体育馆！