注」狂赚9倍DeepSeek R1最特立独行AI版华尔街之狼!o3-mini靠「神之押
如果它能在某一瞬间知道宇宙中所有粒子的位置与速度▪△□★■,并且完全理解自然规律◇▽▲▼。
为了探讨这一点▽▪…,检查了每个Brier得分区间的模型构成▷▼◁▼=•,每个模型用不同的颜色表示…-注」狂赚9倍DeepSeek R1最特立独。
正是这微小的差异○■◇◆••,让模型在下注时☆=…,认为押注对手奥夫纳获胜的「性价比」更高▼●。
【新智元导读】AI能像科幻电影中的先知一样预测未来吗▪●◇▲?一个名为「Prophet Arena」的全新基准测试□○▷=☆,正通过预测真实世界事件来评估AI的「预言」能力•□▷•★▼。
毕竟▷▷●=,如果说语言模型的下一步是预测下一个词▲◇▼◇,那么它的终极形态-••◁,或许就是预测这个真实世界的下一个事件▪▷。
在频谱的另一端●◁▼◁△,诸如Grok-4和GPT-5之类的模型经常作出高度一致的预测○•☆▽•,L2距离通常低于0○◁.3=-▽◁…•。
尽管多伦多是不被看好的一方■◁•■-…,但AI识别到了正的期望值▲■,并由于其最大的优势比率30%/11%≈3•★◇◆。
设想-▪•☆•,AI系统将成为预测市场的积极参与者◆▪□,将人类的直觉洞察与AI强大的数据分析能力相结合••,最终提升整个社会的集体远见☆=◇=★▼,为那些高风险的决策提供更可靠的依据◆○。
根据市场数据和新闻来源★○-,o3-mini预测多伦多获胜的概率为30%◇□,而市场隐含的概率仅为11%(价格=0△=-◁.11)=◁○▽•。
直面真实世界▲☆☆:AI的预测直接与真实的投注决策挂钩☆••,表现好的模型真的能在虚拟市场里赚到钱◆◇◆。
与Kimi K2◁▪、o3和Llama 4 Maverick等模型相比…◆☆◆▷…,它的L2距离始终高于0△◇▲□.7…=▲▽,这表明其可能采用了不同的校准方式或内部决策机制△▷▪▼。
就像在上面那场足球赛中◁▷□,市场认为多伦多队只有11%的胜算△◁•…,但o3-mini经过分析认为有30%-◇…△☆◇。
AI的预测并非随机=□…◁▲☆,它们有着结构化的推理和独特的风险偏好-○○■▽▲,就像人类专家也会有观点分歧一样■◁◇△。
除了上述两个核心指标外•□,Prophet Arena还采用了受统计学和心理测量建模启发的高级评估方法☆◁★○▪■,如项目反应理论(Item Response Theory★◆,IRT)和广义Bradley-Terry(BT)模型▽▼•★△。
把市场共识☆□、自动化预测•△☆、信息整理和社区洞察结合起来▪◁…▷▼,形成更强的整体预测能力
例如在圣地亚哥与多伦多的美国职业足球大联盟比赛中=…★△●…,成为一个准确的预言家和成为一个赚钱的投资者■◆■…△◁,Prophet Arena以实时预测市场事件为依托…□▽◆,o3-mini在1美元的投注上获得了9美元的回报◁▼-▽▽=。所以只给出了比市场略高一点的35%□▼•。绝大多数LLM在预测时倾向于与主流信息保持一致=☆▪□▼◇。
激进派代表Qwen3●◇△▷▷▲:它看到各种法案都在推进▪•△,觉得势头很猛★=■★,直接给出了75%的超高概率◆=…。
所以-==★○,在预测的世界里◆▷•▼,成功的关键不在于每次都对□▼○=▽,而在于你对的时候能带来多大的回报▼▷□。
那问题来了▷▷•,AI能不能像先知一样○•,从全世界的杂乱信息里找出蛛丝马迹◁★••,准确地预测未来呢•■?
其中一个突出的模型是DeepSeek R1□★-□•,它的预测结果常常与其他模型大相径庭☆△。
在Brier分数不高(0•▲•■◇.3-0•●□….5分)的区间里▽△,反而诞生了许多回报率惊人的预测◁◇■△。
Kalshi是一家美国的金融交易所和预测市场平台•△…◁△▲,是美国第一个受美国商品期货交易委员会(CFTC)监管的■•、专注于交易「事件结果」的交易所
每个AI模型都要提交一份详细的「预测报告」◇▼=★:对所有可能的结果给出一个概率分布◆▲…,结果揭晓▽▽▪。赛前市场普遍认为选手保罗有84%的胜率★▲=,在昨晚的男篮亚洲杯冠军争夺战中●…,但已是近十年来的最好成绩☆◇◆★▽▲!并附上长篇大论的理由◆▷△▽=,保守派代表Llama 4 Maverick-▼◁-:它也看到了同样的信息-●=,是两种不完全相同的技能◁-◁•。拿到相同的情报后…△,
会用一套专业的指标来评估AI的预测到底有多准=▲▽○■,中国男篮虽以1分之差惜败澳大利亚■●○☆□□,解释自己为什么这么看●▷▷◁…。甚至在开赛前一度攀升至95%◇▽□■。Prophet Arena从像Kalshi和Polymarket这样的预测市场平台挑选热门▽◁…▪、多样且周期性的真实事件作为考题▪◆□△▲。
数值越低(颜色越深的单元格)表示概率推理更接近一致◆…○▪;数值越高(颜色越浅的单元格)则表明分歧越大=▲▷••☆。
以ChatGPT为代表的AI▪◆…,则可以根据过去的语料来「预测下一个Token」▼◁…△▷☆。
换句话说●●=☆▽,这张图展示了AI预测的多样性●▽◁◆■:有些模型形成「群体共识」▲★◁▽=、有些模型像「特立独行的异议者」■•。
你看■●▲•▼,AI并没有准确预测到胜者◇●○▼○,所以它的准确度分数(Brier分数)很一般▼○◇。
比如在「AI监管法规会在2026年前成为联邦法律吗▷○-□▽■?」这个事件上▪•△□-★,市场认为可能性只有25%-◆◆△•。
为「人机协作」而生▷□★▪★:你可以给AI提供线索○◁★,看看它的预测如何变化◆…•=;AI也会把它的思考过程告诉你◁▲◁…▷●。
排行榜主要看两个指标…★••☆:一个是衡量准确度和校准度的Brier分数(越高越好)-▪▪★▲,另一个是模拟真实投注的平均回报(看谁能赚钱)△★•□○。
比如一场温布尔登网球赛◁◇▷▷☆,这说明□▪,首次建立了一个无法「刷题」的动态基准…★★□◆▲。但认为立法过程复杂又缓慢•▼☆,然后更新在一个实时排行榜上■▼。
事件结束◆••=▼★,因此大部分预测集中在高Brier分数区间▼○。
它总能找到一些市场没注意到的细微差别◇▽△▲,然后下注在那些「性价比」超高的选项上▲▲□•●☆。
更进一步的•◁▲◁=,AI能否像拉普拉斯妖一样●▲△,在获取了当下世界的所有信息后☆▼•,精确预测未来的一切□★?
AI模型们利用搜索引擎◁▪▼◇●▲,像侦探一样收集关于某个事件的新闻报道★▽•▪,整理成一份精炼的「情报简报」==行AI版华尔街之狼!o3-mini靠「神之押。同时◁★◇-,也会把当时的市场价格(可以看作是群众的集体智慧)放进去◇••□◁。
相信绝大部分人都不会猜到这个比分-◇=△=,那么□◇=▪◁,AI能否根据中国队此前的表现▲☆▲★▷◇,到呢…◆□○□?
今天要介绍的Prophet Arena就是一个通过实时更新的真实世界预测任务来评估AI系统预测智能的基准测试■★▷。