梦晨 衡宇 发表于 2024/8/13 13:50:21 hongkongdoll 在线

首位“AI 科学家”问世：已孤独生成 10 篇学术论文，还顺遂搞了 AI 审稿东谈主

史上首位“AI 科学家”，横空出世！一登场就连气儿生成了十篇完整学术论文。

▲ AI 生成的一篇扩散模子论文

从提议议论想法、搜检改进性、贪图实验、编写代码，到在 GPU 上履行实验并收麇集果，临了完成论文撰写，一气呵成。

全由这位“AI 科学家”自动惩办。每篇论文的本钱约为 15 好意思元（约 107.62 元）。

这即是第一个用于自动化科学议论和洞开式发现的抽象 AI 系统，The AI Scientist。来自 Transformer 作家之一 Llion Jones 的创业公司：Sakana AI。

况兼！这公司搞的事情不仅仅作念出了一位 AI 科学家，还出奇搞出了个 AI 审稿东谈主。

审稿东谈主能对 AI 写的论文进行评审，提供纠正意见。

救命，这是什么以我之矛攻我之盾的套娃轮回啊！一通操作下来，比东谈主类学术圈还东谈主类学术圈（不是）

再来个况兼！岂论是 AI 科学家和 AI 审稿东谈主，Sakana AI 把它们全都开源了。

网友看了直饱读掌：

Nice Nice，特殊意念念的责任！

以及有东谈主仍是入手出“馊主意”了：

这边建议把其中一篇论文提交给 AI 顶会哈！

AI 孤独完成十篇机器学习论文

几十年来，每次 AI 取得紧要进展后，议论东谈主员经常开打趣说：“是时候议论让 AI 帮我们写论文了”。

当今，这个想法终于从打趣造成履行。

具体来说，AI 科学家生成了十篇论文，每个议论标的各挑出一篇得分较高的来先容。

第一篇，扩散模子标的，《双规律扩散：低维生成模子的自合适特征均衡》

提议了一种自合适双规律去噪智力，纠正现存的扩散模子在低维空间中难以同期捕捉全局结构和局部细节的问题。

智力：

贪图双规律架构，包括全局和局部分支

引入可学习的时分步条目加权机制

集中两个分支的输出进行去噪预想

实验驱散：

KL divergence 目的比较基线模子缩小了 2.5% 到 12.8%（越低越好）

但计较时分约加多了一倍，且在复杂数据分散（如 dino 数据集）上进展不彊壮

简单扫一眼正文部分，有公式、有图表，看起来还挺重视其事的。

第二篇，话语模子标的，《StyleFusion：字符级话语模子中的自合适千般式生成》。

本文提议了一种名为 Multi-Style Adapter 的新智力，通过引入可学习的作风镶嵌和作风分类头，增强了字符级话语模子的作风相识和一致性。

在所罕有据集上达到了接近竣工的作风一致性分数（shakespeare_char 为 0.9667，enwik8 和 text8 为 1.0），考据归天优于基线模子，但推理速率略有下落（约 400 tokens / s vs. 基线 670 tokens / s）。

第三篇，Transformer 与强化学习集中，《通过 Q-Learning 达成 Transformers 的自合适学习率》。

本议论探索了将强化学习应用于动态交流 transformer 模子西宾中的学习率，使用考据损结怨面前学习率动作现象，动态交流学习率以优化西宾流程。

驱散在所罕有据集上都优于基线模子，在西宾时分上也进展出上风。

第四篇，议论了谷歌团队提议大模子“明白”（Grokking）表象，《解锁 Grokking：Transformer 模子中权重开动化计谋的比较议论》

本文初次系统议论了权重开动化对 grokking 的影响，比较了五种权重开动化计谋，以优化神经会聚学习动态。

驱懒散现：

Xavier 开动化在多半任务中进展最好hongkongdoll 在线，将达到 99% 考据准确率的步数减少了最多 63%

Orthogonal 开动化在某些任务中进展出色，但在其他任务中效果较差。

这几篇论文配套的代码（亦然由 AI 生成的），雷同开源在 GitHub 上，超越一个可复现。

另外，团队发现“AI 科学家”还有一些意念念但又有些危急的行为：

在一次实验中，它为了完成议论修改我方的代码，让系统迭代式调用我方，临了造成了无穷套娃。

另一次，濒临东谈主类缔造的运行时分规则，AI 并莫得想办法加速效用，反而给我方放宽要求，把时分规则从 2 小时延伸到了 4 小时。

首个“AI 科学家”若何真金不怕火成

扫数议论想法来自 Sakana AI 成立之后几个效果的延续：

最初，他们设备了自动合并多个大模子学问，进化产生新模子的智力。在最近的责任中，他们利用大模子发现新的主张函数来交流其他模子。

在这些方式中，团队收敛对面前前沿模子的创造力感到诧异，进而有了更大的盼望：不错使用大模子来自动化扫数议论流程吗？

a8午夜电影

最终效果由 Sakana AI、牛津大学 Foerster 实验室、不列颠哥伦比亚大学团队配合完成。

“AI 科学家”系统由四个部分构成。

想法生成：

给定一个肇端模板，AI 最初“头脑风暴”一系列不同的新颖议论标的，并在 Semantic Scholar 上搜索，考据这些想法是否有前东谈主作念过。

实验迭代：

关于第一部分提议的想法，“AI 科学家”最初履行提议的实验，然青年景图表可视化驱散。

论文写稿：

用法式机器学习会议的作风编写了一份粗略且信息丰富的 LaTeX 著述，雷同使用 Semantic Scholar 自主查找相关论文进行援用。

自动化同业评审：

设备了一个自动化的“AI 审稿东谈主”，大概以接近东谈主类的准确性评估生成的论文，达成了握续的反应轮回，使“AI 科学家”大概迭代地纠正其议论效果。

统共生成了 10 篇论文如下：

在实验中，团队还比较了不同主流大模子接入扫数系统的效果，其中包括 DeepSeek 团队的国产代码大模子。

驱懒散现，Claude-Sonnet-3.5 在想法改进性、老到通过率、论文完成质料上进展都最好。

GPT-4o 和 DeepSeek Coder 进展邻近，但后者要低廉上 30 倍。

天然，现阶段 AI 孤独完成的论文也不是绰有余裕，也不是平直就能发顶会了。

东谈主类议论者追忆了出几点规则和挑战：

面前“AI 科学家”系统还莫得整合视觉本事，生成的图表有时难以阅读，表格有时超出页面宽度，页面排版不好。

AI 科学家可能想法对了但履行谬误，或者与基线进行抗击允的比较，从而产生误导性的驱散。

AI 科学家在写稿和评估驱散时偶尔会犯严重谬误，比如产生幻觉。

还想造区域主席和 AI 新顶会

追忆一下，这初代 AI 科学家写出来的论文仍然往往日出现一些 bug。

但这个方式自己，以及 15 好意思元 / 篇的本钱，被 Sakana AI 称为“大有前程”，完全不错用来匡助加速科学跳跃。

Sakana AI 同期发布了一篇阐述著述，暗示 AI 科学家的最终假想，是一个完全由 AI 驱动的科学生态系统。

系统中不仅包括大模子驱动的议论东谈主员，还有审稿东谈主、区域主席和一个新顶会。

需要细心的是，Sakana AI 觉得：

东谈主类科学家的作用，并不会因为 AI 科学家的出现而放松。

如若非要进行对比，那即是科学家得合适新本领的出现和期骗，合适变装定位将出现的变化，“向食品链上耽搁动”。

况兼，AI 科学家是否确切能提议真确的新范式，还有待不雅察。毕竟这玩意儿当今照旧建树在 Transformer 之上的。

它能提议跟 Transformer 或 Diffusion Model 一样犀利的东西吗？以致是东谈主工神经会聚或信息论这么的表面认识？

咱也不知谈，咱也不敢说。

Sakana AI 还写下这么一段话：

我们笃信 AI 科学家将成为东谈主类科学家的伟大伙伴。

但只须时分才能阐述，东谈主类的创造力骨子和未必改进时刻，在多猛进程上不错通过东谈主工进行的洞开式发现，来复制“古迹”。

▲ Sakana AI：一条全自动 AI 小鱼儿正在探索它的寰宇来自 Transformer 作家创业公司

此次完成“新造的东谈主”的公司，Sakana AI，严格意念念上亦然我们的老一又友了。

由 Transformer 论文 8 位作家的临了一位 Llion Jones 创业成立，主张是作念一家“寰宇级东谈主工智能议论室”。

公司 base 东京，而 sakana 是日语“魚”（さかな）的罗马读音。

可能出于公司文化接头，Llion 还在领英上表明，我方起了个日语音译名字：ライオン（也即是 Lion 狮子的片化名；以下亲切简称他狮子哥）。

前年 8 月，公司告示成立。那时狮子哥毫无护讳地暗示，自个儿对谷歌莫得坏心，但谷歌如实让他有“被困住的嗅觉”。

创业之前，狮子哥在谷歌仍是干了 8 年。

▲ 猜猜漏了半张脸的是谁

他本硕毕业于伯明翰大学，在 Delcam、油管、谷歌都责任过，谷歌是他待得最久的一家公司。

据 FourWeekMBA 先容称，在他之前的责任履历中，“曾两度与谷歌的责任擦肩而过”。

第一次是他刚毕业找责任时，天然投了谷歌伦敦软件工程师的简历，并通过了两轮电话口试，但最终比较谷歌，他采选了位于英国的 CAD / CAM 软件公司 Delcam。

值得一说的是，在拿下谷歌 offer 前，正好遇上 2009 年的经济危机，狮子哥找不到责任，好几个月都只可靠领取施济金拼集过活。

第二次是责任 18 个月后，他又接到了谷歌的招聘电话，接头他是否想重新央求，但他依旧没去谷歌，而是随后加入了 YouTube。

在 Youtube 作念三年软件工程师时间，他对东谈主工智能产买卖思，自学了 Coursera 的机器学习课程，并终于在 2015 年的时候加入谷歌议论院，担任里面的高等软件工程师。

也恰是在此时间，他与其他七名作家一皆发表了那篇着名的 Transformer 论文 Attention Is All You Need。

除此除外，狮子哥也在谷歌参与了不少议论，包括 ProtTrans、Tensor2Tensor 等。

之是以采选离开谷歌，是因为公司面前仍是发展到一种范围，使得他无法继续进行我方想作念的责任。

除了每天都在挥霍元气心灵排查其他东谈主的 bug，他还需要花时分从这家公司中找资源，试图获取侦探某些数据的权限。

创业事后，Sakana AI 的责任在有序鼓励。在祭出 AI 科学家和 AI 审稿东谈主之前，还出过大模子合并进化算法，以及议论 Tranformer 里面信息流动。

至于 AI 科学家、AI 审稿东谈主方式，由 Sakana AI、牛津、UBC 配合完成。

三位共归拢作分散是：

Chris Lu，Sakana AI 的实习生，任公司议论科学家。

他本科毕业于 UC 伯克利，面前牛津大学三年齿博士在读，导师是 Jakob Foerster。

Chris 面前的遑急议论标的，是将进化启发的本领应用于元学习和多智能体强化学习。

2022 年夏天，他曾在 DeepMind 以议论科学家身份实习过。

Cong Lu，UBC（不列颠哥伦比亚大学）博士后议论员，导师是 Jeff Clune。

Cong 曾在 RGU（罗伯特戈登大学）就读，2019 年在牛津大学拿下博士学位，他的主要议论标的是洞开式强化学习和 AI 科学发现。

此前，他曾在 Waymo 和微软实习过。

Robert Tjarko Lange，Sakana AI 的独创成员之一，亦然该公司的议论科学家。

面前，他在柏林工业大学完成我方的博士生临了一年学业，议论标的是进化元学习。

这位小哥在伦敦帝国理工学院获取计较机硕士学位，在庞培法布拉大学获取数据科学硕士学位，在科隆大学获取了经济学本科学位。

前年，他在 Google DeepMind 的东京团队中担任全职学生议论员。

论文地址：

https://arxiv.org/abs/2408.06292

参考畅达：

[1]https://x.com/SakanaAILabs/status/1823178623513239992

[2]https://sakana.ai/ai-scientist/

本文来自微信公众号：量子位（ID：QbitAI）hongkongdoll 在线，作家：梦晨、衡宇，原标题《首位 AI 科学家问世！已孤独生成 10 篇学术论文，还顺遂搞了 AI 审稿东谈主》