
字节跳动发布 SeedFold,蛋白质结构预测相关多任务超越谷歌 AlphaFold 3,揭示大模型缩放新秘诀
字节跳动 Seed 团队推出名为 SeedFold 的新一代折叠模型,不仅在多个蛋白质相关任务的性能上超越了 AlphaFold 3,更重要的是,系统性地揭示了通往更强模型的三个关键 “缩放配方”:
模型缩放:加宽而非加深。研究发现,增加 Pairformer 模块的宽度是提升模型表示能力最有效的方式。
架构创新:引入一种新颖的线性三角注意力机制,将关键计算的复杂度从立方级降低到平方级,实现了高效缩放
数据扩展:通过大规模知识蒸馏,将训练数据集扩充至惊人的 2650 万个样本,为模型提供充足 “养料”。
实验结果在权威基准测试集 FoldBench 上得到了验证。SeedFold 在蛋白质单体、蛋白 - 蛋白复合物、抗体 - 抗原复合物等多个关键任务上,均取得了当前最佳(SOTA)性能。(AI 寒武纪)