GPT-6带火循环Transformer，阿里早已布局

GPT-6 Astra发布后，循环深度技术引发关注。该技术让同一组Transformer层反复运行，以较少参数实现更深计算。OpenAI因此遭安全专家质疑，首席科学家Jakub Pachocki回应将发文解释。阿里早在11个月前已布局相关研究，发表MeSH和SpiralFormer两篇论文，针对循环计算冗余问题提出解决方案。MeSH通过引入Memory Buffer及读写路由器，动态管理信息存取，解决计算无分化和信息过载问题。实验显示，在Pythia-1.4B级别，MeSH减少约33%非嵌入参数，零样本准确率反提升至50.56%，额外开销仅约0.014%。此前Claude Mythos在GraphWalks BFS测试中得分80%，接近GPT-5.4四倍，亦引发对循环架构的讨论。业界期待该架构能在不扩大模型规模情况下提升能力，但其计算冗余问题仍需解决。