其他
GPT5据说失败了
朱泽圆那边的那个 Physics of LLMs 系列，真是让人眼前一亮，感觉像是趟进了一个大模型的神秘深处，像是发现了一片新大陆。
想起GPT-5，那边谷歌主管就吹风说有个gemini 2.0要来，靠谱不靠谱啊，你小子可别藏着掖着啊。
说起GPT-5，延期延期再延期，都快让人等得花儿都谢了。
不过，说到训练失败那点破事，还真让人头大。
有人说是scaling law慢了，有人说是数据不够，合成数据又比不上现成的。
还记得MOE那会儿post-training的效果多好，结果模型就是不给力，收敛得那叫一个艰难。
再瞧瞧，有人说大力出奇迹失败了，AGI的算法是不是得重来了？
现在的GPT，简直就是在搞填鸭式教育，不换新招，边际效应肯定是越来越低。
大家都像是在挖金子，结果发现可能就那么一块，算法的路还长着呢。
大部分观点我倒是赞同，就是最后一个点，我有点保留意见。
压缩哪是简单归纳总结就能搞定的，高级压缩肯定是在不断压缩中诞生的。
等大模型突破了瓶颈，接近AGI的那天，也许就能看到推理能力更强的压缩技术啦！
,
选择留言身份