热门APP

特朗普关税政策让前财长愤怒爆表
在这篇博客中，Keller Jordan 提出并构建了一种用于神经网络隐藏层的优化器 Muon，其能够在保证神经网络（包括 Transformer 和 CNN）的准确度的前提上大幅提升其训练速度。
下载
美国金融市场出现三杀局面
“7.杜兰特别无选择，只能离开，对双方而言最好的结果就是分道扬镳。篮网队获得了大量资产，而太阳队有了杜兰特和布克，看起来有望成为真正的冠军争夺者。”
下载
邓超说鹿晗状态非常好
2021年7月，影石的首次上会被录得“暂缓审议”，当年9月再度开启问询后，在当月就完成了第二次上会，并成功拿到路条，但自2022年1月28日提交注册申请后，影石的IPO历程就又一次陷入僵局。
下载
汪苏泷就让这大雨落下具象化
使用 Muon 训练神经网络时，应使用 AdamW 等标准方法优化网络的标量和向量参数以及输入层和输出层。Muon 可用于处理 4D 卷积参数，方法是将其最后三个维度展平（如下所示）。
下载
特朗普关税政策让前财长愤怒爆表
在湖北荆州洪湖市，清晨，周金才在荷叶间忙碌起来。找到没有绽开的叶子尖尖，顺着摸下去，轻轻一拉，一臂长的藕带便冒出了头。周金才是洪湖市黄家口镇平阳村的藕农，种了20亩藕塘，每年4月至9月的藕带上市季，他每天要采藕100多斤、净赚400多元。
下载
中央气象台预警连
这一发现验证了 Anthropic 之前所采用的架构：通过将任务分发给拥有各自上下文窗口的不同智能体，从而为并行推理增加容量。最新的 Claude 模型在 token 使用效率上具有强大的乘数效应，例如，将 Claude Sonnet 升级至 4 版本所带来的性能提升，甚至超过了将 Claude Sonnet 3.7 的 token 预算翻倍所带来的提升。对于那些超出单一智能体处理极限的任务，多智能体架构可以有效扩展 token 使用，从而实现更强的处理能力。
下载
田嘉瑞月鳞绮纪杀青文
艺术创作中，严肃性与合理性是最基本的要求，创作者不应靠猎奇、审丑来哗众取宠。相关部门更需强化网络作品的审核监管，净化创作生态，别让此类“辣眼睛”的荒诞短剧继续污染网络，误导大众审美与价值观。
下载
大风到北京城区了
接下来，影石能否真正“站稳”700亿市值，关键在于它能否成功给全景相机与运动相机这一细分赛道带来新的想象力，另一方面，影石虽在招股书中反复提及公司已入局“VR看房、全景直播、全景安防”等领域，但这些仍属于全景范畴，且概念较为模糊，影石或许也可以尝试突破自身，寻找到第二增长曲线。
下载
大风到哪了
Muon 能否扩展到更大规模的训练？Muon 使用的 Newton-Schulz 迭代能否在大规模 GPU 集群中合理分布？Muon 是否可能仅适用于预训练，而无法用于微调或强化学习工作负载？
下载
特朗普关税政策让前财长愤怒爆表
胡夏在台上深情唱“知否”，她在后台只哇乱叫模仿萧敬腾“知~否~”名场面，吓得毛不易都不太敢招惹她，生怕自己被骂不尊重前辈。
下载

陈若琳上有老下有小的感觉
注意，这篇博客发表于 2024 年 12 月 8 日，因此其中对前沿指标的描述可能会略有过时，比如 NanoGPT 速通结果就已经被多次刷新了，下面展示了 Keller Jordan 托管的 NanoGPT 速通的最新八条世界记录，其中最新记录是今年 5 月 25 日创造的，已达到惊人的 2.979 分钟！当然，如此成绩不只靠 Muon，还有 FlexAttention、嵌入优化、架构优化等诸多改进。
下载
义乌老板娘霸气喊话美国客户
来自英属哥伦比亚大学、纽约大学石溪分校和浙江大学的研究团队深入剖析了 Prompt 如何在 LLM 的 CoT 推理过程中调控模型内部信息流。这项研究首次构建了一个量化 Prompt 搜索空间复杂度的理论框架，为 LLM 提示工程从经验性的「炼丹」走向科学奠定了基础。
下载
妻子的浪漫旅行高质量男女
作为全球首艘采用常规动力电磁弹射技术的航空母舰，从去年5月开始第一次海试到现在，福建舰各项工作都在稳步推进中。
下载
金饰价格涨破元
接下来就是努涅斯，这位前锋意识到自己下赛季在利物浦机会有限，而他的未来几乎肯定会影响利物浦在转会市场重新开放后的任何进一步行动。如果努涅斯离开，这将加剧利物浦对新中锋的需求，最新的消息是努涅斯倾向于留在欧洲踢球，这可能会使得利物浦无法获得球员转会沙特所带来的转会费。
下载
胡夏演唱会已开启退票通道
VLA，全称Vision-Language-Action，一般同时包含视觉编码器、语言编码器、跨模态融合模块、动作生成模块，能同时理解视觉图像、自然语言，并生成动作控制指令的AI模型架构。
下载
特朗普关税政策让前财长愤怒爆表
暖胎圈，前十三发车除了诺里斯和勒克莱尔硬胎外都是中性胎起步，奥康、博托莱托、塞恩斯、斯托尔、角田裕毅、劳森和加斯利也是硬胎起步
下载
义乌老板娘霸气喊话美国客户
随着社会的发展，家长对孩子的期望越来越高，他们更加关注孩子在学校的每一个细节，这在一定程度上导致了对学校和老师的要求也越来越苛刻。但这种过度的关注和干涉，却可能会影响到学校正常的教育教学秩序。
下载
中央气象台预警连
至此法比安-鲁伊斯已经在他最近8场代表巴黎圣日耳曼出场的比赛里打进3球，这已经追平了他本赛季前47次出场打进的进球数。
下载
特朗普抱怨限水头发湿透需分钟
不过，已经有研究基于 Muon 优化器进行了改进，比如月之暗面在 Muon 中引入了标准的 AdamW（Loshchilov 等人，2019）权重衰减机制。结果表明，带权重衰减的 Muon 优于原始 Muon 和 AdamW，获得了更低的验证损失。
下载
丁程鑫发了练习室舞蹈
也就是说，NS 迭代实际上会将 SGD - 动量的更新矩阵替换为与其最接近的半正交矩阵。这相当于用 UVᵀ 替换更新，其中 USVᵀ 是其奇异值分解 (SVD)。
下载