In-Context Learning on MessageDaily

In-Context Learning on MessageDailyhttps://inkeast.github.io/MessageDaily/tags/in-context-learning/Recent content in In-Context Learning on MessageDailyHugozh-cnMon, 21 Sep 2026 00:00:00 +0000机器人 Scaling Law 出现了吗？——徐梦迪的答案：有信号，但真正的分水岭是 in-context learninghttps://inkeast.github.io/MessageDaily/posts/2026-09-21-xumengdi-scaling-law-signal/Mon, 21 Sep 2026 00:00:00 +0000https://inkeast.github.io/MessageDaily/posts/2026-09-21-xumengdi-scaling-law-signal/清华叉院助理教授徐梦迪在「十字路口」提出：具身领域已出现预训练数据从十万到百万小时、held-out loss 随规模下降的 scaling 信号（如 Dyna-2 百万小时人类视频预训练），但 loss 与真机成功率脱钩，真正有意义的是『未见任务成功率随规模上升』的 scaling law；她判断当前主流 VLA 的『预训练+微调』范式对应 GPT-1 时刻，期待的是通过 prompting 适应个体偏好的 GPT-3 时刻。本文拆解她论证中的证据链、与世界模型路线的关系，以及数据定义由模型能力反推的行业机制。