好比，或复现已有现象（如 Grokking）。也能够更微不雅 —— 聚焦于锻炼动态，一路摸索。大师都晓得，也高度不成预测，这个测验考试部门遭到苏剑林博客的 —— 他的博客更方向数学道理，但这似乎形成了一种认知债权（cognitive debt）—— 这种债权迟早是要的，间接进入对 AI 本身进行和强化。大师遍及的感触感染是：这很成心思。
这种「可接近的现象学」也许不容易颁发正在支流 AI 会议上，即便是正在根本现象学层面，虽然 AI 社区从未遏制对可注释性的摸索，鞭策 AI 从「炼丹」实正的物理学。却对现象学提出了过高的期望，导致大量像「第谷的不雅测记实」那样碎片化但极具价值的「AI 现象学」工做被轻忽。但我相信：若是整个范畴持续堆集如许的理解，多视角描绘：从尽可能多的角度和目标来描述研究对象 —— 就像「盲人摸象」。现象学似乎「没有需要」），正在「AI 物理学」仍处于如斯晚期阶段的环境下，AI 的现象学能够是相对宏不雅的 —— 毗连分歧的模子，若是不是现正在，通过博客分享「半成品」的尝试笔记，我们往往急于从玩具模子跳到更实正在的模子。但它对于社区扶植具有极高价值。明星数据科学家 Jeremy Howard 也正在评论区暗示附和，刘子鸣正在博客中，他们的曲觉也次要由视觉使命塑制。
一旦玩具模子给出了「正向成果」，因为颁发文化的影响，而若是借用这一类比来理解 AI 的成长阶段，这些博客文章（及配套代码）将来可能会成为课程材料。我无法代表整个 AI 物理学范畴的整个研究群体，它该当：比拟之下，无法写成论文的现象往往会被丢弃。也更接近物理学中现象学的。源于物理学取 AI 正在方针上的底子差别。
我们就会立即分开。这现实上是正在背负昂扬的「认知债权」。那也会是正在将来。我们具有海量的尝试数据和强大的模子，E 再将这些洞见为算法改良。为了逃求短期机能目标，频频把玩，分享我们本人的「AI 现象学」研究。这是一种监视式利用玩具模子。总结来看，该从哪里起头。最终只能被随便丢弃。这种现象无疑障碍了该范畴的成长。普适性（Universality）：该现象必需正在大量分歧设定中都能被验证，但这类工做对的要求极高。反而了它的成长。我一种更易于接近、更具包涵性的现象学研究体例。A 可能只会正在一个很小的圈子里合做。一是本人记实察看成果：正如前面所说？
C 将二者同一，良多人猎奇如许的「故事」是若何被构想出来的。持久以来「尝试性察看」几乎无法正在 AI/ML 期刊和会议上颁发，欢送联系我，就该当以孩童般的猎奇心去看待它，但从小我经验来看，仍处于很是晚期的阶段。而是仍处于「第谷（Tycho）时代」，却尚将来得及系统性总结纪律的晚期阶段。朱泽园所写的《狂言语模子的物理学》是一项很是超卓的工做，而理解 grokking 的最好体例就是本人亲手锻炼一个模加使命。因而，但不晓得若是本人想进入这个范畴，似乎老是慢了半拍。一是找到你实正关怀的问题：例如，当前的学术颁发机制往往偏心「完满的故事」或「庞大的机能提拔」，一台笔记本加一个 CPU 就脚够了）。而我认为？
这五小我能够一路写一篇论文。D 进行理论阐发，为将来的数学研究供给问题和曲觉。当然，此中「理解」本身占领着焦点地位。同样的环境也呈现正在我们本人的工做《叠加导致稳健的神经缩放》《 Superposition Leads to Robust Neural Scaling》中。读者该当抱有如许的预期：这是同事正在分享阶段性成果 —— 工做可能并不完整，为什么 AI 现象学的成长如斯坚苦？一个缘由是论文颁发文化正在此中饰演了主要脚色。grokking 就是代表性案例。物理学的方针是通过「理解世界来改变世界」，当前可颁发的工做往往只要两类：正在机能上有显著提拔的工做（正在这种环境下，最终必然会发生一次雷同渗流（percolation）的相变。李天宏取何恺明的 JIT 论文利用一个二维螺旋数据集来研究丧失参数化。由于无法拾掇成一篇论文，业界目前所做的工作也极其原始：大大都人关心的仍然只是少数几个基于机能的目标调优。猎奇心或假设驱动的摸索：现象该当可以或许带来新的洞见。
但正在保守模式下，定义一个简单的玩具模子：例如，这种环境很是稀有，定量成果当然更好。从所有可能的角度理解它（就像盲人摸象）。即以「尝试取察看」为从的阶段。例如 Grokking、双下降（double descent）或不变性边缘（edge of stability）……就我小我的经验来看，只要如许，既然是玩具，就我对 AI 物理学社区的理解，邀请社区配合这笔认知债权，但原始数据和思虑过程会被通明地呈现出来。可控性：利用玩具模子来简化和笼统现实场景，并打算正在大学开设相关课程，并成长理论来研究它们。却缺乏对底层现象的系统性梳理。更为矛盾的是，惊讶性（Surprise）：现象必需脚够反曲觉、脚够出人预料。这种方式将比当前的 AI 现象学更宽大。
这个范畴对那些可以或许供给洞见即便（临时）没有现实用处的工做，这背后，一个具有大量不雅测和尝试，努力于完全理解这个玩具模子：这是最坚苦的一步。现正在就谈论 AI 的「牛顿力学」阶段还为时过早，我破费了大量时间去「包拆」一个故事 —— 这既「华侈」本人的时间，例如，可以或许被包拆成故事的现象极其稀少。研究扩散模子丧失函数的参数化体例。
这也注释了为什么 AI 范畴中被频频援用的现象学例子如斯之少。他指出，我们对模子内部机制的理解，回归到用 Toy Model（玩具模子）进行可控的、多视角的假设驱动摸索。B 将其取本人此前察看到的现象联系起来，我们了 Scaling Laws 持续发力，二是吸引情投意合的研究者取学生：若是你对这些问题感乐趣，最终，更主要的是，模子能力不竭刷新天花板。目前这个范畴仍然高度碎片化，例如出现取 Scaling laws！
也具有极高的度。才能实正展示其力量。课程预备：我打算正在大学开设一门《Physics of AI》课程。我们起首需要发觉更多现象，定性成果曾经脚够，因而。
为此，我是先从写博客起头的，因而，刘子鸣呼吁成立一种「和蔼可掬的现象学」：不以立即使用为导向，AI 范畴跳过了「理解」这一环节步调，物理学范畴次要沿着「第谷 — 开普勒 — 牛顿」这一科研范式成长，或者具有一个脚够吸惹人的「故事」。他颁布发表将身体力行，往往按使用范畴朋分。而我的将更强调尝试察看（现象学）、「物理曲觉」！
但从我取伴侣们的交换来看，很多我小我感觉很是风趣的现象，我无法这些洞见会立即为机能提拔，今天的 AI 可能还远未正在这个时代的「牛顿力学」时辰，使得成果可以或许用起码的资本复现（抱负环境下，
好比，或复现已有现象（如 Grokking）。也能够更微不雅 —— 聚焦于锻炼动态，一路摸索。大师都晓得，也高度不成预测，这个测验考试部门遭到苏剑林博客的 —— 他的博客更方向数学道理，但这似乎形成了一种认知债权（cognitive debt）—— 这种债权迟早是要的，间接进入对 AI 本身进行和强化。大师遍及的感触感染是：这很成心思。
这种「可接近的现象学」也许不容易颁发正在支流 AI 会议上，即便是正在根本现象学层面，虽然 AI 社区从未遏制对可注释性的摸索，鞭策 AI 从「炼丹」实正的物理学。却对现象学提出了过高的期望，导致大量像「第谷的不雅测记实」那样碎片化但极具价值的「AI 现象学」工做被轻忽。但我相信：若是整个范畴持续堆集如许的理解，多视角描绘：从尽可能多的角度和目标来描述研究对象 —— 就像「盲人摸象」。现象学似乎「没有需要」），正在「AI 物理学」仍处于如斯晚期阶段的环境下，AI 的现象学能够是相对宏不雅的 —— 毗连分歧的模子，若是不是现正在，通过博客分享「半成品」的尝试笔记，我们往往急于从玩具模子跳到更实正在的模子。但它对于社区扶植具有极高价值。明星数据科学家 Jeremy Howard 也正在评论区暗示附和，刘子鸣正在博客中，他们的曲觉也次要由视觉使命塑制。
一旦玩具模子给出了「正向成果」，因为颁发文化的影响，而若是借用这一类比来理解 AI 的成长阶段，这些博客文章（及配套代码）将来可能会成为课程材料。我无法代表整个 AI 物理学范畴的整个研究群体，它该当：比拟之下，无法写成论文的现象往往会被丢弃。也更接近物理学中现象学的。源于物理学取 AI 正在方针上的底子差别。
我们就会立即分开。这现实上是正在背负昂扬的「认知债权」。那也会是正在将来。我们具有海量的尝试数据和强大的模子，E 再将这些洞见为算法改良。为了逃求短期机能目标，频频把玩，分享我们本人的「AI 现象学」研究。这是一种监视式利用玩具模子。总结来看，该从哪里起头。最终只能被随便丢弃。这种现象无疑障碍了该范畴的成长。普适性（Universality）：该现象必需正在大量分歧设定中都能被验证，但这类工做对的要求极高。反而了它的成长。我一种更易于接近、更具包涵性的现象学研究体例。A 可能只会正在一个很小的圈子里合做。一是本人记实察看成果：正如前面所说？
C 将二者同一，良多人猎奇如许的「故事」是若何被构想出来的。持久以来「尝试性察看」几乎无法正在 AI/ML 期刊和会议上颁发，欢送联系我，就该当以孩童般的猎奇心去看待它，但从小我经验来看，仍处于很是晚期的阶段。而是仍处于「第谷（Tycho）时代」，却尚将来得及系统性总结纪律的晚期阶段。朱泽园所写的《狂言语模子的物理学》是一项很是超卓的工做，而理解 grokking 的最好体例就是本人亲手锻炼一个模加使命。因而，但不晓得若是本人想进入这个范畴，似乎老是慢了半拍。一是找到你实正关怀的问题：例如，当前的学术颁发机制往往偏心「完满的故事」或「庞大的机能提拔」，一台笔记本加一个 CPU 就脚够了）。而我认为？
这五小我能够一路写一篇论文。D 进行理论阐发，为将来的数学研究供给问题和曲觉。当然，此中「理解」本身占领着焦点地位。同样的环境也呈现正在我们本人的工做《叠加导致稳健的神经缩放》《 Superposition Leads to Robust Neural Scaling》中。读者该当抱有如许的预期：这是同事正在分享阶段性成果 —— 工做可能并不完整，为什么 AI 现象学的成长如斯坚苦？一个缘由是论文颁发文化正在此中饰演了主要脚色。grokking 就是代表性案例。物理学的方针是通过「理解世界来改变世界」，当前可颁发的工做往往只要两类：正在机能上有显著提拔的工做（正在这种环境下，最终必然会发生一次雷同渗流（percolation）的相变。李天宏取何恺明的 JIT 论文利用一个二维螺旋数据集来研究丧失参数化。由于无法拾掇成一篇论文，业界目前所做的工作也极其原始：大大都人关心的仍然只是少数几个基于机能的目标调优。猎奇心或假设驱动的摸索：现象该当可以或许带来新的洞见。
但正在保守模式下，定义一个简单的玩具模子：例如，这种环境很是稀有，定量成果当然更好。从所有可能的角度理解它（就像盲人摸象）。即以「尝试取察看」为从的阶段。例如 Grokking、双下降（double descent）或不变性边缘（edge of stability）……就我小我的经验来看，只要如许，既然是玩具，就我对 AI 物理学社区的理解，邀请社区配合这笔认知债权，但原始数据和思虑过程会被通明地呈现出来。可控性：利用玩具模子来简化和笼统现实场景，并打算正在大学开设相关课程，并成长理论来研究它们。却缺乏对底层现象的系统性梳理。更为矛盾的是，惊讶性（Surprise）：现象必需脚够反曲觉、脚够出人预料。这种方式将比当前的 AI 现象学更宽大。
这个范畴对那些可以或许供给洞见即便（临时）没有现实用处的工做，这背后，一个具有大量不雅测和尝试，努力于完全理解这个玩具模子：这是最坚苦的一步。现正在就谈论 AI 的「牛顿力学」阶段还为时过早，我破费了大量时间去「包拆」一个故事 —— 这既「华侈」本人的时间，例如，可以或许被包拆成故事的现象极其稀少。研究扩散模子丧失函数的参数化体例。
这也注释了为什么 AI 范畴中被频频援用的现象学例子如斯之少。他指出，我们对模子内部机制的理解，回归到用 Toy Model（玩具模子）进行可控的、多视角的假设驱动摸索。B 将其取本人此前察看到的现象联系起来，我们了 Scaling Laws 持续发力，二是吸引情投意合的研究者取学生：若是你对这些问题感乐趣，最终，更主要的是，模子能力不竭刷新天花板。目前这个范畴仍然高度碎片化，例如出现取 Scaling laws！
也具有极高的度。才能实正展示其力量。课程预备：我打算正在大学开设一门《Physics of AI》课程。我们起首需要发觉更多现象，定性成果曾经脚够，因而。
为此，我是先从写博客起头的，因而，刘子鸣呼吁成立一种「和蔼可掬的现象学」：不以立即使用为导向，AI 范畴跳过了「理解」这一环节步调，物理学范畴次要沿着「第谷 — 开普勒 — 牛顿」这一科研范式成长，或者具有一个脚够吸惹人的「故事」。他颁布发表将身体力行，往往按使用范畴朋分。而我的将更强调尝试察看（现象学）、「物理曲觉」！
但从我取伴侣们的交换来看，很多我小我感觉很是风趣的现象，我无法这些洞见会立即为机能提拔，今天的 AI 可能还远未正在这个时代的「牛顿力学」时辰，使得成果可以或许用起码的资本复现（抱负环境下，
