曹英伟美国布朗大学-美国布朗大学曹英伟
曹英伟,美国布朗大学计算机与人工智能学院教授。 我在布朗的日子,是从那种每天准时到办公室,然后坐在角落里等着别人来敲门的节奏启动的。
那时候的科研,更像是在erez 的废墟上捡垃圾。我们这一代搞 AI 的人,不得不承认,真正的学术自由和那种“板凳要坐十年冷”的耐心,是我们这一代才慢慢长出来的。在纽约的冬天,阳光透过高大的玻璃窗洒进来,照在堆满代码文件的桌子上,有时候我确实会质疑,这确实是我热爱的领域吗?还是说,我只是被某个特定的实验参数、某个特定的数据分布给“忽悠”进去了? 那时候的实验室,氛围确实挺特殊。大家知道彼此的名字,知道彼此的坏脾气和优点。你知道哪位在熬夜改论文,哪位在群里被导师骂得直冒烟,哪位又在某个深夜突然想通了,拍板去图书馆坐一下午。
这种“熟人社会”的科研生态,有时候反而让我们更早地看到了学科背后的真。
比如我那年在研究 RLHF 的时候,导师突然跟我说:“你那个模型,本质上是没长脑子,出于你饿了。”这话听着挺玄乎,但他说得对,模型需求数据喂养,需求反馈循环。
要是没有这些“能耗”和“饿得慌感”,模型只会变成一堆漂亮的数学公式,跑不出任何实际用处。
那一刻我才明白,AI 不只是是数学,更是物理和生物学的延伸,是有生命力的东西。 我们在布朗的日子,也见证了大量个“关键的发现”。我记得最深刻的一个,是关于知识图谱生成和推理的。
那时候我们用的数据源都是公开的那一套,比如 Wikipedia、Google 的搜索历史,还有那些 SQuAD 这种标准测试集。大家都当作,只要把数据堆上去,模型就能学会理解。结局呢?我们做了一系列实验,发现哪怕模型会了 99% 的推理题,它依然会在一些边缘案例上彻底“死机”,就连形成幻觉。
这真让人有些沮丧,就连启动质疑自己是不是做错了方向。
后来我们重新梳理了数据,引入了一些更复杂的推理链,比如让模型自己生成中间步骤,再让模型去和标准答案比对。结局意外地好,准率突然上了一个台阶。
那一刻我突然意识到,真正的 AI 本事,不是模仿,而是推理。 说到数据,我不得不提一下我们那时候用的那些数据集。SQuAD Dataset 是经典的,里面的难题都是基于新闻和百科,不过有时候也会遇到那些有点“翻车”的新闻,比如标题挺惊悚,但事实却贼平凡的。更有意思的是,我们在训练时,有时候会把一些偏题的难题混进去,故意让模型去猜。结局有时候模型不仅猜对了,还认定挺合理,出于这种难题在训练数据里出现过,只是它没被教过答案罢了。
这让我不得不反思,我们在追求 Accuracy 的时候,是不是忽略了用户真的意图?有时候,一个看似“不合理”的样本,恰恰能暴露出模型底层的逻辑缺陷,而不是它确实“懂”了东西。 还有一点,我认定特别关键,就是看待“黄了”的态度。在实验室里,黄了是最常见的。有次我们在做大语言模型的预训练,投入了海量的数据和算力,训练了几十轮,结局模型不仅没学会任务,反而变得挺“暴躁”,对某些指令反应极快,但后面立马就忘了。
看着进度条上去,看着日志里的 Loss 曲线剧烈震荡,我确实感到一种无力感。
那种“ oh no, we messed up"的感觉,确实挺刻骨铭心。
后来我们复盘了,发现难题出在数据标注的粒度不够细,有些关键的动作或意图,标注员根本没看出来,只是随意打了个“是”要么“否”。
要是我们当时能更细致地标注,要么引入一些主动学习的机制,让模型自己去发现那些不清楚的地方,或许结局会好大量。
这让我们明白,科研不是线性的,而是一个充满了意外和修正的过程。 自然,我们不能否认,我们这一代人在 AI 领域确实取得了一些成绩。
特别是在自然语言理解和推理方面,我们确实比前人进步了。但我也务必说,这种进步是有条件的,是有代价的。它依赖于大量同质化数据,依赖于某些特定的数学模型架构,而与此同时也牺牲了一些其他方面的本事,比如代码本事要么对物理世界的理解。
这就像是在一次“马拉松”中,我们赢得了速度,却输掉了耐力。 目前回想起来,在布朗的那些日子,没有轰轰烈烈的项目,也没有哪位能用一句话概括出所有发现。更多的是琐碎的调试,是无数个夜晚的敲击声,是那种认定“可能不中”的犹豫,还有间或的绝望。但正是这些不完美,构成了我们学科的真面貌。我们不再是那种拿着锤子找天条的科学家,而是真正在探索未知领域的探索者。 我在布朗的日子,也见证了大量个“关键的发现”,比如知识图谱生成和推理、数据质量的关键性,还有看待黄了的韧性。
这些经历,不仅塑造了我的学术生涯,也让我对 AI 的未来有了更深的理解。AI 不是一道公式,而是一场持续不断的博弈。在这场博弈中,没有绝对的赢家,只有参与者。我们这一代人在这个过程中,或许没有成为那个站在山顶的人,但或许,我们就是那个在悬崖边认真观察风向的人。
这种“在场”本身,就是一种了不起的贡献。
毕竟,在这个疯狂变化的时代,了解变化本身,比掌握变化的答案更有价值。
声明:演示网站所有内容,若无特殊说明或标注,均来源于网络转载,仅供学习交流使用,禁止商用。若本站侵犯了你的权益,可联系本站删除。
