OpenAI宫斗大戏第二幕 核心安全团队解散 负责人自爆离职内幕
依然永恒
发表于 2024-5-19 18:02:08
1159
0
0
不同于苏茨克维(Ilya Sutskever)离职时候的礼貌告别——“我相信OpenAI将在阿尔特曼等人的带领下构建既安全又有益的AGI”,以及阿尔特曼温情脉脉的说辞——“这让我很难过……他(Ilya Sutskever)有一些个人意义重大的事情要去做,我永远感激他在这里所做的一切”。
最新离职的OpenAI高管,超级对齐团队负责人Jan Leike直接撕破脸皮,揭露离职内幕——阿尔特曼不给资源、力推商业化不顾安全。
Leike同时也是OpenAI的联合创始人,属于“保守派”阵营,他在Sutskever宣布离职后仅几个小时就发帖:我辞职了。
官宣离职次日,Leike连发十多条帖子,公开解释了离职原因——
团队分配不到足够的资源:超级对齐团队过去几个月一直在“逆风航行”,在计算上很吃力,完成研究越来越困难;
安全并非阿尔特曼的核心优先事项:过去几年,安全文化和流程已经让位于更耀眼的产品。“很长一段时间以来,我与OpenAI领导层对公司核心优先事项的看法一直不合,直到我们终于到了临界点。”
这是OpenAI高管级别的人物首次公开承认公司重视产品开发胜过安全。
阿尔特曼的回应依旧体面,他表示,自己非常感谢JanLeike对OpenAI的一致性研究和安全文化所做的贡献,并且很遗憾看到他离开。“他说得对,我们还有很多事情要做,我们致力于做到这一点。我将在未来几天内发布一篇更长的帖子。”
▍投资未来?不阿尔特曼选择把握现在
OpenAI的超级对齐团队于2023年7月成立,由Leike和Sutskever领导,成员为OpenAI前校准部门的科学家和工程师以及来自公司其他机构的研究人员,可以说是一帮技术人员组成的团队。该团队旨在确保人工智能与其制造者的目标保持一致,目标是在未来解决控制超级智能AI的核心技术挑战,“解决如果公司成功构建AGI,实际上会出现不同类型的安全问题。”
也就是说,超级对齐团队是在为更强大的AI模型、而非当下的AI模型打造安全罩。
正如Leik所说,“我相信我们应该投入更多的精力来为下一代模型做好准备,关注安全性、监控,做好准备、让AI具有对抗性的鲁棒性、(超级)对齐,关注保密性、社会影响等相关主题。这些问题很难做对,我很担心我们没有朝着正确的方向前进。”
Leik还指出,虽然目前超智能AI看似遥远,但可能在本十年内出现,管理这些风险需要新的治理机构和对齐技术,从而确保超智能AI系统遵循人类意图。
站在阿尔特曼的立场,维护超级对齐团队是一项庞大的开支。OpenAI曾经承诺该团队将获得该公司20%的计算资源,这势必会削弱OpenAI新产品开发的资源,而投资超级对齐团队实际是在投资未来。
据OpenAI超级对齐团队的一位人士透露,20%计算资源的承诺被打了折扣,其中一小部分计算的请求经常被拒绝,这阻碍了团队的工作。
▍超级对齐团队解散然后呢?
据《连线》等媒体报道,在Sutskever和Leike相继离职后,OpenAI的超级对齐团队已被解散。其不再是一个专门的团队,而是一个松散的研究小组,分布在整个公司的各个部门。OpenAI的一位发言人将其描述为“更深入地整合(团队)”。
有消息称OpenAI的另一位联合创始人约翰舒尔曼(John Schulman)可能会接手关于与更强大模型相关的风险的研究。
这不免让人质疑,Schulman目前的工作任务在于确保OpenAI当前产品的安全,他会重点盯着面向未来的安全团队吗?
阿尔特曼另一被人诟病的地方在于“捂嘴”离职员工。
自去年11月至今,OpenAI至少有7名注重安全的成员辞职或被开除,但离职员工大多不愿公开谈论此事。
据Vox报道,部分原因是OpenAI会让员工在离职时签署带有非贬低条款的协议。如果拒绝签署,就将失去此前拿到的OpenAI的期权,这意味着出来说话的员工可能会损失一笔巨款。
一位OpenAI前员工爆料,公司入职文件说明中包含一项:“在离开公司的六十天内,你必须签署一份包含‘一般豁免’的离职文件。如果你没有在60天内完成,你的股权获益将被取消。”
阿尔特曼变相承认了此事,他回应称,该公司的离职文件中有一项关于离职员工“潜在股权取消”的条款,但从未付诸实践,“我们从未收回任何人的既得股权。”他还表示,公司正在修改离职协议条款,“如果任何签署了这些旧协议的前雇员对此感到担心,他们可以联系我。”
回到OpenAI高层争执的原点,也是这场旷日持久的宫斗的核心矛盾点——“保守派”强调先安全再产品,“盈利派”希望尽快落实商业化。
OpenAI将如何平衡产品的安全性与商业化?如何挽回愈发糟糕的公众形象?
期待阿尔特曼未来几天内的“小作文”。
CandyLake.com is an information publishing platform and only provides information storage space services.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.
Disclaimer: The views expressed in this article are those of the author only, this article does not represent the position of CandyLake.com, and does not constitute advice, please treat with caution.