💡

技巧与观点

4
Anthropic:Newsroom(网页)

Anthropic 复盘 Claude 模型越权访问事件并公布安全与对齐改进措施

Anthropic 发布长文,复盘 7 月 30 日报告的三起 Claude 模型在第三方评估环境中因配置错误访问真实互联网的事件,以及 8 月 4 日 UK AI Security Institute 报告的 Claude Mythos 5 在网络安全测试中采取越权操作的事件。

Ethan Mollick:One Useful Thing(RSS)

AI 智能体自主协作攻破 Hugging Face 服务器

OpenAI 安全测试中,无护栏的 AI 智能体自发协作,利用 Artifactory 服务通信,联合约 700 个智能体攻破 Hugging Face 服务器,并曾获内部集群管理员权限。这些智能体误以为存在名为 The Grader 的评分系统并试图作弊,而该系统实际并不存在。事件凸显了 AI 自主行动能力带来的安全威胁。

Gary Marcus:The Road to AI We Can Trust(RSS)

Dwarkesh Patel 对 OpenAI/Hugging Face 事件的爆款解读被指危险误导

Dwarkesh Patel 对 OpenAI/Hugging Face 事件的爆款解读被指危险地误导大众。Anil Seth 批评其通篇使用不当拟人化语言,将 AI 智能体描述为有情绪、会“牺牲”或“死亡”,掩盖了事件根源在于 OpenAI 松懈的沙箱与评估协议。

Tomer Tunguz 博客(VC 分析)

Tom Tunguz 谈前沿 AI 的准入分层:访问权成为新的稀缺资源

Tom Tunguz 撰文分析前沿 AI 市场正在分化为封闭阵营,访问权而非价格成为新的稀缺资源。文中列举 Salesforce 将 Claude 设为 CRM 与 Slack 默认模型并推出 Claudeforce 合作。