Anthropic近期发布博文指出，其开发的前沿AI模型Claude正面临被恶意行为者滥用的风险。报告揭示了多种滥用场景，包括“舆论引导服务”、凭证填充、招聘诈骗及恶意软件开发等。一个典型案例显示，某营利组织利用AI在社交平台创建百余个虚假账号，自动发表多语言评论，伪装成真实用户传播政治偏见内容。另一起事件中，恶意行为者借助Claude优化系统，处理泄露的用户名和密码，并搜集目标信息进行测试。此外，一名技术有限的用户甚至通过Claude开发出超出自身能力的恶意软件。尽管这些案例尚未确认实际部署成功，但表明AI技术正在降低恶意行为的技术门槛。Anthropic团队已采取多项安全措施，通过分析对话数据和技术手段识别并封禁相关账户，但仍需警惕未来可能出现的更复杂滥用模式。
