从P图到假图批量生成 AI图像安全成可信AI重点关注方向

作者：林斐 来源：IT时报

图像是信息的重要载体，也是信息保护的重点关注对象。图像编辑软件的发展和普及降低了虚假图像的制作门槛，大量基于虚假图片产生的诈骗案件、网络暴力事件在全球范围内造成了恶劣的影响。自AIGC技术兴盛以来，“生成式造假”也让人们倍感忧虑。图像内容的安全与可信性也成为了公众关注的焦点，但图像领域的“可信AI”才刚刚起步。

在刚刚结束的本次世界人工智能大会可信AI论坛上，长期聚焦“AI+OCR”在文档智能领域中的前沿技术探索的合合信息展示“三大技术，一项标准”，探索AI在图像内容安全领域可信化发展的多重可能。

合合信息AI图像安全技术方案主要包括三项重点技术：AI图像篡改检测、生成式图像鉴别、OCR对抗攻击技术，以应对日益高发的恶意P图、生成式造假和个人信息非法提取现象。

AI图像篡改检测技术

合合信息图像篡改检测技术应用效果展示

P图是常见的图像篡改手段之一。去年的世界人工智能大会上，合合信息PS篡改检测技术首次亮相，“像素级”起底修改痕迹，覆盖身份证、护照等多种证照识别类目。该技术基于深度学习的图像篡改检测技术及相关系统，通过学习图像被篡改后统计特征的变化，智能捕捉图像在篡改过程中留下的细微痕迹，并以热力图的形式展示图像区域篡改地点，相关技术已在银行、保险等领域落地应用。

今年图像篡改检测“黑科技”持续优化升级，应用面也拓展至“截图篡改检测”。此前，图像篡改检测的技术研究对象主要集中于自然场景图像，然而，真正为人们的生活带来风险的通常是被篡改的资质证书、文档、截图等。合合信息AI图像篡改检测技术可检测包括转账记录、交易记录、聊天记录等多种截图，无论是从原图中“抠下”关键要素后移动“粘贴”至另一处的“复制移动”图片篡改手段，还是“擦除”“重打印”等方式，图像篡改检测技术均可“慧眼”识假。

图片输入到合合信息篡改检测模型中，便能够判别这张图像是否被篡改，并且定位出篡改图像的篡改区域

该技术的主要难点在于，能否从没有明显视觉差异的图片中找出被篡改的截图，以及找出的图片中是误检率是否可控。与证照篡改检测相比，截图检测难度更大。

从成像角度来看，截图的背景没有纹路和底色，整个截图没有光照差异。证件篡改识别尚可通过拍照时产生的成像差异进行篡改痕迹判断，而截图则没有这些“信息”。现有的视觉模型通常难以充分发掘原始图像和篡改图像的细粒度差异特征，因此难以实现令人满意的准确率。为此，合合信息提出了一种基于HRNet的编码器－解码器结构的图像真实性鉴别模型，结合图像本身的信息包括但不限于噪声、频谱等， 从而捕捉到细粒度的视觉差异，达到高精度鉴别目的。

生成式图像鉴别

今年以语言生成类、视觉生成类模式为代表的AIGC产品引发了社会对于图文内容“可信度”问题的讨论。AIGC爆火的背后，不法分子通过生成的图片去规避版权、身份验证，非法获取利益，给人民群众造成了财产损失。基于此背景，合合信息研发了关于AI生成图片鉴别技术，用于帮助个人及机构识别判断AI图片是否为生成的，防止“虚拟人”欺诈，通过解决生成式AI面临的部分伦理问题，助力生成式AI的健康发展。

该项目的难点主要分为两点：生成出来的图像场景繁多，不能穷举，不能通过细分来一一训练解决；有些生成图和真实图片的相似度过高，很贴近于人类的判断，对于机器而言，真伪判定只会更难。合合信息基于空域与频域关系建模，能够在不用穷举图片的情况下，利用多维度特征来分辨真实图片和生成式图片的细微差异。

模型结构

输入图片后，模型通过多个空间注意力头（attention head）来关注空间特征，并使用纹理增强模块放大浅层特征中的细微伪影，增强模型对真实人脸和伪造人脸的感知与判断准确度。

生成式图像检测技术在反诈骗、版权保护等领域的应用空间十分广泛。例如在金融行业，不法分子可利用AI合成技术对线上资金进行盗刷，威胁公民财产安全。本项技术可通过对支付环节的干预，降低资金盗刷概率；在传媒行业，某些图片供给方使用软件自动生成海报等图片，故意隐瞒其来源并售卖给第三方，第三方在不知情的情况下进行商用，导致了侵权问题，相关检测技术可在一定程度上解决这些问题。

OCR对抗攻击技术

人们会出于生活、工作需要，拍摄自己的相关证件、文件并发送给第三方，这些图片上承载的个人信息可能被不法分子使用OCR技术识别提取并泄露。基于个人、企业业务的文件资料保密需求，合合信息进行了创新技术探索，研发了OCR对抗攻击技术来进行文档图片“加密”。

合合信息OCR对抗攻击技术应用效果展示，可对关键信息进行遮盖，在不影响肉眼观看的情况下阻止机器自动爬取。该技术可在不影响肉眼观看与判断的情况下，对场景文本或者文档内文本进行扰动，对包含中文、英文、数字等关键信息的内容进行“攻击”，防止第三方通过OCR系统读取并保存图像中所有的文字内容，降低数据泄露的风险，以此达到保护信息的目的。

与中国信息通信研究院等权威机构一起建立标准 助力科技向善

图像安全的重要性与日俱增，标准规范的出台迫在眉睫。合合信息与中国信息通信研究院（下简称信通院）等权威机构一道，携手院校、研究机构及企业，共同探索AI技术在图像领域的可信化落地这一深远命题，助力科技向上的同时向善发展。

为贯彻落实《中华人民共和国网络安全法》《生成式人工智能服务管理办法（征求意见稿）》等文件中对于AI服务的规范性要求，系统性建立图像内容安全行业发展秩序，信通院牵头启动了《文档图像篡改检测标准》制定工作，合合信息、中国图象图形学学会、中国科学技术大学等科技创新企业及知名学术机构联合编制。

《文档图像篡改检测标准》将为文档图像内容安全提供可靠保障，助力新时代AI安全体系建设。作为牵头方，信通院表示，《文档图像篡改检测标准》将基于产业现状，围绕“细粒度”视觉差异伪造图像鉴别、生成式图像判别、文档图像完整性保护等行业焦点议题，凝聚行业共识，以期为行业提供有效指引。

“可信”反映了AI系统、产品和服务在安全性、可靠性、可解释、可问责等一系列内在属性的可信赖程度，相关概念正随着技术发展的脚步，从模糊走向清晰、从起步走向成熟。开年以来，以语言生成类、视觉生成类模式为代表的AIGC产品引发了社会对于图文内容“可信度”问题的讨论。《文档图像篡改检测标准》的制定，或将为中国“可信AI”在机器视觉、图像处理领域的体系建设提供有力支持。

用“过硬”的AI为行业发展注入安全感

AI向善还是向恶而行？不法分子和守护者们每天都在未知的角落里上演无数次隐形的争斗。哪一方是技术实力更为强劲，是决定道高一尺还是魔高一丈的关键。作为一家人工智能公司，过硬的科技实力是合合信息等科技企业突破行业难题，培育创新技术的底气。AI图像安全新技术的实现，得益于公司在文档图像领域十余年的深耕攒下的底蕴。

近期，合合信息相关产品接连获得信通院在智能文档处理、OCR智能化领域的高分评级。智能文档处理系统评估结果显示，AI核心能力方面，合合信息产品在NLP领域的文本分类、知识图谱领域的实体识别、关系抽取及OCR领域的字符识别、文本行识别均获得5分评分。合合信息智能文档处理产品获得“5级”评定。据悉，“5级”为该模块最高评定等级。

OCR评估中，合合信息智能文字识别产品顺利通过全部7项基础类功能指标测试以及9项增强类功能指标测试，获得“增强级”评级。评估报告认为，公司智能文字识别产品展现出良好的性能和服务成熟度。以具有较大难度的证件类和票据类性能测试为例，面对旋转、阴影、反光、褶皱、形变、模糊、多语言、低像素、光照不均等复杂场景，合合信息智能文字识别产品均有较高的识别准确率，字符准确率分别为99.21%和99.59%，字段准确率分别为97.87%和98.42%。

测试结果还显示，合合信息智能文字识别产品支持超过50种复杂语言的识别，为全球化、多语言背景下的信息智能识别提供了技术支撑。截至目前，合合信息智能文字识别、智能文档处理相关技术已发表于CVPR、AAAI、ACL、ACM MM等国际顶会上，并在ICPR、ICFHR 等十余项国际竞赛中获得冠军。现阶段，公司已获得超百项自主知识产权发明专利，为全球超过200个国家和地区的上亿用户提供智能文字识别产品及AI服务。未来，公司将持续关注图像领域新需求、新动态，用“过硬”的AI为行业发展注入安全感。