在信息时代，生成式AI技术快速发展，以其惊人的创造力和效率，重塑了我们的信息生态。然而，正如一枚硬币的两面，这项技术的双刃剑效应在近期的事件中显露无遗。

2025年1月7日，西藏日喀则市定日县发生6.8级地震，地震灾情牵动人心，社会各界纷纷伸出援手，人们持续关注着互联网上发布的图文视频新闻。与此同时，一些由AI生成的虚假图片却在社交平台上悄然流传，它们以假乱真，误导公众，甚至引发了不必要的恐慌和误解。这些虚假信息的传播，不仅对灾区的救援工作造成了干扰，也对社会秩序构成了挑战。

AI生成的假图片配上煽情文字，骗取了许多网友的眼泪和流量

生成式人工智能技术中的文本到图像生成模型（Text-to-Image Models）是此类AI生成图片的关键。它通过解读用户提供的文字描述，将语义内容转化为视觉效果逼真的图像。

短短几秒，AI便可根据要求生成图片或视频。图/智谱清言

AI技术污染新闻内容的现象，早在几年前就显露苗头。“甘肃一火车撞上修路工人，致9人死亡 ”“五角大楼发生爆炸”“广东省五华县华阳镇一70多岁老人被殴打致昏迷，其孙子为此跳河自杀，打人者一审被判九年十个月”……如果留意，会发现这些肉眼难辨的AI假新闻经常集中于城乡发展、阶层矛盾、性别对立、国际局势等备受关注的议题。张文曦，公众号：新周刊AI假新闻，霸占我的家族群

有网友输入“特朗普在被捕过程中摔倒_新闻报道画面”字样，AI便生成了这一合成画面。（图/推特）

在信息爆炸的时代，确保图像的真实性对于防止虚假新闻和误导性内容的传播至关重要。在《生成式AI的革命：人类应如何直面“新知识”》一书中，除了大众所熟知的版权问题外，作者西田宗千佳对生成式AI技术中的防伪措施也进行了一番科普——

防伪措施中所必要的“历史记录”

生成式AI所面临的另一个风险是“虚假信息的生成”。如今，社交媒体上存在着大量的虚假图像。实际上，有人会使用这些图像来引导舆论，有时甚至会上升到国家层面。截至2023年7月，俄乌冲突的未来走向尚不清楚，但有专家批评俄罗斯频繁传播虚假新闻，试图引导民意。

生成式 AI使用门槛低，有些人因此担忧生成式AI会推动虚假新闻的传播。然而，实际上，这一问题早在生成式AI诞生之前就已存在。

可以说，自 Photoshop 这样的图像编辑工具出现并被广泛使用后，类似的担忧就一直存在。而且，在一个世纪之前，利用加工修改后的照片进行政治宣传早已是司空见惯的手段。虽然这个世界上确实充斥着大量的虚假新闻和谣言，但生成式 AI以及其他优秀工具的出现并不是问题根源所在，需要关注的是这些便利的工具可能会让问题变得更加严重。

对此，有一点尤为值得关注。那就是 Adobe 等各个平台正在积极研究的“历史记录”问题。

Adobe等一众IT公司正在共同推进名为“内容真实性倡议”( Content Authenticity Initiative，CAI）的技术，并且已将其集成到 Adobe 的主要服务。

什么是内容真实性倡议？简单地说，据此可以让用户了解“这项数据经由哪个工具处理，以及进行了何种编辑操作”。由于数据中包含了制作者和编辑工具的信息，经过读取分析后便可以得知其历史记录。此外，这些历史记录都会被上传到网络，因此用户可以确认“当前查看的照片是否有历史记录”。

假设有一张虚假图片，其中一部分是由其他图片合成的，并降低其分辨率。如果能查询到这张图片的原始数据的历史记录，软件就可以显示出原图。此项倡议，最初是在2019年到2020年间由 Adobe 和微软等大型公司、《纽约时报》等新闻媒体、推特（现改名X）等社交媒体共同提出，旨在提高照片等内容的可信度。几经波折，最终形成了如今的“内容真实性倡议”。Adobe 和微软等IT公司自不必说，尼康、佳能、徕卡这样的相机制造商，以及法新社、美联社、英国广播公司等新闻机构，甚至连美国盖帝图像这样的大型图库公司都参与其中。盖帝图像(Getty Images)，美国图像公司，1995 年成立于西雅图，作为全球数字媒体的缔造者首创并引领了独特的在线授权模式——在线提供数字媒体管理工具以及创意类图片、编辑类图片、影视素材和音乐产品。

图：contentauthenticity.org

Adobe还打算对生成式 AI（例如Firefly等）使用历史记录技术，判别图像是否为 AI生成，但目前尚未实施。此外，Adobe和谷歌合作，将谷歌的生成式AI——Bard和 Firefly——联动，同时采用内容真实性倡议进行技术验真。

尽管谷歌还没有明确表态是否采用内容真实性倡议，但他们会对AI生成的图像打上提示“AI生成”的电子水印。这样一来，使用谷歌平台搜索到的图像，无论是人类创作的还是 AI生成的，都将一目了然。

什么是可信度高的图片?

重要的是，包括内容真实性倡议在内的记录“图像来历”的功能，绝不是辨别真伪的工具。相关技术只能提供创作人、编辑工具，及编辑内容的信息。如有需要，相关数据也并非不可以被删除。

即使如此，考虑到图片历史记录的有无，也可以轻易判断出何者更为可信。

有时，可以通过“细节”来判断图片的真实性。例如，我们可能会基于“生成式AI不擅长画人手”的认知标准来判断一张图片是否由生成式AI生成。

尽管这个方法确实有一定帮助，但是随着技术进步，想必不会再可靠。

再比如说“垃圾邮件”。目前，垃圾邮件的共同特点之一，就是其日语表达很不自然。但是，随着翻译AI和生成式AI的不断发展，已经很难通过内容表达来加以分辨。

乱花渐欲迷人眼，眼见不一定为实。所以重要的是，当怀疑存在虚假信息时，要查看其是否具有历史记录。如果附有历史记录，自然可以帮助我们判断相关信息“进行过什么编辑”。但要是没有附带历史记录，这就意味着“不能提供判断标准”，其可信度恐怕要打上问号了。

正如本书反复强调的，制作的东西好坏由人来判定。对我们来说，能够提供判断的信息越多越好，“恶意者无痕，善意者有痕”，因此历史记录算得上非常重要的佐证要素之一。

此外，历史记录有助于检测出照片的非法使用。如果从盗用的图片中找到历史记录，则更容易举证非法使用。在这方面来看，历史记录在将来会变得越来越重要，

目前，带有历史记录的图片为数不多，也很难确认一幅图片是否带有历史记录。但是，随着数码相机和智能手机开始配备历史记录功能，想必生成式 AI也会增加这一功能，如此以后便能更容易地确认历史记录了。

目前，社交媒体等平台上尚未搭载历史记录功能。但是，若社交媒体想要打造“可信空间”，那么十分有必要增加历史记录功能。这就像谷歌会在搜索引擎中，对AI生成的图片嵌入电子水印一样，负起一定的社会责任。

正如刚才提到的，推特（现为X）曾发起内容真实性倡议。然而，目前该公司似乎没有任何与内容真实性倡议相关的行动。真心希望包括推特在内的各大社交媒体平台都尽力推广历史记录技术。

节选自《生成式AI的革命：人类应如何直面“新知识”》第四章 “应该”与“不应该”让生成式AI完成的任务。

ARTIFICIAL INTELLIGENCE我们必须认识到，生成式AI技术的发展必须伴随着防伪技术的进步，以确保信息的真实性和可靠性，维护社会的和谐稳定。只有这样，我们才能确保技术的红利被正确利用，而不是成为制造混乱的工具。

《生成式AI的革命：人类应如何直面“新知识”》

[日] 西田宗千佳 著

李立丰 译

定价：59.80元

东方出版中心2024年9月

ISBN：9787547324691

内容简介

这是一本面向所有人的生成式AI通识读物。本书让你不再局限于“怎么用AI”，而是带你思考如何在新一轮技术革命的时代下生存和成长。无论你是否拥有技术背景，它都能帮你提升数字素养，在接下来的“全民AI”时代保持领先。

·通俗易懂的AI入门读物

简洁明了的语言，帮助你轻松理解生成式AI，无需任何技术背景，迅速上手。

·提升未来数字素养的通识课

不只是学习使用AI工具，而是全面提升你的数字素养，帮助你在AI时代中保持领先。

·解决面对AI时代的就业焦虑

深入探讨生成式AI对未来就业市场的影响，帮你提前准备，抓住未来的机会，避免被技术淘汰。

·适合忙碌上班族的快读指南

紧凑且富有洞察的内容，适合快节奏的生活方式，让你在短时间内掌握未来必备技能。

作者简介作者西田宗千佳，1971年出生于日本福井县，记者，主要关注计算机、数字影音等领域，以及电子或数据产品，包括网络相关产品，为《朝日新闻》《读卖新闻》《日本经济新闻》《日本商业内参》等媒体撰稿，著有《元宇宙×商业革命》（软银创意）、《网飞时代》（讲谈社现代新书）、《云计算》（朝日新书）等多部作品。译者李立丰，吉林大学匡亚明学者，吉林大学理论法学研究中心、法学院教授，博士生导师，日本早稻田大学访问学者、日本关西学院大学客员教授。校者宋婷，吉林大学外国语学院副教授，博士生导师，日本关西学院大学访问学者、日本西南学院大学研修学者。

目录

前 言

第一章 生成式AI为何拥有足以改变社会的影响力

第二章 生成式AI何以诞生

第三章 作为“副手”的生成式AI

第四章 “应该”与“不应该”让生成式AI完成的任务

第五章 生成式AI所预设的未来

结 语

参考资料