【今日视点】
科技日报记者 刘霞
人工智能(AI)初创公司 xAI 创始人埃隆·马斯克近日表示:“在 AI 训练中,我们现在基本上耗尽了人类知识的累积总和。”之前研究也表明,人类生成的真实数据将在 2 到 8 年内消耗殆尽。鉴于真实数据日益稀缺,为满足 AI 的“胃口”,科技行业正转向使用合成数据。
澳大利亚“对话”网站在本月稍早时间报道中指出,合成数据具有诸多优势,但过度依赖合成数据也可能削弱 AI 的精确性和可靠性。
合成数据应运而生
以往,科技公司主要依赖真实数据来构建、训练和改进 AI 模型。真实数据是指由人类创建的文本、视频和图像。它们通过调查、实验、观察或挖掘网站和社交媒体等途径被收集而来。
真实数据因蕴含真实事件以及其场景和背景而极具价值,但其并非尽善尽美。它可能掺杂拼写错误、不一致或无关的内容,甚至潜藏严重偏见,导致生成式 AI 模型在某些情况下创建的图像仅展示男性或白人形象。
但真实数据日益匮乏,因为人类生成数据的速度赶不上 AI 不断增长的需求。
美国开放人工智能研究中心联合创始人伊利亚·苏茨克维尔在去年 12 月举行的机器学习会议上声称,AI 行业已触及他所称的“数据峰值”,AI 的训练数据如同化石燃料一样面临着耗尽的危机。此外,有研究预测,到 2026 年,ChatGPT 等大型语言模型的训练将耗尽互联网上所有可用文本数据,届时将没有新的真实数据可供使用。
为给 AI 提供充足的“养分”,一种由算法生成的、模仿真实世界情况的数据——合成数据应运而生。合成数据是在数字世界中创造的,而非从现实世界收集或测量而来。它可以作为真实世界数据的替代品,来训练、测试、验证 AI 模型。
从理论上来说,合成数据为训练 AI 模型提供了一种经济高效且快捷的解决方案。它有效解决了 AI 训练使用真实数据时饱受诟病的隐私问题和道德问题,尤其是涉及个人健康数据等敏感信息时。更重要的是,与真实数据不同,合成数据在理论上可以无限供应。
研究机构高德纳公司估计,2024 年 AI 及分析项目使用的数据中,约 60% 是合成数据。到 2030 年,AI 模型使用的绝大部分数据将是由 AI 生成的合成数据。
科技公司来者不拒
事实上,微软、元宇宙平台公司,以及 Anthropic 等众多科技头部企业和初创企业,已经开始广泛使用合成数据来训练其 AI 模型。
例如,微软在 1 月 8 日开源的 AI 模型“Phi-4”,便是合成数据携手真实数据训练的;谷歌的“Gemma”模型也采用了类似方法。Anthropic 公司也利用部分合成数据,开发出其性能最优异的 AI 系统之一“Claude 3.5 Sonnet”。苹果自研 AI 系统 Apple Intelligence,在预训练阶段,也大量使用了合成数据。
随着科技公司对合成数据的需求与日俱增,生产合成数据的工具也接踵而至。
英伟达公司发布的 3D 仿真数据生成引擎 Omniverse Replicator,能够生成合成数据,用于自动驾驶汽车和机器人训练。去年 6 月,英伟达开源了 Nemotron-4340b 系列模型,开发者可使用该模型生成合成数据,用于训练大型语言模型,以应用于医疗保健、金融、制造、零售等行业。在医疗、金融等专业领域,该模型能够根据特定需求生成高质量的合成数据,帮助构建更为精准的行业专属模型。微软推出的开源合成数据工具 Synthetic Data Showcase 则旨在通过生成合成数据和用户界面,实现隐私保护的数据共享和分析。亚马逊云科技推出的 Amazon SageMaker Ground Truth 也能为用户生成数十万张自动标记的合成图像。
此外,去年 12 月,元宇宙平台公司推出开源大模型 Llama 3.3,更是大幅降低了生成合成数据的成本。
过度依赖风险难测
尽管合成数据暂时解决了 AI 训练的燃眉之急,但它也并非尽善尽美。
一个关键问题在于:当 AI 模型过于依赖合成数据时,它们可能会“崩溃”。它们会产生更多“幻觉”,编造看似合理可信但实际上并不存在的信息。而且,AI 模型的质量和性能也会飞速下降,甚至无法使用。例如,某个 AI 模型生成的数据出现了一些拼写错误,利用这些充满了错误的数据训练其他模型,这些 AI 模型必定会“以讹传讹”,导致更大的错误。
此外,合成数据也存在过于简单化的风险。它可能缺乏真实数据集蕴含的细节和多样性,这可能导致在其上训练的 AI 模型的输出也过于简单,缺乏实用性。
为解决这些问题,国际标准化组织需要着手创建强大的系统,来跟踪和验证 AI 训练数据。此外,AI 系统可以配备元数据追踪功能,让用户或系统能对合成数据进行溯源。人类也需要在 AI 模型的整个训练过程中对合成数据进行监督,以确保其高质量且符合道德标准。
AI 的未来在很大程度上取决于数据的质量,合成数据将在克服数据短缺方面发挥越来越重要的作用。对合成数据的使用,人们必须保持谨慎态度,尽量减少错误,确保其作为真实数据的可靠补充,从而保障 AI 系统的准确性和可信度。