NVIDIA发布的合成数据集示意图

NVIDIA近日在Hugging Face平台发布了两套面向日本语AI开发的合成数据集,分别为“Nemotron Personas Finance Japan”和“Nemotron PII Japan”。

“Nemotron Personas Finance Japan”基于日本社会特征,扩展了金融领域的合成用户画像;而“Nemotron PII Japan”则用于开发检测和屏蔽日本语文档中个人识别信息的模型。这两套数据集是在日本主要金融机构的协助下制作完成的。

这两套数据集是NVIDIA Nemotron系统的一部分,该系统兼顾了模型的精度与计算效率,帮助企业以较低成本开发和部署AI代理。

在AI代理执行任务时,准确反映使用国家的语言、文化、人口结构及行业特性至关重要。然而,涉及个人信息的数据因隐私和安全限制,尤其在金融、医疗和公共领域,获取和使用难度较大。此次公开的合成数据无需使用真实个人信息,能够重现所需属性和文档结构,为符合地区和行业要求的AI开发与评估提供了更安全的环境。

Nemotron Personas Finance Japan

该数据集基于2025年公开的人口和劳动统计数据,从100万条记录生成了600万条日本人合成用户画像。继承了Nemotron Personas Japan的基本属性和个人背景,新增了适用于金融领域的属性和用户画像,涵盖收入、资产、支出、储蓄、投资及金融决策等,使得模拟更加真实多样。数据集以100万样本为基础,将用户画像扩展至900万条,总词汇量从约14亿提升至约15亿。

值得注意的是,所有数据均通过概率图模型从公开统计数据中采样生成,完全为人工合成,与任何真实个人无关。

Nemotron PII Japan

该数据集包含约10万条完全合成的日本语文档,涵盖医疗、金融、行政、就业、教育、法律、IT安全和电子商务等8大领域,收录了诊断书、贷款审核文件、地址变更申请、各类申请表等43种文档类型。

每份文档均附有注释,标明姓名、地址、邮箱、各类识别号码等个人识别信息在文中的位置及类别。数据集不使用任何真实个人信息,文档与标注标签成对提供,便于用于训练、评估和改进个人识别信息检测与屏蔽模型。