随着人工智能基础计量单位“词元”自今年3月获得正式命名,围绕词元经济的研究、讨论与实践持续升温。记者获悉,国家层面已将推动词元经济发展纳入工作体系,并以行业高质量数据集建设和全国一体化算力网建设为重要着力点,深入推进数据要素市场化配置改革,为词元经济高质量发展提供坚实支撑。
今年3月,国家数据局正式将人工智能模型处理信息的基础单位Token的中文译名确定为“词元”,并将其定位为“智能时代的价值锚点”。自此,词元不再仅是技术术语,更成为观察智能经济发展的重要窗口。从政府部门到产业界,各方纷纷围绕词元经济的运行规律、发展态势与宏观治理展开探讨,相关实践探索也在加速推进。
所谓词元经济,是以词元生产、流通和应用为核心的一系列经济活动的总和。业内专家指出,词元经济将催生新的经济形态,加速经济社会智能化进程,为数据要素价值释放开辟全新路径。作为智能经济中创新密度最高、迭代速度最快、产业牵引力最强的组成部分,词元经济正在成为发展新质生产力和深入推进数字中国建设的战略性新赛道。
从技术内涵看,词元是大模型处理信息的最小语义单元,也是人与机器深层沟通的通用语言。2017年,谷歌将词元作为Transformer架构输入及输出的标准单位。近年来,随着Transformer架构及大语言模型的广泛使用,词元逐渐成为模型处理和生成文本的基本计量单元。与比特数据仅忠实地编码、传输物理世界信息不同,作为意义单元的词元能够捕捉数据背后的语义信息,让机器真正“看懂”物理世界,深刻重塑人与机器的关系。
词元并非天然存在,而是由大模型经过分词、向量化表示、位置编码、语义关系建模、上下文关联分析、概率计算等一系列“词元化”操作后输出的产物。词元的生产是数据、算力、模型推理等多因素综合作用的结果,也是刻画人工智能产出的度量标准。它打破了长期以来算力、数据与模型算法之间互不通约的物理壁垒,成为跨越不同技术架构与应用场景的统一标尺。借助这一标尺,既可衡量模型性能,如预训练阶段的词元处理量反映模型知识广度,词元生成速度体现推理效率;也可衡量经济社会的智能含量,如个人词元处理量反映其使用人工智能服务的程度,企业词元消耗量则代表数智化转型的进展。
当前,我国词元经济正蓬勃兴起。词元调用量呈现指数级增长,核心产业快速扩张,并加速融入经济社会各领域。从政务、制造到金融、医疗,词元经济所释放的智能红利正在惠及千行百业。行业高质量数据集建设与全国一体化算力网建设的协同推进,将进一步夯实词元生产与流通的基础设施,为产业规模增长提供有力保障。
展望未来,随着词元经济纳入国家宏观治理视野,相关规则体系与治理机制有望逐步完善。专家建议,应持续深化对词元经济运行规律的认识,统筹数据、算力与算法资源,推动词元经济在规范中发展、在发展中规范,为经济社会智能化转型注入更强动能。词元经济这一战略性新赛道,正在描绘智能时代产业变革与经济升级的新图景。