菜单

从穿孔卡到高质量数据集:数据治理四十年,那些人和那些事

开云编辑部  /   2026年9月10日

1962年,"数据管理"这一术语首次被载入学术文献,其初衷是为了节省存放穿孔卡所需的一整层楼空间。

一句话来概括: 数据治理并非新兴概念,它已走过六十年的历程。而它每一次重新成为热点,都不是因为技术上的新发明,而是由于谁在使用数据、为何使用数据发生了变化。今天回顾这段历史,并非为了怀旧,而是为了理解:AI时代的数据治理,究竟要解决哪些核心问题。

00 先呈现一幅六十年全景图

在深入讲述之前,先梳理时间线,以便于你按图索骥:

[图片:六十年数据治理时间线全景图]

接下来,我们将按阶段讲述人物与故事。

01 穿孔卡时代:数据管理的原始动力是"节省成本"

许多人误以为数据治理是互联网时代的产物,事实并非如此。

"数据管理"(Data Management)一词早在1962年就已出现在文献中。 当时,数据处理服务组织协会(ADAPSO)正式提出了这一概念,CJ Roach在《Part XVIII. Data management》中给出了最早的定义:研究数据如何被收集、记录、存储、检索、分析和展示。

但当时人们为何要"管理"数据?并非为了利用,而是为了节约。

那个时代,数据存储在穿孔卡上。这些卡片有多占空间?一些公司需要整整一层楼来存放穿孔卡。因此,当时的数据管理聚焦于"少存、存好、不浪费"——本质上是在优化硬件成本,这与当今"释放数据价值"的理念截然不同,甚至带有档案管理的色彩。

真正的转折发生在70年代。磁盘取代了磁带,磁盘提供了直接寻址能力,操作更加灵活,一种名为"数据库管理系统(DBMS)"的软件应运而生——这就是我们今天所说的关系型数据库的雏形。OLTP系统随之出现,数据开始爆炸式增长。

随后,一件影响深远的事情发生了:有人编写了一个名为**"抽取"**的程序,将数据从OLTP库中提取到新库中,再对新库进行操作。这样既不影响生产系统,又能灵活处理数据。这实际上是数据仓库和OLAP的起源。

但"抽取"带来了一个副作用——每次抽取,都会产生一份脱离管控的数据副本。日积月累,整个企业变成了**"蜘蛛网"式的自然演化体系结构**。这个比喻后来被Bill Inmon反复引用:企业越庞大、越成熟,这张网就越乱、越难以解开。

于是,数据管理第一次被赋予了新的含义:不再仅仅是节省空间,而是降低冗余、保证一致性。70年代末,诺兰(Nolan)的信息化成熟度模型中,专门提到了"数据管理(Data Administration)"这一阶段——企业信息化发展到一定程度,必然面临数据孤岛的挑战。

这一阶段的启示: 数据治理的第一次出现,驱动力是成本;第二次出现,驱动力是混乱。都不是因为数据"值钱",而是因为数据"碍事"。这个底层逻辑,在后来的发展中还会反复出现。

02 1988:MIT的两位教授,将"质量管理"引入数据世界

1988年是数据治理史上极其重要的一年,两件大事同时发生。

第一件事在MIT。Richard Y. Wang和Stuart Madnick两位教授启动了"全面数据质量管理"(TDQM,Total Data Quality Management)项目。

他们的灵感来源颇为有趣——并非来自计算机科学,而是来自制造业的质量管理。TDQM提出了一个核心概念:"数据制造"。

这是什么意思?他们认为,数据并非凭空产生,而是像工业品一样被"生产"出来的:有原材料(源数据)、有加工工序(ETL)、有产成品(报表和指标)、有质检环节。既然工业品可以通过全面质量管理(TQM)来管控,那么数据为何不能?

沿着这一思路,TDQM确立了数据质量的三大管理要素:度量、分析、改进,并强调从经济、技术、组织三个维度同时入手。1994年,他们进一步提出了四类质量维度:固有质量(准确性、可信度)、上下文质量(时效性、相关性)、可呈现质量(可解释性、一致性)、可访问质量(可访问性、安全性)。

今天你在DAMA中看到的那些质量维度,其源头就在这里。

第二件事发生在洛杉矶之外——国际数据管理协会DAMA正式成立(首个分会于1984年在洛杉矶成立,1988年选举产生了首届管理委员会)。一批意识到"数据需要专业管理"的人,终于拥有了自己的组织。

同一时期还有一个插曲:1987年,John Zachman提出了企业架构(Enterprise Architecture)框架,特别强调数据架构对于解决"重复建设、缺乏统一视图"问题的作用。但尴尬的是,相较于业务架构的贴近业务、应用架构的直观可见,数据架构的作用一直不温不火——它并未立刻带来治理的春天。

这一阶段的启示: 最重要的一次思想跃迁——数据可以被视为产品来管理。一旦接受"数据是制造出来的"这一理念,质量问题就不再是"人的疏忽",而是"工序的缺陷"。这是后来所有数据质量方法论的基础。

03 1990s:两位"之父"的争论,持续了六年

90年代,数据治理史上最著名的一场争论爆发了,主角是两位重量级人物。

一位是Bill Inmon,"数据仓库之父"。 1990年,他提出了"数据仓库"的概念,次年出版了《建立数据仓库》,给出了那个被引用最多的定义:数据仓库是**"面向主题的、集成的、随时间变化的、非易变的、用于支持管理决策的数据集合"**。

Inmon主张自上而下:先构建一个全企业统一、高度规范化(3NF)的企业级数据仓库,作为唯一的权威真相源,再从中派生出各个部门的数据集市。

另一位是Ralph Kimball,"商业智能之父"。 1996年,他出版了《数据仓库工具箱》,主张自下而上:先挑选一个具体的业务流程(如零售销售、客服、Web分析),构建一个维度模型(星型模型),一个事实表周围挂载多个维度表,交付给业务部门,收集反馈,再推进下一个。多个数据集市之间通过"总线架构"和一致性维度串联起来。

有趣的是,两人在生活中其实是好朋友。但他们的支持者争论不休,一度激烈到几乎要动手。 争论的实质是两种世界观的碰撞:

Inmon追求的是全局一致性——先苦后甜,代价是项目周期长、投入大。连Inmon自己也承认,他的方法成本高昂、短期内难以看到ROI,历史上纯粹的Inmon路线项目往往需要18到36个月才能交付第一张面向分析师的报表。

Kimball追求的是快速见效——几周内就能交付第一个星型模型,代价是"集成债":如果一致性维度管理不善,不同时期、不同团队构建的数据集市会各自漂移,最终变成一堆难以调和的孤岛。

这场争论最终如何平息?Inmon推出了CIF(企业信息工厂),将Kimball的数据集市也纳入其中,形成了一个更大的框架——相当于"我承认你的方法有用,但需要挂在我的体系里"。争论这才逐渐平息。

这一阶段的启示: 这场争论从未真正结束。今天的数据湖仓之争、Data Mesh与集中治理之争、"先建标准还是先出报表"之争,本质上依然是Inmon与Kimball的那个问题:是先有全局一致,还是先有局部可用? 2026年主流的Medallion架构(Bronze原始层 / Silver治理层 / Gold消费层),本质上就是一次官方和解——Silver层是Inmon的,Gold层是Kimball的。

04 2002:命名的那一刻,源自一家保险公司

讲了这么久"数据管理",那么"数据治理"(Data Governance)这个词,到底何时第一次正式登场?

学术界的共识是2002年。

那一年,三位美国学者——Hugh J. Watson、Celia Fuller、Thilini Ariyachandra——发表了一篇论文,题目是《Data warehouse governance: best practices at Blue Cross and Blue Shield of North Carolina》(数据仓库治理:北卡罗来纳蓝十字蓝盾公司的最佳实践)。

请注意这个题目:它并非纯理论文章,而是一家医疗保险公司的真实项目复盘。三位作者将那个项目中如何组织团队、如何协调利益相关方、如何系统化推进质量管理的过程记录了下来——这是历史上第一次公开、系统地记录"数据治理"的实践。

论文中有一句非常关键的话:"数据仓库治理是IT治理的一个子集。" 它要求建立恰当的组织结构和流程,协调所有利益相关方的投入,覆盖基础设施、使用和项目管理三个层面。

这句话揭示了数据治理的出身——它源自IT治理。因此,早期数据治理框架的核心要素与IT治理高度一致:组织(谁负责)、战略(为何做)、架构(管什么)、流程(何时管)。

换句话说,数据治理从诞生的第一天起,重点就不是"技术如何实现",而是"权责如何分配"。这一基因一直保留到今天——你去翻阅DAMA的定义,核心依然是"决策权"和"问责制"。

这一阶段的启示: 许多人今天将数据治理做成"IT部门的技术项目",实际上是走偏了。它的原生定义是管理问题:谁说了算、谁负责、谁来协调。技术只是执行手段。

05 2003-2017:从一句话,演变成一套体系

概念有了,接下来需要有人将其转化为可执行的框架。

2003年,Gwen Thomas创立了国际数据治理研究所(DGI)。 他们做了一件关键的事:将"治理"这个抽象概念,拆解为12个步骤——调整政策与控制、建立决策权、建立问责制、执行管理、管理变革、定义数据、解决问题、指定数据质量要求、将治理融入技术、利益相关方关怀、沟通、衡量和报告价值。

同时,他们给出了十大关键组件:使命愿景、目标与治理指标、规则定义与政策、决策权、问责制、控制、数据利益相关方、数据治理办公室、数据治理委员会,以及主动/被动/持续的治理流程。

如果你今天要为一家企业搭建数据治理体系,这套框架依然是最实用的骨架之一。

另一条线是DAMA。2009年,DAMA国际发布了《DAMA数据管理知识体系指南》(DAMA-DMBOK)第一版,确立了"一个核心 + 九大职能"的结构:以数据治理为核心,向外展开数据质量管理、数据架构管理、数据开发、数据操作管理、数据安全管理、参考与主数据管理、数据仓库与商务智能管理、文档与内容管理、元数据管理九大领域。

DMBOK的意义在于:它第一次将数据治理从"几篇文章"变成了"一本书、一套标准、一个可以考试认证的体系"。从此,数据治理有了共同的词汇表,从业者终于可以跨企业对话。2017年,DMBOK推出第二版,进一步扩展到11个知识域。

顺便提一句,今天许多人考取的CDGA/CDGP认证,考的就是这套体系。

06 中国路径:从一个人、一批银行,到一部国家标准

中国的故事,有其独特的节奏。

先说一个人:高复先教授。 1986年,他将西方的信息工程(IE)和数据管理理论引入国内。当时国内企业信息化刚刚起步,他看到的问题是:花费巨资建设通信网络、自动化系统、管理信息系统,却因为缺乏高层统筹规划和统一信息标准,设计、生产、经营管理的数据无法流通共享,形成了大量信息孤岛。

他提出的方法是"信息资源规划(IRP)"——先进行总体数据规划,建立数据管理基础标准,再考虑系统集成。2002年,他出版专著《信息资源规划——信息化建设基础工程》,逐步形成了适合中国国情的IRP体系。数据元素、数据标准、元数据这些从业者今天耳熟能详的概念,在国内的普及,高老师功不可没。称他为中国数据治理的先行者之一,并不为过。

再说第一批实践者:银行。 2005年前后,早期数据仓库建设在中国兴起,最先行动的是商业银行和通信运营商——它们数据量大、系统多、监管严。商业银行通过与埃森哲、IBM等国外IT咨询公司合作,最早将数据治理的概念在中国落地。

这里有一个细节特别值得玩味:中国移动的数据仓库建设始于2004年,而元数据管理规范直到2006年才正式推出。 先建设、后治理,几乎是那个年代的标配。这一阶段的数据治理基本上由IT部门牵头,业务部门很少参与。

然后是监管推动。 2010年底,巴塞尔委员会发布了《第三版巴塞尔协议》,对银行的数据使用、积累和管理提出了要求;银监会于2011年推出了《银行监管统计数据质量管理良好标准》,从组织机构及人员、制度建设、系统保障和数据标准、数据质量监控检查与评价、数据报送应用和存储五大方面提出了要求。数据治理第一次变成了"不做到就要受罚"的事情。

再然后是标准国际化。 2015年,在巴西圣保罗召开的ISO/IEC SC40/WG1第三次工作组会议上,中国代表团提出了《数据治理白皮书》国际标准研究报告,核心观点"数据是一种资产"以及数据治理模型获得了与会者认同,并由中国参与编辑ISO 38505。

2018年是中国的标准之年。 6月7日,国家市场监督管理总局和国家标准化管理委员会发布公告,批准《信息技术服务治理 第5部分:数据治理规范》(GB/T 34960.5-2018),自2019年1月1日起实施。同年,银保监会发布了《银行业金融机构数据治理指引》,标志着数据治理在中国银行业进入全面实践时代。

2020年,中国软件评测中心副主任吴志刚在DAMA中国数据管理峰会上提出:2020年是数据治理元年。 这一提法得到了业界广泛认同。同年,《华为数据之道》出版,将一家中国头部企业的治理实践摆到了台面上。

这一阶段的启示: 中国的数据治理,走的是一条**"先建后治、由点到面、监管驱动"的道路。从IT部门的独角戏,到监管强制要求,再到国家标准落地——每一步都不是技术自然演进的结果,而是被问题倒逼出来的**。

07 2020-2026:从"治理数据",到"释放数据"

2020年之后,故事的性质发生了变化。

此前所有的数据治理,核心动词都是"管"——管住质量、管住口径、管住安全。而从2020年起,数据在中国被正式赋予了另一重身份。

2020年4月,《中共中央 国务院关于构建更加完善的要素市场化配置体制机制的意见》发布,首次将数据作为一种新型生产要素写入中央文件。中国成为世界上首个将数据列为生产要素的国家。

2022年12月,《关于构建数据基础制度更好发挥数据要素作用的意见》("数据二十条")发布,系统构建了数据产权、流通交易、收益分配、安全治理的"四梁八柱",并提出了数据产权"三权分置"。

2023年是最密集的一年。 3月,机构改革方案提出组建国家数据局;10月25日,国家数据局正式挂牌;8月21日,财政部印发《企业数据资源相关会计处理暂行规定》,自2024年1月1日起施行——数据资产从此可以正式入表。这一年,入表企业数量从一季度的18家扩张到三季度的56家。

2024年1月,《"数据要素×"三年行动计划(2024—2026年)》发布,聚焦12个重点场景推动数据价值释放。同年10月,《国家数据标准体系建设指南》印发,明确到2026年基本建成国家数据标准体系。12月,《关于促进数据产业高质量发展的指导意见》首次明确提出"高质量数据集"概念,将其作为人工智能与实体经济融合的核心载体。

**2025年2月,**国家数据局组织27个部委召开高质量数据集建设工作启动会,标志着高质量数据集建设进入系统化、规模化推进阶段。

数字最能说明变化的速度。据国家数据局在2026年4月第九届数字中国建设峰会上发布的《全国数据资源调查报告(2025年)》:2025年中国数据生产总量达52.26 ZB,同比增长27.28%,约占全球的27.44%;全国高质量数据集数量超过11万个、规模超908 PB,同比分别增长61.13%和142.58%。全国日均词元(Token)调用量,从2025年初的超万亿增长到年末的100万亿。

**2026年,**全国数据工作会议将这一年定为"数据要素价值释放年",政府工作报告明确提出"深化数据资源开发利用,健全数据要素基础制度,建设高质量数据集"。

这一阶段的启示: 数据治理的动词,从"管"变成了"放"。而且是必须先治理好,才能放心地放——高质量数据集这个词本身就是证据:它既要求"高质量"(治理的结果),又要求"数据集"(可交付、可交易、可消费的形态)。

08 一条暗线:驱动力变迁,才是这段历史的真相

将六十年串联起来,你会发现一条清晰的暗线:

[图片:驱动力变迁图]

看清楚了吗?每一次驱动力变化,"数据治理"这个词的含义就被重写一次。

而今天这一轮,可能是六十年里最剧烈的一次。因为历史上所有的消费者都是人——人遇到歧义会停下来问一句,人能脑补上下文,人看到"华东区"会猜到是按注册地划分。但AI不会。它遇到歧义不会停下来,它会猜测一个答案继续运行,而且运行得非常有说服力。

这就是为什么"高质量数据集"在2024年底被首次提出、2025年就成了27个部委联合推进的国家行动——因为消费数据的人,第一次不是人了。

写在最后

回望这六十年,你会发现一个有些残酷的事实:数据治理从来没有因为"提前规划得好"而被重视过,它每一次走上台前,都是因为出了问题——因为穿孔卡堆满了整整一层楼,因为抽取的数据织成了蜘蛛网,因为两个部门的报表对不上,因为监管要处罚,因为AI开始一本正经地胡说八道。

所以,它本质上不是一门"建设学科",而是一门**"补课学科"**。每一次技术往前跑一步,它就在后面补一步。

但换个角度看,这也正是它的价值所在:每一次补课,都是在为下一轮技术跃迁铺路。 今天你把标准、语义、契约补上,明天AI才敢在你家的数据上运行。六十年过去了,这件事的本质没有变——先定义清楚,才谈得上用得好。

本文来自微信公众号"数据驱动智能"(ID:Data_0101),作者:王建峰,36氪经授权发布。

近期热门

清晰数据,更精彩的赛事体验

掌握赛事脉搏,从开云体育网址开始——专业解读每一场对决