一、结构化数据建模
数据治理经过这么多年的发展，结构化数据治理方法论比较成熟了。
数据仓库的核心概念由 Bill Inmon（比尔·恩门） 在1990年代提出，他在著作《Building the Data Warehouse》中定义了数据仓库的四大特性（面向主题、集成性、非易失性、时变性），并强调分层设计的重要性。同时，Ralph Kimball（拉尔夫·金博尔） 提出的维度建模理论（如星型模型、雪花模型）进一步推动了分层架构的实践。
时间线：1990年代理论奠基 → 2000年后随大数据技术发展细化分层 → 2010年后形成标准化模型（如ODS-DWD-DWS-ADS）。
反过来想一下，为什么结构化数据会是这样设计，背后的原因：
1、数据处理的复杂性，分层建设。
2、大数据/数仓场景主要应用于 BI、dashboard 这些。这些场景的特点抽象起来都是获取各种汇聚的结构数据或者探查数据。
二、多模态数据处理一般的流程
非结构化数据没有结构化数据这么完善的处理流程，相比结构化，非结构化数据数据多样，应用也比较多样。针对文本、图像、音频、视频等非结构化数据设计一般会经过下面的处理和应用：
1. 数据采集与接入
- 来源：从多源异构渠道获取数据，包括日志文件（如服务器日志）、用户上传内容（如社交媒体图片/视频）、传感器数据（如物联网设备音视频）、第三方API（如开放平台文本数据）等。
- 技术工具：
- 使用 Kafka 或 Flink 实现实时数据流接入
- 通过 爬虫工具（如Scrapy）或 SDK埋点 采集网页/移动端数据
2. 数据预处理与转换
- 清洗与标准化：
- 去除无效数据（如重复图片、空白音频）和噪声（如文本中的乱码、图像中的噪点）
- 格式统一化（如将不同编码的文本转为UTF-8、视频分辨率标准化）
- 结构化转换：
- 自然语言处理（NLP）：提取文本关键词、实体识别、情感分析（如使用BERT模型）
- 计算机视觉（CV）：图像特征提取（如OpenCV）、目标检测（如YOLO模型）
- 音频处理：语音转文本（如Whisper模型）、声纹特征提取
3. 数据存储与管理
- 存储方案：
- 分布式文件系统（如HDFS、Amazon S3）存储原始非结构化数据
- NoSQL数据库（如MongoDB）存储半结构化数据（如JSON格式的文本元数据）
- 向量数据库（如Milvus）存储特征向量（如图像/音频的嵌入向量）
- 元数据管理：记录数据来源、处理历史、质量标签等，支持后续检索与溯源
4. 数据分析与建模
- 特征工程：将非结构化数据转化为可用于分析的数值特征（如文本TF-IDF值、图像卷积特征）
- 机器学习/深度学习：
- 分类（如图片内容识别）、聚类（如用户评论主题分组）
- 生成式模型（如用Stable Diffusion生成图像描述）
- 多模态融合：结合文本、图像等多源数据构建联合分析模型（如跨模态检索）
5. 数据应用与服务
- 可视化：通过BI工具（如Tableau）展示分析结果（如词云、热力图）
- API服务：封装处理后的数据为接口，供推荐系统、智能客服等业务调用
- 实时应用：流式处理场景（如直播内容审核、实时语音翻译）
三、多模态数据建模可能的方向
虽然多模态数据治理还没有一个业界的规范。但是如果从大模型使用角度出发，未来可能会抽象成rawdata->dataset->本体。
原始数据经过治理，变成高质量数据集，给模型训练用。如果进一步给应用使用就需要更高层次的抽象。
我们把 AI 应用总结成几个层次，层次越高，需要的数据治理的复杂度越高。
1、对话
2、诊断
3、决策
对话和诊断更需要治理成大模型能理解的数据即可，需要的是高质量数据集。决策需要整理成本体，以及和业务关联起来，让 AI 可以辅助决策，提升决策效率。
