系统数据迁移常见问题及案例分析.pdf
10墨值下载
第
４６
卷
第
６A
期
２０１９
年
６
月
计 算 机 科 学
COMPUTER SCIENCE
Vol．４６No．６A
June２０１９
陆叶杉
(
１９９２－
),
女
,
硕士生
,
工程师
,
主要研究方向为网络信息安全技术
,
EＧmail
:
２７９７６８３８９０＠
qq
．com
(
通信作者
).
系统数据迁移常见问题及案例分析
陆叶杉
(
广西大学计算机与电子信息学院
南宁
５３０００１
)
摘
要
社会发展日趋进步
,
技术框架日新月异
,
日常系统以 新换旧 已 经成为 趋 势
,
新系统 代 替旧系 统 势必会 涉 及 到
新旧系统的数据对接问题
.
在某市某组织的系统建设中
,
项目需 要 将旧系 统 的所有 业 务数据 迁 移到新 系 统
.
由 于 新
旧系统使用的表空间
、
表结构及表字段都不一致
,
为了保证数据的一致性与完整性
、
迁移前后的数据没有漏误
、
不迁入
脏数据来影响新系统的运行
,
在项目中如何在新旧系统之间 进 行数据 迁 移成为 了 重要课 题
.
为了解 决 数据迁 移 的 问
题
,
文中设计了一套基于
ETL
工具的数据迁移流程
,
并通过组合和串联得到了完整的数据迁移流程线
,
从而实 现 了数
据迁移
,
完成了新旧系统的数据对接
.
文中阐述了以下几个数据在迁移中出现的问题及其解决方法
:
１
)
数据流 转 中出
现的常见错误及解决方法
;
２
)
数据类型不一致的数据迁移问题及解决方法
;
３
)
数据迁移目标数据库字段长度不 一致的
问题及解决方法
;
４
)
数据迁移完成后
,
原数据出现新变动将 如 何重新 调 整迁移 测 量的问 题 及解决 方 法
.
基 于 此
,
文 中
对数据迁移过程中出现的问题与解决这些问题的方法进行了简要的分析与总结
.
关键词
数据迁移
,
ETL
工具
,
SQL
语句
,
数据流转
中图法分类号
TP３１１
文献标识码
A
CommonIssuesandCaseAnal
y
sisofS
y
stem DataMi
g
ration
LU YeＧshan
(
SchoolofCom
p
uterandElectronicInformation
,
Guan
g
xiUniversit
y
,
Nannin
g
５３０００１
,
China
)
Abstract Withthedevelo
p
mentofsociet
y
andthera
p
idchan
g
eoftechnicalframework
,
ithasbecomeatrendforthe
dail
y
s
y
stemtore
p
lacetheolds
y
stemwiththenewone．There
p
lacementoftheolds
y
stemwiththenews
y
stemwillinＧ
evitabl
y
involvethedatadockin
g
betweentheolds
y
stemandthenews
y
stem．Inthes
y
stemconstructionofanor
g
anizaＧ
tioninacit
y
,
the
p
ro
j
ectneedstomi
g
rateallbusinessdataoftheolds
y
stemtothenews
y
stem．DuetotheinconsistenＧ
c
y
oftables
p
ace
,
tablestructureandtablefieldbetweentheoldandnews
y
stems
,
inordertoensuretheconsistenc
y
and
inte
g
rit
y
ofdata
,
ensurethatdatabeforeandaftermi
g
rationisnotmissin
g
,
andensurethatdirt
y
datadoesnotmi
g
rate
toaffecttheo
p
erationofthenews
y
stem
,
howtomi
g
ratedatabetweentheoldandnews
y
stemshasbecomeato
pp
riorＧ
it
y
inthe
p
ro
j
ect．Inordertosolvethe
p
roblemofdatami
g
ration
,
this
p
a
p
erdesi
g
nsadatami
g
ration
p
rocessbasedon
ETLtools
,
andobtainsacom
p
letedatami
g
ration
p
rocesslinethrou
g
hcombinationandseriesconnection
,
thusrealizin
g
datami
g
rationtocom
p
letedatadockin
g
betweenoldandnews
y
stems．This
p
a
p
erelaboratesthefollowin
gp
roblems
andsolutionsfordatami
g
ration
:
１
)
Commonerrorsandsolutionsindataflow．２
)
Datami
g
ration
p
roblemsandsolutions
withinconsistentdatat
yp
es．３
)
Inconsistentlen
g
thoffieldintar
g
etdatabaseofdatami
g
rationandsolutions．４
)
Howto
reＧchan
g
etheori
g
inaldatawhendatami
g
rationiscom
p
letedProblemsandsolutionsofad
j
ustin
g
mi
g
ration measureＧ
ment．Basedonthis
,
this
p
a
p
ermakesabriefanal
y
sisandsummar
y
ofthe
p
roblemsinthe
p
rocessofdatami
g
rationand
thecountermeasurestosolvethese
p
roblems．
Ke
y
words Datami
g
ration
,
ETLtools
,
SQLstatement
,
Datatransfer
近年来
,
随着计算机行业的兴起
,
以及信息化时代计算机
的普及
,
现代生活中出现了许多方便人们工作生活的系统
,
计
算机软件的更新速度也发生着急剧变化
.
数据的产生方式 多
样
,
数据规模呈膨胀式发展
[
１
]
.
软件系统更新换代
,
基础 数据
不可 避 免地需 要 进行数 据 迁移
,
在数据 迁 移过程 中 为了确 保
系统 间 的数据 一 致
,
除了保 证 数据的 总 数一致 外 还需要 保 证
数据字段一致
、
日期格式一致
、
基本类型一致等
.
由于系 统 中
的数 据 是实时 变 更的
,
在进行 数 据迁移 时 必然会 遇 到因原 始
数据变化使得迁移后数据受到影响的问题
.
大多数的新旧系统都存在平台不同
、
数据源异构等问 题
,
当前 环 境下数 据 产生和 存 储方式 的 变化
,
加剧了 数 据不一 致
的程 度
[
２
]
,
为 了 解 决 系 统 中 的 数 据 问 题
,
ETL
应 运 而 生
.
ETL
是数 据 抽 取
、
转 换
、
装 载
(
Extract
,
Transform
,
Loadin
g
)
的英文简称
,
使用此种方法对分散的数据进行处理
,
是将原 操
作原数据迁移 到 新 数 据 库 中 时 必 不 可 少 的 操 作
.
ETL
的 抽
取可 看 作是数 据 的输入 过 程
,
其主要 用 于解决 数 据源异 构 问
题
.
数据加载是 一 个 数 据 的 输 出 过 程
[
３
]
.
ETL
的 数 据 处 理
效率的高低
、
转换质量的好坏
,
直接影响着数据的建设和数据
结果的有效性
[
４
]
.
通过 系 列 的 操 作 对 原 系 统 中 存 在 的 错 误
、
缺失
、
冗余数据进行监测后加以改正
,
再以目标数据的规则进
行合并
、
转换的操作
,
使得数据具有良好的正确性
、
完整 性
、
一
致性和可用性
[
５
]
.
ETL
在数据迁移中的主要流转过程如图
１
所示
.
图
１ ETL
数据迁移的主要流转过程
数据迁移的原数据主要来源于原使用系统中的基础 数据
、
业务数据
,
目标数据库主要用于新建立的系统数据
.
通常新建
立的新系统中是没有数据的
,
若是重新录入数据或让老 用户重
新注册数据
,
必然会因数 据缺 失导 致用 户体验 差
,
从而响 新 系
统的使用和普及
,
所以新旧系统的数据迁移变得必不可少
.
本文从应用角度阐述 了 数 据 迁 移 的 意 义 与 价 值
,
并 通 过
具体案例分析解决了数据迁移过程中出现的问题
.
案例结 果
证明
,
通过
ETL
数 据 处 理 工 具
,
可 以 对 新 旧系统 的 数 据 进 行
完整一致的迁移
,
从而对新系统的应用
、
用户粘度的保持
、
用户
体验的提高
、
新系统的推 广有 促进 作用
,
本案例 中 对系统 数 据
迁移采取的解决方法对未来的数据迁移方向研究具有启发性
.
１ ETLＧKettle
概述
数据导入前的准备工 作 主 要 包 括
:
建 立 好 原 系 统 与 目 标
系统字段的对应 关 系
,
安 装
ETL
工 具
,
进 行 数 据 备 份
.
建 立
好原 系 统与目 标 系统字 段 的对应 关 系
,
明确新 旧 系统业 务 上
的字段的含义
,
可直接使用工具来导入数据
.
(
１
)
ETLＧKettle
概述
ETLＧKettle
用于帮 助 企 业 制 定 数 据
ETL
解 决 方 案
,
数
据抽取高效稳定
,
Kettle
实 现
ETL
的 核 心 为
:
转 换
(
TransfoＧ
mation
)
和作业
(
Job
)
[
６
]
.
转 换 主 要 用 于 对 基 础 数 据 的 转 换
,
转换可由多个 执 行 步 骤
(
ste
p
)
串 联 或 者 并 联 组 成
,
每 个 步 骤
实现对数据流
(
recordstreams
)
进 行 自 定 义 的 转 换 操 作
,
步 骤
与步骤之间的通信方式为节点连接
(
ho
p
),
以保证数据流在各
个步骤之间进 行 数 据 的 交 互
.
Kettle
的
ETL
活 动 中 主 要 包
括
S
p
oon
,
Kitchen
,
Pan
,
Carte
四 大 组 件
.
案 例 中 主 要 使 用 的
是
S
p
oon
,
通过创 建 转 换
Transfomation
的 数 据 集 成 环 境
,
制
定整个
ETL
解决方案
,
工作流程由用户根据业务需求进 行设
计
,
转换按顺序执行
,
完成对整个工作流程的控制
.
(
２
)
ETLＧKettle
安装配置
ETL
工具在使用前的安装配置将 在 下文介绍
,
这 里 使 用
的是
kettle
的
SPOON
工 具
,
采 用 的 是 相 对 基 础 简 单 的 操 作
方式
,
主要使用表输 入
、
表 输 出
、
数 据 库 查 询
、
增 加 常 量
、
值 映
射等主要转换工具
.
配 置 好 数 据 库 的 数 据 源
,
安 装 配 置
ketＧ
tle
的
SPOON
:
官 网 下 载 需 要 安 装 的
kettle
版 本
;
本 地 安 装
JDK
;
配置
Java
环境变量
.
配置 完成后 直 接启动
kettle
,
WinＧ
dows
执行
s
p
oon．bat
,
具 体 路 径 为
:
Kettle\dataＧinte
g
ration\
S
p
oon．bat
;
Linux
执行
s
p
oon．sh
,
具体路 径 为
Kettle
/
dataＧinＧ
te
g
ration
/
s
p
oon．sh
.
２
数据迁移的设计方案
(
１
)
数据的备份
原始数据的数据备份 是 必 要 的
,
数 据 备 份 是 为 了 解 决 在
数据 迁移过 程 中 出现的 数 据缺失
、
数据错 误 导致数 据 无法恢
复的问题
,
因此在 进 行 数 据 迁 移 前 先 对 原 始 数 据 进 行 备 份
.
首先拟定好某一时刻作为数据备份时间节点
,
这个时间节点中
的基础数据是相对稳定的
,
确定好时间点后对数据进行备份
.
(
２
)
数据的预处理
———
清洗脏数据
数据的清洗和数据的 转 换 是 解 决 数 据 质 量 问 题 的 重 点
.
数据清洗的目的是解决
“
脏数据
(
dirt
y
data
)”
问题
[
７
]
.
原始数
据会因误操作
、
用户不熟悉系统等原因录入许多脏数据
,
在将
数据导入到新系统前
,
我 们 可 以 首 先 清 理 一 部 分 脏 数 据
.
数
据的清洗建立在数据质量标准之上
,
为了得到高质量的数据
,
清洗 与 提炼过 程 必须满 足 几个条 件
:
检测并 除 去数据 中 所有
明显的错误和 不 一 致
,
完 成 相 似 重 复 记 录 的 识 别 和 剔 除
[
８
]
.
如果数据不在给定的界限之内
,
则 将 数 据 清 除
[
９
]
.
这 里 我 们
不使 用 原数据 的 数据库 进 行清理
,
而是对 上 一步备 份 好的数
据进行处理
,
这样既不影响原系统的使用
,
又可大大降低由 于
数据有误导致原系统不可用的风险
.
(
３
)
使用
ETLＧKettle
进行数据迁移
为了满足数据的完整性
、
准确性
、
安全性以及系统运行效
率等要求
,
利用专业的
ETL
工 具 处 理 数 据
,
为 数 据 质 量 奠 定
基础
[
１０
]
.
数据迁移的 首 要 任 务 是 明 确 数 据 的 迁 移 来 源 与 数
据迁移目标
,
通常情况下数据存放的数据源可能不一致
,
需要
根据数据迁移情况对数据源进行配置
.
数 据 转 换 是
ETL
过
程中最为繁琐的部分
,
主要包括数据格式转换
、
数据类型转换
等
[
１１
]
.
抽取可看作是数据的输入 过 程
,
主要用 于 解决数 据 源
的异 构问题
,
即从多 个 数据源中 将 数据抽 取 到统一 的 数据存
储中
;
而数据装载可看作是数据的输出过程
,
即将处理后的 数
据从统一的数 据 存 储 装 载 到 目 标 数 据 仓 库 中
[
１２
]
.
在 明 确 数
据抽 取 来源与 数 据装载 目 标后
,
可直接 设 计转换 过 程进行 转
换
.
由于在准备工作 中 清 理 了 部 分 脏 数 据
,
为 了 保 证 数 据 的
质量
,
在
ETL
数据转换 中 需 要 进 一 步 使 用
SQL
语 句 排 除 脏
数据
,
在表输入中给字段取相应别名
,
再 进 行 字 段 对 应
,
减 少
数据映射的错漏
.
３
数据迁移案例分析及结果
转换的结果分为成功 和 失 败 两 种
,
转 换 成 功 时 用 户 准 确
地得 到 所需要 的 数据
,
转换失 败 时用户 得 不到数 据 或数据 不
完整
[
１３
]
.
本文案例中
,
某市某组织正在 使 用的旧 系 统的基 础
数据主要包括组织部门信息与人员信息
,
数量庞大
,
部门信 息
大约有
１
万多条
,
人员信息大约有
２９
万条
.
在原数据库 系 统
表结构与目标系统表 结 构 的 命 名
、
字 段 名
、
字 段 长 度
、
字 段 内
容并 不 完全一 致 的情况 下
,
需要对 原 系统与 新 系统的 各 个字
段进行对应
,
并且使用
ETL
工具进行数据的重新整理和组 合
装载
.
案例数据如表
１
所列
.
表
１
案例数据
源数据库
(
旧系统
)
数据库名
表空间名
d
j
_
info
d
j
_
info
表名
１．
组织部门信息表
２．
人员信息表
s
y
s
_
or
g
_
inf
s
y
s
_
c
p
m
_
inf
备份数据
c＃＃nnd
j
c＃＃nnd
j
s
y
s
_
or
g
_
inf
_
d
j
s
y
s
_
c
p
m
_
inf
_
d
j
目标数据库
(
新系统
)
c＃＃nnd
j
c＃＃nnd
j
数据库名
表空间名
cc
p
or
g
c
p
minfo
表名
１．
组织部门信息表
２．
人员信息表
〗
３１４
第
６A
期 陆叶杉
:
系统数据迁移常见问题及案例分析
of 5
10墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论