PowerBILV1数据清洗课程全图.pdf
5墨值下载
商
业
智
能
分
析
培
高
获取单个Excel文件
|
LV1数据清洗
获取单个Csv文件
二、文件夹批量获取相同字段内容的Excel/Csv文件
文件夹批量获取数据
第一步
第二步
存放相同字段的清单
文件夹中的Excel/Csv文件的列标题必须一致。
第三步
三、更多种类的数据获取
效
的
使
用
巧
全
功
略
每天一点点
PowerBI
简约派
关注公众号
PowerBI简约派
获取原图
训
计
划
进步亿点点
简约而不简单
简约，让BI更简单
技
方式1
方式2
方式3
第一步
第二步
选择对应Excel工作簿
第三步
选择对应需要加载的Sheet工作表
可使用√按钮完成多选Sheet同时加载的效果
并点击确定，完成加载
第一步
第二步
第三步
方式1
方式2
选择对应Csv工作簿
核实Csv转换格式，避免出现乱码
点击确定完成加载
M语言内容中有解决Csv乱
码的办法
更
主页点击Excel文件图标
主页点击获取数据-Excel工作簿
Power Query编辑器-新建源-Excel工作簿
主页点击获取数据-文本/CSV
Power Query编辑器-新建源-文本/CSV
主页点击获取数据-更多-文件夹
也可点击Power Query中的新建源-更多-文件夹
Power
BI
一、获取单个Excel/Csv的方法
作用
价值
数据处理和清洗：
2.
数据连接和整合：
1.
数据质量：
2.
数据整合：
1.
数据转换和格式化：
3.
性能提升：
3.
Power Query 可以使你轻松连接多个数据源，并将它
们整合到一个数据模型中。
例如，你可以从 Excel 工作簿、CSV 文件、数据库、
Web API 等多个数据源中提取数据，然后对其进行清
洗和整合。
从而在数据建模中进行关联，完成多维分析，可连接
和整合收集到的各种类型数据。
Power Query 可以帮助你进行数据的处理和清洗。
例如去除重复行、替换值、填充空值、拆分行、合并表
格等操作，在 Power BI 中，这些操作可以通过
Power Query 的直观界面和一系列内置函数来实现。
Power Query 提供了许多强大的转换和格式化数
据的功能。
例如分组、聚合、排序、透视表格等操作。这些功
能可以让你在 Power BI 中更轻松地对数据进行处
理，以便可视化和探索数据。
在现代商业环境中，数据通常存在于多个来源，并且可能以
不同的格式和结构存储。
Power Query 可以帮助数据专业人员从不同的数据源中提取
数据，创建单个视图，以使数据更易于分析和使用。
数据质量是任何数据分析和决策的重要基础。
Power Query 可以帮助数据专业人士，自动化数据清洗和质
量保证，通过提高数据准确性和完整性，保证数据的质量。
传统的数据分析方法可能需要占用大量的时间和资源，而
Power Query 旨在提高分析的速度和效率。
Power Query 提供了一系列性能优化措施，如过滤器应用、
列删除等方法，能够最大限度地减少处理时间，提高数据分
析的效率。
1 获取数据
前
言
数据清洗的作用与价值
2 基础数据清洗技巧-20招
点击合并并转换数据
选择示例文件以及Sheet文件
点击确定完成批量获取，并自动完成多表批量合并
前35种数据获取类型，可点击获取数据-更多查看所有类型
第一行
作为标题
使用场景：部分Excel表格导入后，Excel中的第一行并未成为标
题，而是第一行内容，这时需要用到该功能。尤其是手工Excel，常
常出现这类问题。
其他内容：与第一行作为标题作为对比的，还有将标题作为第一行，
可将标题退回到第一行内容进行整理。
筛选 使用场景：将表格加载到PQ中后，每一列都将自动生成筛选按钮，
筛选方式大致类似Excel中筛选。
其他内容：PQ中的筛选无法取消筛选，只能进行删除步骤。
删除列
使用场景：在删除多余列内容时，使用该功能，与Excel不同的是
无法撤销删除列与行，只能删除步骤。
其他内容：PQ中提供了删除其他列，即仅保留选定的列，其他列
全部删除。
删除
重复项
使用场景：在删除多余行内容时，使用该功能，同时可删除重复项，
类似于Excel中的删除重复项操作。
其他内容：以单列作为重复判断依据的话，选择单列即可，若以多列
作为重复判断依据的话，可用Ctrl/shift多选列进行删除。
删除
空白项
使用场景：在删除多余行内容时，使用该功能，可根据列中的空白内
容进行删除。
修改数据
类型/
检测数据
类型
使用场景：可以对PQ中的列内容进行批量格式修改。
其他内容：PQ默认打开自动修改未结构化的列类型，在部分
情况将出现数据格式错误。可取消自动检测未结构化的列数
据，再配合检测数据类型进行手动检测。
替换值
使用场景：类似Excel中批量替换值，但需按照列进行统一替换，或
者所有列统一替换。
移动列
使用场景：与Excel的剪切+粘贴不同，PQ中可直接鼠标左键单击列
后不放开鼠标直接拖动到对应位置。
其他内容：还可在移动单个列后，修改M公式中的文字顺序，
即可完成快速的多列移动。
拆分列
使用场景：拆分列分为按分隔符和按字符数两种方式，与Excel中的
分列内容类似，但不同之处会自动删除原列新增两个拆分列内容。
其他内容：拆分列还可以进行同一条件多次拆分，比如
2023-4-18，按“-”重复拆分，将直接拆分为三列新数据：
2023、4、18，效率比Excel的分列更快。
重命名列
使用场景：双击即可对列标题进行重命名。
其他内容：多列重命名可在一条M公式中完成，故建议在所有
清洗步骤完成后，最后进行统一的重命名列，可优化PQ运行
效率
扫码获取视频教程
日期
使用场景：PQ中提供多种日期快速修改功能，年、月、季度、周、
天等，每种又提供了不同的选项。
其他内容：在不会使用数据建模日期表的情况下，可使用重
复列+日期转换功能，快速将日期分别转换为年、月、日，用
于后续做日期数据分析。
转置转置
使用场景：转置功能可快速将行列进行调换，转置前需评估行数，否
则转置无法正常运行，或运行效率较慢。
其他内容：转置+向下填充可快速对不规则的列标题进行结构
化调整，一般对手工采用此办法清洗，详见视频教程。
2 基础数据清洗技巧-20招
对行计数
使用场景：可在PQ中快速对数据量进行统计。
分组依据
使用场景：分组依据类似Excel中透视表仅以行标签统计数据，可用
于快速统计分类汇总数据。
其他内容：可在高级选项中同时添加多个分组计算值。
复制引用
使用场景：在PQ查询上点击右键，即可选择复制/引用。在需要新
增相同表，而不想重头导入制作时可使用。
其他内容：复制为复制一份相同的新查询，新查询与旧查询之间没
有关联；引用为复制一份相同的新查询，但新查询是在旧查询的基
础上进行关联，即旧查询新增步骤后，新查询也会发生变化。使用
前需评估后需求再确定如何操作，避免后续模型出现问题。
启用加载
启用刷新
使用场景：在PQ数据加载时，可启用/关闭加载或启用/关闭刷
新。主要用于优化模型运行效率时使用，
其他内容：若未启用加载，查询将不会加载PowerBI数据模型中，
即后续建模将无法使用到该查询；若未启用刷新，该查询将无法通
过PowerBI主页的刷新按钮进行一键刷新。
未启用加载
未启用刷新
3 高级数据清洗技巧-6招
追加查询
使用场景：在获取数据的时候，使用文件夹可批量做多表合并，若
是已经单独导入至PQ中后，需要使用追加查询完成多表合并。
其他内容：追加查询可在原表上进行追加，也可以当前表生成新查
询后，再做追加。
合并查询
使用场景：学会合并查询，数据处理的效率将极大的提升。因为合
并查询是超级“VLOOKUP”。只要是需要用到VLOOKUP的，都
可以用合并查询，同时合并查询可一次性完成多列的查找匹配。重
点关注红色圈内的字段类似VLOOKUP的第一个参数，蓝色圈内的
字段类似VLOOKUP的第二个参数起始列，合并查询无需设置查找
第几列，可同时查找多列内容。
其他内容：合并查询除了替代VLOOKUP以外，还可以通过其他5
种不同的联接种类进行不同的设置，以及还可以通过设置模糊匹配
选项，设置不同模糊等级的方式进行查询，详细内容可查看视频教
程。
逆透视
使用场景：在获取到的数据属于二维表时，即可使用逆透视功能将
二维表转换为一维表。逆透视提供逆透视选定列，以及逆透视其他
列，根据逆透视的列数进行选择。
其他内容：二维表是既有行也有列，类似于透视表通过行列标签进
行筛选数据；一维表只有列，每一列为独立的数据内容，一般为数
据库与清单内容。在PowerBI的底层运作中是以列式数据库运作，
所以所有加载到模型中的数据必须为一维表。逆透视是PowerBI不
可替代的功能。
填充
使用场景：在很多手工表格中，会有合并单元格，尤其是行列标题
经常出现合并单元格，数据加载到PQ中后，合并单元格只会保留第
一个数据，其他全部为null，这是就要用到填充。
其他内容：填充分为向下填充，将根据当前列靠前的内容向下进行
填充，以及向上填充，根据当前列靠前的内容向上进行填充，同时
填充会以已有数据作为填充节点不会产生填充冲突。
3 高级数据清洗技巧-6招
条件列
使用场景：可使用条件列功能在PQ中设置IF判断公式，无需写任何公式
即可完成，且可快捷完成多个IF判断的嵌套制作。
自定义列
使用场景：可通过自定义列完成简单的加减乘除，同时可将字段直接引
用进行计算，即成本率=产品成本/销售金额，选定对应列即可完成。
其他内容：条件列的返回内容除了固定的文本内容外，还可以设定为返
回其他列的内容。同时条件列的判断条件中有包含选项，可通过模糊查
询，快速完成IF判断。
其他内容：自定义列也是快速完成M公式写作的途径。
4 进阶数据清洗技巧-3招
新建参数
创建
自定义
函数
调用
自定义
函数
5 M语言入门数据清洗技巧
认识高级
编辑器
常用
M语言
公式
M语言
自学建议
6 数据清洗实战案例
快速清洗
学生
成绩表
使用场景：在M语言公式带入动态参数时可用新建参数，可根据用户需求
动态选择内容后，自动刷新结果，同时可配合自定义函数，生成一键动态
的批量公式，快速完成复杂工作。在将PowerBI文件发送给别人时，快速
输入文件路径时非常有用。
其他内容：新建参数多以文本格式展示，在M语言公式中直接以&符号完
成链接即可。
使用步骤：
其他内容：下一节的调用自定义函数需要先完成创建才能进行。
先对导入查询的完成新建参数的关联，若未关联新
建参数，无法生成自定义函数。
1.
点击查询后，选择创建函数。
2.
输入函数名称，并确认函数的参数内容。
3.
生成自定义函数，在输入框输入参数内容，并点击
调用。
4.
生成新表，完成重命名即可。
5.
使用场景：可快速生成多参数的表格，并且可以输入不同的参数，快速
完成不同内容表格的筛选与清洗。
使用步骤：
导入查询，使用基础数据清洗、高级数据清洗完成所
有数据清洗。
1.
在查询空白处点击邮件，选择新建参数，进入新建参
数界面。
2.
根据参数需求，设置对应内容，一般设置为文本格式。
3.
找到需要加入参数的步骤，打开M公式编辑框，将需
要替换成参数的部分内容使用&符号完成链接。
4.
使用步骤：
使用场景：对于重复复杂的清洗工作，可用新建参数+创建自定义函数
+调用自定义函数的方式快速完成，类似于录制宏并调用宏的操作。
其他内容：第6章的通过高德API获取经纬度数据，就是此办法的基础
上完成的。
完成新建参数、创建自定义函数，并准备一张包含
相关参数内容的表。
1.
在新增的参数表上调用自定义函数。
2.
根据参数内容选择对应列/输入文字参数。
3.
点击添加自定义函数的Table列，该列中每一行包
含一个表，点击展开按钮，即可完成批量清单和合
并。
4.
使用场景：在添加新建参数的时候，以及修改对应代码的时候，可以用高级
编辑器快速查看全部代码内容，完成快速修改。
其他内容：主要注意M公式的语法结构，一个步骤都是一段代码，都会以
步骤名称 = 具体公式内容为结构展示，结尾以”in“去表达返回哪个步
骤，即最后返回的内容并不一定是最后一步的结果。
使用场景：Excel.Workbook与Csv.Document这两个M公式多用于多表批
量合并，主要作用是减少按钮合并文件时自动生成的转换文件，加快后期运
行效率。
其他内容：推荐长期使用PowerBI的用户掌握这两个常用的M公式，对后
期模型的运行效率有极大的帮助。
特别关注：若是使用Csv.Document后出现乱码，请使用：
Csv.Document([Content], [Encoding=936])
使用步骤：
使用场景：该方式包含所有M公式，可通过文字内容、带入参数的方式，在
PQ中学习M公式。
新建空白查询，在编辑框内输入= #shared
1.
在生成列表后，点击转换为表
2.
根据表内容，筛选需要的M公式，这里以
Excel.Workbook为例。
3.
筛选后点击function即可调用函数，输入对应参数即
可调用M公式。
4.
案例价值：该案例是二维表转换为一维表的典型案例，在各行业工作中都非
常实用。案例中使用到了填充、添加自定义列、删除列、重排序、删除行、
转置、提升标题、重命名、逆透视、按分隔符拆分列。
详细操作扫描二维码获取视频教程。
6 数据清洗实战案例
全国人口
数据清洗
案例
案例价值：该案例是多个非结构化表格快速完成数据清洗的典型案例，通过
案例的实操，可以快速学习对应重复的非结构化表格，如何通过一步步按钮
完成数据清洗，并在设置新建参数、创建自定义函数和调用自定义函数的方
式，完成批量数据清洗。
详细操作扫描二维码获取视频教程。
通过API
高德获取
经纬度
案例
案例价值：该案例是通过高德API服务，快速获取经纬度数据的内容，该案例
主着重是理解通过Power Query的web服务，设置动态API链接后，完成批量
的数据获取与合并。
详细操作扫描二维码获取视频教程。
结
尾
PowerBI简约派全产品介绍
LV1
数据清洗
现已完成更新，核心内容为Power Query数据清
洗技巧。
LV2
数据建模
现已完成更新，核心内容为关系建模、DAX公式
讲解。
LV3
数据
可视化
现已完成更新，核心内容为可视化基础/高级/进阶
操作以及一套可视化模板
LV4
可视化
模板
预计5月上线，全年更新10套可视化模板
LV5
数据分析
专项案例
预计7月上线，重点讲解业务数据分析逻辑以及如
何用PowerBI实现
LV6
Excel BI
预计8月上线，内容为Excel配合PowerBI快速完
成双模型的高效技巧。
LV7
企业经营
模型
预计年底上线，内容为讲解企业经营全景图以及背
后的价值。
LV8
PowerBI
Pro
预计24年上半年上线，将联合企业部署专家完成课
程录制。
均已上线小鹅通
知识圈
全免费鹅圈子，所有用户均可加入知识圈，在知识
圈内获取免费的PowerBI模板与素材。
PowerBI
AI助手
加入会员可获取PowerBI AI助手长期使用权限
7天入门
训练营
预计5月上线首期训练营，内容包含入门PowerBI
视频教程、已上线LV1-LV8的纸质版一图文档、7
天免费PowerBI AI助手、一份免费可视化模板。
of 1
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论