Kettle知识库问答系列之零零后浪

以数据之名 2022-04-27

241

1 、背景摘要

微信公众号、知乎和稀土掘金，主体均为“以数据之名”
欢迎扫码关注，回复「666」加入“以数据之名”微信交流群
本文由以数据之名分享，正所谓“道阻且长，行则将至；行而不辍，未来可期”。不知不觉中，“以数据之名”Kettle解忧消愁系列专题已更新了七篇知识库文章“三十而立、四十不惑、五十而耳知天命、六十而耳顺、七十古稀、八零年代、九零新秀”，叙述了使用Kettle作为ETL开发的常见组件使用说明、业务场景实现逻辑、异常分析及组件性能优化相关内容。今天，我们跟着小编的节奏，继续探讨第八篇Kettle知识库问答系列之零零后浪，做到理念和实践的生动统一。

2 、Kettle 组件探索

2.1 第91问

问：Kettle组件数据库查询和数据库连接，都能实现根据主表关键字查询子表数据，有什么差别呢？

答：我们可以从以下7个角度来对比两者的异同

1、Join模式：

数据库查询：根据查询关键字条件。勾选如下条件则，等同于inner join；不勾选，默认是left join。

数据库连接：有如下条件控制join模式。勾选，等同于left join；不勾选，等同于数据库的inner join。（优）

2、返回记录数：

数据库查询：根据查询关键字条件，只会返回第一条，但多条可通过排序配置控制返回那一条；

数据库连接：有如下条件控制返回条数；0：代表全部返回，其他数字代表返回几条。配合join模式条件组合使用。（优）

3、缓存支持：

数据库查询：缓存使用控制和大小控制；针对于代码表、标签表等小表信息，可采用改配置一次性加载到缓存，减少数据库访问；（优）

数据库连接：不支持。

4、查询异常控制：

数据库查询：查不到的异常控制；查询到多行任务失败；

数据库连接：不支持，一般场景不需要该配置职称。

5、查询数据库次数:

数据库查询：配合缓存，可一次或一条一次；（优）

数据库连接：一条流一次。

6、个性化程度：

数据库查询：更局限，只支持数据流字段固定配置；

数据库连接：更个性化（SQL配置，条件和字段可操作性更高），可以支撑字段或条件使用数据库函数；（优）

7、参数支持：

数据库查询：不支持；

数据库连接：支持全局动态参数使用${param_name}或'${param_name}'。（优）

2.2 第92问

问：Kettle JavaScript脚本组件如何做多字段比较呢？

答：这种场景对于经常使用JS的同学来说，很常见。比如，我们需要根据前面数据流的输入字段比较结果，判断新增一个路由字段的值。

既然要做js比较，那我们先看一张js运算比较参考表：

运算符	描述	比较	返回
==	等于	x == 8	false
x == 5	true
x == "5"	true
===	值相等并且类型相等	x === 5	true
x === "5"	false
!=	不相等	x != 8	true
!==	值不相等或类型不相等	x !== 5	false
x !== "5"	true
x !== 8	true
>	大于	x > 8	false
<	小于	x < 8	true
>=	大于或等于	x >= 8	false
<=	小于或等于	x <= 8	true

综上可知：

==(或!=)

1、先检查需要操作两个字段数据类型是否一致？

一致,进行===比较；不一致,则进行一次类型转换，转换为相同的类型再进行比较

===(或!==)

1、直接比较类型，类型不一致就直接false
2、如果俩和值的引用都是同一个对象或是函数,那么相等,否则不相等.
3、对象使用三个等号是用来比较引用的
4、所以才会有那中地址不变,前后就相等,所以才用特殊的方式来处理数组和对象

下面我们用Kettle Js脚本实际使用案例，来对比js比较的使用策略。

1、测试数据集：

2、异常使用场景

验证方案：

异常输出结果：（字段值可能因为隐式转换，导致结果不符合预期，所以需要先强制转换，再进行比较）

3、正常使用场景

验证方案：

正常输出结果：

3 、Kettle MySQL 探索

3.1 第93问

问：Kettle 9.2+mysql 8.0.19 ，报如下异常Unable to get value ‘Date’from database resultset，index 6 （HOUR_OF_DAY:0 -> 1），如何解决呢？

答：

这种情况一般是输入或输出组件的对应数据库类型的JDBC驱动版本不匹配，比如服务端MySQL 8.0使用了mysql-connector-java-8.0.x.jar的驱动包。推荐使用mysql-connector-java-5.1.48.jar，可以兼容MySQL 5.7和MySQL 8.0

3.2 第94问

问：Kettle SQL实现连续数字或连续递减问题，我们可以以下面的连续数字示例，作为验证场景，看SQL层面如何实现【趣味探讨】？

答：

1、测试表创建：

CREATE TABLE `temp_year` (
  `year` int DEFAULT NULL,
  `flag` smallint DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=UTF8;

2、数据初始化：

insert into temp_year(`year`,flag) value (2010,1),(2011,1),(2012,1),(2013,0)

,(2014,0),(2015,1),(2016,1),(2017,1),(2018,0),(2019,0);

3、查询SQL:

SELECT 
    b.`year`,
    b.flag,
    (SELECT 
            COUNT(1)
        FROM
            temp_year c
        WHERE
            c.`year` <= b.`year`
                AND c.`year` > (SELECT 
                    IFNULL(MAX((d.`year`)), 0)
                FROM
                    temp_year d
                WHERE
                    c.flag != d.flag
                        AND d.`year` <= b.`year`)) num
FROM
    temp_year b

4、查询结果：

select a,b
,ROW_NUMBER() OVER(partition by b,(num-rn) order by num) AS c
from (
select a,b,num
,ROW_NUMBER() OVER(partition by b order by num) AS rn 
from (
select a,b,ROW_NUMBER() over( order by a) as num
from (
select 2010 as a,1 as b from dual union all
select 2011 as a,1 as b from dual union all
select 2013 as a,1 as b from dual union all
select 2014 as a,0 as b from dual union all
select 2016 as a,0 as b from dual union all
select 2018 as a,1 as b from dual union all
select 2019 as a,1 as b from dual union all
select 2020 as a,1 as b from dual union all
select 2021 as a,0 as b from dual union all
select 2022 as a,0 as b from dual 
) t0
) t1 
) t2
order by a

3.3 第95问

问：Kettle SQL 如何实现反向计算某一年某一周的起始日【趣味探讨】？

答：我们以MySQL为例，反向计算某年某一周的周一和周日分别对应日期

SELECT 
    DATE_ADD(DATE_SUB(concat(substr('2022 第02周',1,4),'-01-01'),
            INTERVAL CASE
                WHEN DAYOFWEEK(concat(substr('2022 第02周',1,4),'-01-01')) - 1 = 0 THEN 7
                ELSE DAYOFWEEK(concat(substr('2022 第02周',1,4),'-01-01')) - 1
            END DAY),
        INTERVAL (CONVERT(substr('2022 第02周',7,2), UNSIGNED INTEGER)-1)*7 + 1 DAY) as first_day_of_week,
    DATE_ADD(DATE_SUB(concat(substr('2022 第02周',1,4),'-01-01'),
            INTERVAL CASE
                WHEN DAYOFWEEK(concat(substr('2022 第02周',1,4),'-01-01')) - 1 = 0 THEN 7
                ELSE DAYOFWEEK(concat(substr('2022 第02周',1,4),'-01-01')) - 1
            END DAY),
        INTERVAL (CONVERT(substr('2022 第02周',7,2), UNSIGNED INTEGER)-1)*7 + 7 DAY) as last_day_of_week