MySQL、Teradata和PySpark代码互转表和数据转换代码
免费下载
更多数据库资源请访问 美河学习在线 www.eimhe.com
MySQL、Teradata 和 PySpark 代码互转表和代码
代码描
述
MySQL
Teradata SQL
PySpark
删除表
DROP TABLE [`<架构名称>`.] `<表名>`;
DROP TABLE [<架构名称>.]<表名>;
import subprocess
subprocess.check_call('rm -r <存储路径>/<表
名>'),shell=True)
创建表
并插入
查询数
据
CREATE TABLE [`<架构名称>`.] `<表名>` (
<字段名 1> <类型 1>[ AUTO_INCREMENT],
<字段名 2> <类型 2>[ AUTO_INCREMENT],
<字段名 3> <类型 3>[ AUTO_INCREMENT],
…
<字段名 n> <类型 3n>[ AUTO_INCREMENT] [,
PRIMARY KEY (<主键字段名>)][,
UNIQUE (<唯一值字段名 1>, <唯一值字段名 2>,<
唯一值字段名 3>,…,<唯一值字段名 m>)]
) [ENGINE={InnoDB|MYISAM|BDB} DEFAULT
CHARSET={utf8|gbk}];
INSERT INTO [`<架构名称>`.]`<表名>`
<SELECT 查询>;
或者
CREATE TABLE [`<架构名称>`.] `<表名>` <SELECT
查询>;
CREATE [MULTISET] TABLE [<架构名称>.]<表
名>[,
<参数 1>,
<参数 2>,
<参数 3>,
…
<参数 n>]
(
<字段名 1> <类型 1> [CHARACTER SET <字
符集 1> NOT CASESPECIFIC],
<字段名 2> <类型 2> [CHARACTER SET <字符集
2> NOT CASESPECIFIC],
<字段名 3> <类型 3> [CHARACTER SET <字符集
3> NOT CASESPECIFIC],
…
<字段名 n> <类型 n> [CHARACTER SET <字符集
3> NOT CASESPECIFIC]
)
[UNIQUE] [PRIMARY INDEX (<主键字段名>)];
INSERT INTO [<架构名称>.]<表名>
<SELECT 查询>;
或者
CREATE [MULTISET] TABLE [<架构名称>.]<表
名>[,
<参数 1>,
<参数 2>,
<参数 3>,
…
<参数 n>]
(
<字段名 1> <类型 1> [CHARACTER SET <字
符集 1> NOT CASESPECIFIC],
<字段名 2> <类型 2> [CHARACTER SET <字符集
2> NOT CASESPECIFIC],
<字段名 3> <类型 3> [CHARACTER SET <字符集
3> NOT CASESPECIFIC],
…
<字段名 n> <类型 3> [CHARACTER SET <字符集
3> NOT CASESPECIFIC]
)
[UNIQUE] [PRIMARY INDEX (<主键字段名>)]
AS
<SELECT 查询>;
<变量> = spark.sql("""
<查询语句>
""")
<变量>.write.parquet(
path='<存储路径>/<表名>',
mode="overwrite")
插入少
量数据
INSERT INTO [`<架构名称>`.]`<表名>` (<字段名
1>,<字段名 2>,<字段名 3>,...,<字段名 n>) VALUES
(<值 1>,<值 2>,<值 3>,…,<值 n>);
INSERT INTO [`<架构名称>`.]`<表名>` (<字段名
1>,<字段名 2>,<字段名 3>,...,<字段名 n>) VALUES
(<值 n+1>,<值 n+2>,<值 n+3>,…,<值 2n>);
INSERT INTO [<架构名称>.]<表名>
(<字段名 1>,<字段名 2>,<字段名 3>,...,<字段
名 n>)
VALUES
(<值 1>,<值 2>,<值 3>,…,<值 n>);
INSERT INTO [<架构名称>.]<表名>
spark.createDataFrame([(<值 1>,<值 2>,<值 3>,...,<值
n>),(<值 n+1>,<值 n+2>,<值 n+3>,...,<值 2n>),(<值
2n+1>,<值 2n+2>,<值 2n+3>,...,<值 3n>),...,(<值
mn+1>,<值 mn+2>,<值 mn+3>,...,<值(m+1)n>)],['<字段
名 1>','<字段名 2>','<字段名 3>',...,'<字段名
n>']).write.parquet(
path='<存储路径>/<表名>'),
更多数据库资源请访问 美河学习在线 www.eimhe.com
INSERT INTO [`<架构名称>`.]`<表名>` (<字段名
1>,<字段名 2>,<字段名 3>,...,<字段名 n>) VALUES
(<值 2n+1>,<值 2n+2>,<值 2n+3>,…,<值 3n>);
…
INSERT INTO [`<架构名称>`.]`<表名>` (<字段名
1>,<字段名 2>,<字段名 3>,...,<字段名 n>) VALUES
(<值 mn+1>,<值 mn+2>,<值 mn+3>,…,<值
(m+1)n >);
(<字段名 1>,<字段名 2>,<字段名 3>,...,<字段
名 n>)
VALUES
(<值 n+1>,<值 n+2>,<值 n+3>,…,<值 2n>);
INSERT INTO <表名>
(<字段名 1>,<字段名 2>,<字段名 3>,...,<字段
名 n>)
VALUES
(<值 2n+1>,<值 2n+2>,<值 2n+3>,…,<值 3n>);
…
INSERT INTO [<架构名称>.]<表名>
(<字段名 1>,<字段名 2>,<字段名 3>,...,<字段
名 n>)
VALUES
(<值 mn+1>,<值 mn+2>,<值 mn+3>,…,<值
(m+1)n>);
mode="overwrite")
带表连
接的查
询
SELECT <字段列表>
FROM [`<架构名称 1>`.]`<表名 1>`
{INNER/LEFT/RIGHT/FULL} JOIN [`<架构名称
2>`.]`<维度表名 1>`
ON <表连接条件 1>
{INNER/LEFT/RIGHT/FULL} JOIN [`<架构名称
3>`.]`<度量表名 1>`
…
ON <表连接条件 2>
[WHERE <筛选条件>];
SELECT <字段列表>
FROM [<架构名称 1>.]<表名 1>
{INNER/LEFT/RIGHT/FULL} JOIN [<架构名称
2>.]<维度表名 1>
ON <表连接条件 1>
{INNER/LEFT/RIGHT/FULL} JOIN [<架构名称
3>.]<度量表名 1>
…
ON <表连接条件 2>
[WHERE <筛选条件>];
<变量 1> = spark.sql("""
SELECT * FROM [<架构名称 1>.]<表名 1>
""")
<变量 2> = spark.sql("""
SELECT * FROM [<架构名称 2>.]<维度表名 1>
""").cache()
<变量 3> = spark.sql("""
SELECT * FROM [<架构名称 3>.]<度量表名 1>
""")
…
<变量 4> = spark.sql("""
SELECT <字段列表>
FROM <变量 1>
JOIN <变量 2> ON <表连接条件 1>
{INNER/LEFT/RIGHT/FULL} JOIN <变量 3> ON
<表连接条件 2>
[WHERE <筛选条件>]""")
带表连
接更新
表记录
CREATE TABLE [`<架构名称 1>`.] `<表名 1>` (
<字段名 1> <类型 1>[ AUTO_INCREMENT],
<字段名 2> <类型 2>[ AUTO_INCREMENT],
<字段名 3> <类型 3>[ AUTO_INCREMENT],
…
<字段名 n> <类型 3n>[ AUTO_INCREMENT] [,
PRIMARY KEY (<主键字段名>)][,
UNIQUE (<唯一值字段名 1>, <唯一值字段名 2>,<
唯一值字段名 3>,…,<唯一值字段名 m>)]
) [ENGINE={InnoDB|MYISAM|BDB} DEFAULT
CHARSET={utf8|gbk}];
INSERT INTO [`<架构名称 1>`.] `<表名 1>`
SELECT <主键字段> ,
<值不变字段 1>,
<值不变字段 2>,
<值不变字段 3>,
…
<值不变字段 n>,
<值改变字段 1>,
<值改变字段 1>,
<值改变字段 2>,
…
<值改变字段 n>,
FROM [`<架构名称 2>`.]`<表名 2>`
WHERE <筛选条件>;
UPDATE <别名 1>
FROM [`<架构名称 1>`.]`<表名 1>` AS <别名
1>,[`<架构名称 3>`.`<表名 3>`] SET
<值改变字段 1>=<改变值 1>
<值改变字段 2>=<改变值 2>
CREATE [MULTISET] TABLE [<架构名称 1>.]<表
名 1>[,
<参数 1>,
<参数 2>,
<参数 3>,
…
<参数 n>]
(
<字段名 1> <类型 1> [CHARACTER SET <字
符集 1> NOT CASESPECIFIC],
<字段名 2> <类型 2> [CHARACTER SET <字符集
2> NOT CASESPECIFIC],
<字段名 3> <类型 3> [CHARACTER SET <字符集
3> NOT CASESPECIFIC],
…
<字段名 n> <类型 3> [CHARACTER SET <字符集
3> NOT CASESPECIFIC]
)
[UNIQUE] [PRIMARY INDEX (<主键字段名>)];
INSERT INTO [<架构名称 1>.]<表名 1>
SELECT <主键字段> ,
<值不变字段 1>,
<值不变字段 2>,
<值不变字段 3>,
…
<值不变字段 n>,
<值改变字段 1>,
<值改变字段 1>,
<值改变字段 2>,
…
<值改变字段 n>,
FROM [<架构名称 2>.]<表名 2>
<变量 1> = spark.sql("""
SELECT * FROM <架构名称 2>.<表名 2>
""")
<变量 2> = spark.sql("""
SELECT * FROM <架构名称 3>.<表名 3>
""")
<变量 3> = spark.sql("""
SELECT <别名 1>.<主键字段>,
<值不变字段 1>,
<值不变字段 2>,
<值不变字段 3>,
…
<值不变字段 n>,
if(<别名 2>.<主键字段> is null, <别名
1>.<值改变字段 1>, <改变值 1>) AS <值改变字段
1>,
if(<别名 2>.<主键字段> is null, <别名 1>.<值改
变字段 2>, <改变值 2>) AS <值改变字段 2>,
if(<别名 2>.<主键字段> is null, <别名 1>.<值改
变字段 3>, <改变值 3>) AS <值改变字段 3>,
…
if(<别名 2>.<主键字段> is null, <别名 1>.<值改
变字段 n>, <改变值 n>) AS <值改变字段 n>
FROM <变量 1> AS <别名 1>
INNER JOIN <变量 2> AS <别名 2>
ON <表连接条件>
[WHERE <筛选条件>]""")
<变量 3>.write.parquet(
path='<存储路径>/<表名 1>',
mode="overwrite")
of 17
免费下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论