MySQL在大量数据批量写入数据库时,直接使用程序语言和SQL写入往往很耗时间,其中有一种方案就是使用MySql Load data infile导入文件的形式导入数据,这样可大大缩短数据导入时间。如何使用Python连接MySQL数据库,并进行增删改查操作呢?如何将大批量数据导入数据库的情况,又该如何使用Python进行大数据的高效导入呢?以下通过Python将大批量数据导入到MySQL中。
环境介绍
Python版本:Python3.6
MySQL版本:5.6.44
Python命令操作
安装PyMySQL库
# 通过pip命令安装pip install pymysql
SQL基本语法
下面要用SQL的表创建、查询、数据插入等SQL语言的基本语句。
查看数据库:SHOW DATABASES;创建数据库:CREATE DATEBASE 数据库名称;使用数据库:USE 数据库名称;查看数据表:SHOW TABLES;创建数据表:CREATE TABLE 表名称(列名1 (数据类型1),列名2 (数据类型2));插入数据:INSERT INTO 表名称(列名1,列名2) VALUES(数据1,数据2);查看数据:SELECT * FROM 表名称;更新数据:UPDATE 表名称 SET 列名1=新数据1,列名2=新数据2 WHERE 某列=某数据;
Python连接数据库
# 首先导入PyMySQL库import pymysql# 连接数据库,创建连接对象connection# 连接对象作用是:连接数据库、发送数据库信息、处理回滚操作(查询中断时,数据库回到最初状态)、创建新的光标对象connection = pymysql.connect(host = 'localhost' #host属性user = 'root' #用户名password = '******' #此处填登录数据库的密码db = 'mysql' #数据库名)
Python增删改查操作
# 创建光标对象,一个连接可以有很多光标,一个光标跟踪一种数据状态。# 光标对象作用是:、创建、删除、写入、查询等等cur = connection.cursor()# 查看有哪些数据库,通过cur.fetchall()获取查询所有结果print(cur.fetchall())# 打印出所有数据库:(('information_schema',),('weijing',),('mysql',),('performance_schema',),('test',))
在weijing库中创建表:
# 使用数据库weijingcur.execute('use weijing')# 在weijing数据库里创建表student,有name列和age列cur.execute('CREATE TABLE student(name VARCHAR(20),age TINYINT(3))')
在weiijngtable表中插入一条数据:
sql = 'INSERT INTO weijingtable (name,age) VALUES (%s,%s)'cur.execute(sql,('XiaoMing',23))
查看weijingtable表数据:
cur.execute('SELECT * FROM weijingtable')print(cur.fetchone())# 打印输出为:(‘XiaoMing’, 23)
执行完成后要记得关闭光标和连接:
#关闭连接对象,否则会导致连接泄漏,消耗数据库资源connection.close()#关闭光标cur.close()
导入大批量数据文件
通过SQL命令mysql、insert、source方法导入,适合数据量小的CSV文件。
通过load data方法导入,速度快,适合大数据文件,也是本文的重点。
具体操作如下:
用python连接mysql数据库;
基于CSV文件表格字段创建表;
使用load data方法导入CSV文件内容。
MySQL load data语法:
LOAD DATA LOCAL INFILE 'csv_file_path' INTO TABLE table_name FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES# 指文件绝对路径csv_file_path# 指表名称table_name# 指以逗号分隔FIELDS TERMINATED BY ','# 指换行LINES TERMINATED BY '\\r\\n'# 指跳过第一行,因为第一行是表的字段名IGNORE 1 LINES
用Python通过load data 命令导入大批量数据到MySQL中如下:
# 导入pymysql方法import pymysql# 连接数据库config = {'host':'','port':3306,'user':'username','passwd':'password','charset':'utf8mb4','local_infile':1}conn = pymysql.connect(**config)cur = conn.cursor()# load_csv函数,参数分别为csv文件路径,表名称,数据库名称def load_csv(csv_file_path,table_name,database='weijing'):# 打开csv文件file = open(csv_file_path, 'r',encoding='utf-8')# 读取csv文件第一行字段名,创建表reader = file.readline()b = reader.split(',')colum = ''for a in b:colum = colum + a + ' varchar(255),'colum = colum[:-1]# 编写sql,create_sql负责创建表,data_sql负责导入数据create_sql = 'create table if not exists ' + table_name + ' ' + '(' + colum + ')' + ' DEFAULT CHARSET=utf8'data_sql = "LOAD DATA LOCAL INFILE '%s' INTO TABLE %s FIELDS TERMINATED BY ',' LINES TERMINATED BY '\\r\\n' IGNORE 1 LINES" % (csv_filename,table_name)#使用数据库cur.execute('use %s' % database)#设置编码格式cur.execute('SET NAMES utf8;')cur.execute('SET character_set_connection=utf8;')#执行create_sql,创建表cur.execute(create_sql)#执行data_sql,导入数据cur.execute(data_sql)conn.commit()#关闭连接conn.close()cur.close()
文章转载自潍鲸,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。




