把几个大的文件的内容读到数据库中。
查看了手册open方法,首先想到了seek()方法,和fread()方法读到一段内容来执行插入。
大概说一下方法吧。
一 取数据
取一段内容,以回车(\n)分隔内容为数据,批量插入数据库
如要读取文件内容如下:
abcd
efgh
ijkl
mnop
按13个字符取内容
root_path = os.path.abspath('./') + os.sep
f = open(root_path + 'file/pass.txt', 'r')
f.seek(0)
line = f.read(13) #从文件中读取一段内容
输出如下:(回车[\n]占一个字符)
abcd
efgh
ijk
转换为数组后
L = ['abcd', 'efgh', 'ijk']
此时插入数据库内容为
['abcd', 'efgh']
将最后一条数据缓存 t = L.pop()
下一次循环得到数组为
L = ['l', 'mnop']
此时将第一条数据和缓存的数据合并
L[0] = t + L[0]
并缓存数组最后一条数据
二 插入数据
插入数据,使用批量插入
最开始的时候我拼好sql语句如:INSERT INTO XX(`a`) VALUES(1),(2),(3)...
然后调用mysql-python的方法
conn = mysql.connector.connect(host='127.0.0.1', database='xxx', user='xxx', password='xxx')
conn.cursor().execute(sql)
结果执行了大概2万多就报Lost connection to MySQL server错误了。后来我看mysql-python里面的代码原来批量插入数据有封装好的方法是
conn.cursor().execute(sql)
data = [
('Jane','555-001'),
('Joe', '555-001'),
('John', '555-003')
]
stmt = "INSERT INTO employees (name, phone) VALUES (%s,%s)"
cursor.executemany(stmt, data)
注意以上两点后,上代码:
#encoding:utf-8
'''
Created on 2013-1-27
@author: JinHanJiang
'''
'''
create table
CREATE TABLE `Passwords` (
`id` bigint(20) unsigned NOT NULL AUTO_INCREMENT COMMENT 'id主键',
`pass` varchar(64) NOT NULL COMMENT '密码',
`md5` varchar(32) DEFAULT NULL COMMENT '32位md5值',
PRIMARY KEY (`id`),
UNIQUE KEY `pass` (`pass`)
) ENGINE=MyISAM DEFAULT CHARSET=utf8 COMMENT='密码'
'''
import os
import re
import time
from datetime import datetime
import hashlib
import mysql.connector
import random
root_path = os.path.abspath('./') + os.sep
f = open(root_path + 'file/f1.txt', 'r')
fields = ['pass', 'md5']
def writeDB(params):
try:
fields = '(`' + '`, `'.join(params['fields']) + '`)'
stmt = "INSERT IGNORE INTO Passwords"+fields+" VALUES (%s,%s)"
conn = mysql.connector.connect(host='127.0.0.1', database='password', user='root', password='admin')
conn.cursor().executemany(stmt, params['datas'])
conn.cursor().close()
conn.close()
except Exception as e:
print e
pos = 0
buff = 1024 * 1024
last = ''
dstart = datetime.now()
print "Program Start At: " + dstart.strftime('%Y-%m-%d %H:%M:%S')
while 1:
f.seek(pos)
line = f.read(buff) #从文件中读取一段内容
datas = []
if not line:
if '' is not last:
data = (last, hashlib.md5(last).hexdigest().upper())
datas.append(data)
params = {'fields': fields, 'datas': datas}
writeDB(params)
break; #如果内容为空跳出循环
pos += buff #计算取下一段内容长度
buff = pos
lines = re.split("\n", line) #以回车(\n)分隔内容到数组中
lines[0] = str(last) + str(lines[0])
last = lines.pop() #将数组最后一条数据剔除,并存到last变量中,到下次循环再处理
for lin in lines:
lin = lin.rstrip() #去除内容末尾的回车字符
if not lin:
continue
data = (lin, hashlib.md5(lin).hexdigest().upper())
datas.append(data) #封装内容
if len(datas) > 0:
params = {'fields': fields, 'datas': datas}
writeDB(params)
time.sleep(random.random()) #让Cpu随机休息0 <= n < 1.0 s
f.close()
dend = datetime.now()
print "Program End At:%s Time span %s"%(dend.strftime('%Y-%m-%d %H:%M:%S'), dend - dstart);
分享到:
相关推荐
今天小编就为大家分享一篇使用python读取csv文件快速插入数据库的实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
使用Python连接KingBase(数据库)的库
今天小编就为大家分享一篇python读取word文档,插入mysql数据库的示例代码,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
该脚本的开发背景源于琐碎的需要手动记录的学籍信息采集工作。具体功能主要是通过Python脚本语言读取Excel中的数据然后将其存入Access数据库中。
主要介绍了Python实现读取TXT文件数据并存进内置数据库SQLite3的方法,涉及Python针对txt文件的读取及sqlite3数据库的创建、插入、查询等相关操作技巧,需要的朋友可以参考下
python文件读写并使用mysql批量插入示例分享(python操作mysql)python3 pandas 读取MySQL数据和插入的实例Python实现生成随机数据插入mysql数据库的方法Python MySQLdb 使用utf-8 编码插入中文数据问题python读取word...
python将数据插入数据库的方法: 首先读入数据并建立数据库连接; 然后创建数据库; 接着执行插入数据语句,迭代读取每行数据; 最后关闭数据库连接即可。 比如现在我们要将如下Excel数据表格插入到MySQL数据库...
主要介绍了python读取json文件并将数据插入到mongodb的方法,实例分析了Python操作json及mongodb数据库的技巧,需要的朋友可以参考下
这个工具是之前写了做数据稽核用的工具,甲方发过来了几十个Excel表格,每个表格都有一百多万数据,必须导入数据库才能作分析,所以写了这个脚本用来导数据,做报表的可参考,改一下脚本中的数据库字段就能用了
主要介绍了Python实现读取SQLServer数据并插入到MongoDB数据库的方法,涉及Python同时进行SQLServer与MongoDB数据库的连接、查询、读取、写入等相关操作实现技巧,需要的朋友可以参考下
最近工作中遇到一个需求,需要使用Python解析excel文件并存入sqlite,本文就实现的过程做个总结分享给大家,文中包括数据库设计、建立数据库、Python解析excel文件、Python读取文件名并解析和将解析的数据存储入库,...
主要介绍了python文件读写并使用mysql批量插入示例,可以学习到python操作mysql数据库的方法,需要的朋友可以参考下
数据库的名字叫WawaDB,是用python实现的。由此可见python是灰常强大啊! 简介 记录日志的需求一般是这样的: 只追加,不修改,写入按时间顺序写入; 大量写,少量读,查询一般查询一个时间段的数据; MongoDB的...
用Python来编写网站,必须要能够通过python操作数据库,所谓操作数据库,就是通过python实现对数据的连接,以及对记录、字段的各种操作。上一讲提到的那种操作方式,是看官直接通过交互模式来操作数据库。 安装...
明天再补充吧…… 这个是python3下使用loadtxt的一个小栗子 看看就好
6. Python操作数据库:包括连接数据库、查询数据、插入数据、更新数据、删除数据等内容。 7. Python操作网络:包括爬虫、网络请求、网络数据解析等内容。 8. Python操作系统:包括文件操作、进程管理、线程管理等...
python 操作数据库 mysql oracle cx_oracle to_sql 操作数据库 读取 插入 更新