大佬给的建议__如何快速处理excel

openpyxl库操作excel的时候，单个表的数据量大一些处理速度还能接受，如果涉及多个表甚至多个excel文件的时候速度会很慢，还是建议用pandas来处理，xlwings就更不推荐了，速度更慢。

Python 操作excel的坑----真实行和列

我们用openpyxl 操作execel 文件,有时间我们的execel 文件其实已经被改动删除了不少数据.而我们在操作excle的行和列时.就会出现行和列不对的情况!如果数据量小,那影响不大,但是如果数据量非常大,几千条,上万条,实战几十万条数据,那如果不能得到准确的行数据和列数据,你在for循环操作数据时间,就会出现极大的偏差!导致你结果无法使用!

如图所示:10行2列数据

如果我其中的一列一行清空,你看一下是什么情况呢?

如果没有错,那结果应该是1列9行--可是结果却是如下

没有错,你没有看错,还是2列10行

问题出现在什么地方?

原来exce l 在你清空的时候 ,还是会默认行和列是依然存在的,除非你是这样删除

否则行和列依然是之前没有删除之前的,哪怕清空,行和列也依然是原数据的行和列

那么我们数据清空了,如何获取真实的行和列呢?

为了简化我把核心方法写出来:

Python得到excle得到真实的行

# 得到真实的行
def get_real_max_row(sheet):
i=sheet.max_row
real_max_row = 0
while i > 0:
# print('i='+str(i))
# print('sheet[i]'+str(sheet[i]))
# for y in sheet[i]:
# print(y)
# print(str(y.value))
row_dict = {i.value for i in sheet[i]}
#得到每一行的值,如果为空,那么,i.value就是None
#因为添加的数据字段所以,在每一行中,for循环找到所有的列,
#看每一列是否都是一个None如果都是,那么这一行就是空行
#最大行减1 循环下去就会得到最终的行
#print('row_dict'+str(sheet[i]))
if row_dict == {None}:
i = i-1
else:
real_max_row = i
break
return real_max_row

Python得到excle得到真实的列

# 得到真实的列,中间如果有空列也算一列
def get_real_max_colum(sheet):
y=sheet.max_column
real_max_colum = 0
while y > 0:
#循环行得到列的数据字典,如果列都为空就是{None} 否则就是空列
row_dict = {sheet.cell(i, y).value for i in range(1,sheet.max_row+1)}
#print(row_dict)
if row_dict == {None}:
y = y-1
else:
real_max_colum=y
break
return real_max_colum

Python得到excle得到真实行列的源代码

import openpyxl
import os
import sys
#得到绝对路径_也就是pyhon文件所在的路径-这样后期打包成exe执行文件
#不会找不到路径
parent = os.path.dirname(os.path.realpath(sys.argv[0]))
#拼接路径
filenames = os.listdir(parent)
# 得到真实的行
def get_real_max_row(sheet):
i=sheet.max_row
real_max_row = 0
while i > 0:
# print('i='+str(i))
# print('sheet[i]'+str(sheet[i]))
# for y in sheet[i]:
# print(y)
# print(str(y.value))
row_dict = {i.value for i in sheet[i]}
#得到每一行的值,如果为空,那么,i.value就是None
#因为添加的数据字段所以,在每一行中,for循环找到所有的列,
#看每一列是否都是一个None如果都是,那么这一行就是空行
#最大行减1 循环下去就会得到最终的行
#print('row_dict'+str(sheet[i]))
if row_dict == {None}:
i = i-1
else:
real_max_row = i
break
return real_max_row
# 得到真实的列,中间如果有空列也算一列
def get_real_max_colum(sheet):
y=sheet.max_column
real_max_colum = 0
while y > 0:
#循环行得到列的数据字典,如果列都为空就是{None} 否则就是空列
row_dict = {sheet.cell(i, y).value for i in range(1,sheet.max_row+1)}
#print(row_dict)
if row_dict == {None}:
y = y-1
else:
real_max_colum=y
break
return real_max_colum
if __name__ == '__main__':
for filename in filenames:
if filename.endswith('.xlsx'):
wookbook = openpyxl.load_workbook(parent + '\\' + filename)
active_sheet = wookbook.active
print("最大行=" + str(active_sheet.max_row))
print('最大列=' + str(active_sheet.max_column))
print('get_real_max_row=' + str(get_real_max_row(active_sheet)))
print('get_real_max_colum=' + str(get_real_max_colum(active_sheet)))
欢迎关注和转发!希望对你有帮助