Python常用库

ChengZhou 发布于

一、时间操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
复制import datetime
import time
# 获取今天的日期
date.today()
# 获取昨天的日期
(datetime.date.today() + timedelta(days=-1)).strftime("%Y-%m-%d")
# 获取明天的日期
(datetime.date.today() + timedelta(days=1)).strftime("%Y-%m-%d")

# 将字符串转成日期型数据
d1 = datetime.datetime.strptime('2022-01-23', '%Y-%m-%d')
d2 = datetime.date(int(dates[0]), int(dates[1]), int(dates[2]))

# 获取相应日期是周几
import datetime
today = d1.weekday() + 1
print(today)
# 获取相应日期是第几周
week_num = Sunday.isocalendar()[1]
# 年：isocalendar()[0] 第几周：isocalendar()[1] 周几：isocalendar()[1]

# 两个日期相差几天
delta = d1 - d2
print(delta.days)

# 获取上周一日期
(date.today() + timedelta(days=-7 - date.today().weekday())).strftime("%Y-%m-%d")

# 获取某月有多少天
day_num = calendar.monthrange(2022, 2)[1]
# 获取某天是当年第多少天
dates = date.split('-')
targetDay = datetime.date(int(dates[0]), int(dates[1]), int(dates[2]))
dayCount = targetDay - datetime.date(targetDay.year - 1, 12, 31)
dayCount.days

# 获取上个月第一天的日期和最后一天的日期
today = date.today()# 今天的日期
last_day_month = date(today.year, today.month, 1) - timedelta(1)  # 获取上个月最后一天
first_day_month = date(last_day_month.year, last_day_month.month, 1)  # 获取上个月第一天

# 遍历一个时间段
end_date = datetime.strptime(end_date, '%Y-%m-%d').date()
start_date = datetime.strptime(start_date, '%Y-%m-%d').date()

for i in range((end_date - start_date).days + 1):
    download_date = str(start_date + timedelta(days=i))
    
# 遍历两个日期之间包含的所有月份    
def get_month_range(start_day, end_day):
    """
    获取两个时间之间包含的所有月份
    :param start_day:
    :param end_day:
    :return:
    """
    months = (end_day.year - start_day.year) * 12 + end_day.month - start_day.month
    month_range = ['%s-%s' % (start_day.year + mon // 12, mon % 12 + 1)
                   for mon in range(start_day.month - 1, start_day.month + months)]
    return month_range

1、判断某个日期是否再给定时间内

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
复制def judge_time_day(start_time, end_time, target_date):
    """
    判断传入的日期是否再给定区间内,只支持判断日
    :param start_time: 开始时间，字符型
    :param end_time: 结束时间， 字符型
    :param target_date: 目标日期， 字符型
    :return:
    """

    try:
        target_date = str(target_date)[:10].split('-')
        target_date = datetime.date(int(target_date[0]), int(target_date[1]), int(target_date[2]))

        start_time = str(start_time)[:10].split('-')
        start_time = datetime.date(int(start_time[0]), int(start_time[1]), int(start_time[2]))

        end_time = str(end_time)[:10].split('-')
        end_time = datetime.date(int(end_time[0]), int(end_time[1]), int(end_time[2]))

        if start_time <= target_date <= end_time:
            return True
        else:
            return False
    except:
        return False

二、字典操作

1、排序

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
复制# 按key排序
my_dict = {'lilee':25, 'age':24, 'phone':12}
sorted(my_dict.keys())
输出结果为

['age', 'lilee', 'phone']
# 按value排序
d = {'lilee':25, 'wangyan':21, 'liqun':32, 'age':19}
sorted(d.items(), key=lambda item:item[1])
输出结果为

[('age',19),('wangyan',21),('lilee',25),('liqun',32)]
如果需要倒序则

sorted(d.items(), key=lambda item:item[1], reverse=True)
得到的结果就会是

[('liqun',32),('lilee',25),('wangyan',21),('age',19)]

三、文本解析BS4

二、BeautifulSoup

1、简介

python用于解析文本的库，支持第三方的解析器，譬如lxml、html5lib

详情可查看：

官方文档

也可以查看本地文档

2、常用打开方式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
复制# 对已有的字符进行解析
from bs4 import BeautifulSoup
text = '<a><b /></a>'
soup_test = BeautifulSoup(text, 'lxml') # 会补全 html，body和p
print('lxml:')
print(soup_test)
soup_test = BeautifulSoup(text, 'html.parser') # 会补全 p
print('html.parser:')
print(soup_test)
soup_test = BeautifulSoup(text, 'html5')  # 会补全 html，head，body和p
print('html5:')
print(soup_test)
soup_test = BeautifulSoup(text, 'xml')  # 会加xml头，忽略错误的标签
print('xml:')
print(soup_test)
# 对于本地文件需要进行open
soup = BeautifulSoup(open("index.html"), 'lxml')

path = 'd:/Download/mydoc.html'
htmlfile = open(path, 'r', encoding='utf-8')
htmlhandle = htmlfile.read()
soup = BeautifulSoup(htmlhandle, 'lxml')

3、查找与选择

1
2
3
复制# 这里只介绍CSS选择器, find_css为我们的css查找内容
soup.select(find_css)

4、修改属性或内容

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
复制# 修改标签名称和属性
soup = BeautifulSoup('<b class="boldest">Extremely bold</b>')
tag = soup.b
tag.name = "blockquote"
tag['class'] = 'verybold'
tag['id'] = 1
tag
# <blockquote class="verybold" id="1">Extremely bold</blockquote>
del tag['class']
del tag['id']
tag
# <blockquote>Extremely bold</blockquote>

# 替换原本的内容
markup = '<a href="http://example.com/">I linked to <i>example.com</i></a>'
soup = BeautifulSoup(markup)
tag = soup.a
tag.string = "New link text."
tag
# <a href="http://example.com/">New link text.</a>

# 添加文本内容
soup = BeautifulSoup("<a>Foo</a>")
soup.a.append("Bar")
soup
# <html><head></head><body><a>FooBar</a></body></html>
soup.a.contents
# [u'Foo', u'Bar']

# 创建一个新标签
soup = BeautifulSoup("<b></b>")
original_tag = soup.b
new_tag = soup.new_tag("a", href="http://www.example.com")
original_tag.append(new_tag)
original_tag
# <b><a href="http://www.example.com"></a></b>
new_tag.string = "Link text."
original_tag
# <b><a href="http://www.example.com">Link text.</a></b>

四、图片合成与图片生成

一、图片生成

1
2
3
4
5
6
7
8
9
10
11
12
13
复制from PIL import ImageFont
from PIL import Image
from PIL import ImageDraw

#图片颜色
color = [random.randint(0, 255),random.randint(0, 255),random.randint(0, 255)]
# 生成背景图片
image = Image.new('RGB', (1080, 1920), (color[0],color[1],color[2]))
#在图片上留白 x开始位置 y开始位置 x结束位置  y结束位置
image.paste((255, 255, 255), (0, 1290, 1080 , 1410))
# 保存原始版本
image.save("12312.png")

二、图片附加文字

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
复制import cv2
from PIL import ImageFont, ImageDraw, Image
import numpy as np

# 在进行字体颜色设置的时候需要注意，以RGB形式写入颜色时需要反转写入，要以BGR写入数据
# eg: 需要写入（213， 2， 24），则fill = (24, 2, 213)

# 编辑图片路径
bk_img = cv2.imread("background.jpg")
# 设置需要显示的字体
fontpath = "font/simsun.ttc"
# 32为字体大小
font = ImageFont.truetype(fontpath, 32)
img_pil = Image.fromarray(bk_img)
draw = ImageDraw.Draw(img_pil)
# 绘制文字信息
# (100,300/350)为字体的位置，(255,255,255)为白色，(0,0,0)为黑色
draw.text((100, 300),  "Hello World", font = font, fill = (255, 255, 255))
draw.text((100, 350),  "你好", font = font, fill = (255, 255, 255))
bk_img = np.array(img_pil)
 
cv2.imshow("add_text",bk_img)
cv2.waitKey()
# 保存图片路径
cv2.imwrite("add_text.jpg",bk_img)

三、修改图片颜色(包含主体和背景)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
复制from PIL import Image
rgb = (255, 2, 222)
img = Image.open("./internal_data/img/money.png")
for i in range(38):
    for j in range(40):
        try:  # 获取每个点的像素值（getpixel）
            r, g, b, alpha = img.getpixel((i, j))
            if r == 255 and g == 255 and b == 255:  # 如果当前像素点像素是这个，就替换
                img.putpixel((i, j), (rgb[0], rgb[1], rgb[2], alpha))
        except Exception as e:
            continue
img.show()

# 由于这是png文件，需要在设置背景，颜色
x, y = img.size
# 创建一个和原图一样大的图片，背景颜色为(255, 1, 222)
png = Image.new('RGBA', img.size, (255, 1, 222))
# (0, 0, x, y)表示位置信息， 前面的img用于表示原图标，后面的img表示背景颜色
png.paste(img, (0, 0, x, y), img)
png.save('rmb.png')

四、图片叠加

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
复制def Picture_Synthesis(mother_img, son_img, save_img, factor=1, coordinate=None):
    """
    :param factor: 子图缩小倍数
    :param mother_img: 母图
    :param son_img: 子图
    :param save_img: 保存图片名
    :param coordinate: 子图在母图的坐标
    :return:
    """
    # 将图片赋值,方便后面的代码调用
    M_Img = Image.open(mother_img)
    try:
        S_Img = Image.open(son_img)
    except:
        S_Img = son_img

    # 给图片指定色彩显示格式
    M_Img = M_Img.convert("RGBA")  # CMYK/RGBA 转换颜色格式（CMYK用于打印机的色彩，RGBA用于显示器的色彩）

    # 获取图片的尺寸
    M_Img_w, M_Img_h = M_Img.size  # 获取被放图片的大小（母图）
    print("母图尺寸：", M_Img.size)
    S_Img_w, S_Img_h = S_Img.size  # 获取小图的大小（子图）
    print("子图尺寸：", S_Img.size)

    size_w = int(S_Img_w / factor)
    size_h = int(S_Img_h / factor)

    # 防止子图尺寸大于母图
    if S_Img_w > size_w:
        S_Img_w = size_w
    if S_Img_h > size_h:
        S_Img_h = size_h

    # # 重新设置子图的尺寸
    # icon = S_Img.resize((S_Img_w, S_Img_h), Image.ANTIALIAS)
    icon = S_Img.resize((S_Img_w, S_Img_h), Image.ANTIALIAS)
    w = int((M_Img_w - S_Img_w) / 2)
    h = int((M_Img_h - S_Img_h) / 2)

    try:
        if coordinate is None or coordinate == "":
            coordinate = (w, h)
            # 粘贴子图到母图的指定坐标（当前居中）
            M_Img.paste(icon, coordinate, mask=None)
        else:
            print("已经指定坐标")
            # 粘贴子图到母图的指定坐标（当前居中）
            M_Img.paste(icon, coordinate, mask=None)
    except:
        print("坐标指定出错 ")
    # 保存图片
    M_Img.save(save_img)
# 调用
Picture_Synthesis("bottom.png", create_rmb_symbol((0, 0, 0)), "bottom.png", 2, (20, 20))

五、图片放大缩小

1
2
3
4
5
复制# 可进行放大或者缩小
size = (int(maximum_chart.size[0]/2), int(maximum_chart.size[1]/2))
maximum_chart = maximum_chart.resize(size, Image.ANTIALIAS)
maximum_chart.save('./internal_data/img/Preview.jpg')

六、颜色转化

1
2
3
4
5
6
7
复制# RGB 转16进制
'#' + ''.join(i[2:] if len(i[2:]) >= 2 else '0' + i[2:] for i in [hex(x) for x in RGB])

# 颜色转换
bk_img = np.array(self.Base)
bk_img = cv2.cvtColor(bk_img, cv2.COLOR_RGB2BGR)

七、图片拼接

1
2
3
4
5
6
7
8
9
10
11
12
复制# 定义图像拼接函数
def image_compose():
  """本质是先创建一张大图，然后把需要拼接的图片都放上去"""
    to_image = Image.new('RGB', (IMAGE_COLUMN * IMAGE_SIZE, IMAGE_ROW * IMAGE_SIZE))  # 创建一个新图
    # 循环遍历，把每张图片按顺序粘贴到对应位置上
    for y in range(1, IMAGE_ROW + 1):
        for x in range(1, IMAGE_COLUMN + 1):
            from_image = Image.open(IMAGES_PATH + image_names[IMAGE_COLUMN * (y - 1) + x - 1]).resize(
                (IMAGE_SIZE, IMAGE_SIZE), Image.ANTIALIAS)
            to_image.paste(from_image, ((x - 1) * IMAGE_SIZE, (y - 1) * IMAGE_SIZE))
    return to_image.save(IMAGE_SAVE_PATH)  # 保存新图

八、图片裁剪

1
2
3
4
复制# a,b,c,d分别对应起始点和终点的坐标，只能裁剪矩形
croping = img.crop((a,b,c,d))
croping.save('G:/img/img1/'+ str(index) + '.jpg')

五、word转PDF

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
复制# 基于window环境  pip install pywin32
# 需注意生成的是pdf后缀的文件，还有就是需要设置office为默认打开方式，否则会报错拒绝连接
from win32com.client import constants, gencache
def createPdf(wordPath, pdfPath):
    """
    word转pdf
    :param wordPath: word文件路径
    :param pdfPath:  生成pdf文件路径
    """
    word = gencache.EnsureDispatch('Word.Application')
    doc = word.Documents.Open(wordPath, ReadOnly=1)
    doc.ExportAsFixedFormat(pdfPath,
                            constants.wdExportFormatPDF,
                            Item=constants.wdExportDocumentWithMarkup,
                            CreateBookmarks=constants.wdExportCreateHeadingBookmarks)
    word.Quit(constants.wdDoNotSaveChanges)


createPdf(
    "F:/ZhouCheng/员工手册/关于举办第15届中国大学生计算机设计大赛计算机类计算机工程学院校内选拔赛的通知/比赛材料/豆瓣电影/豆瓣影评TOP200数据分析-系统说明.docx",
    "F:/ZhouCheng/员工手册/关于举办第15届中国大学生计算机设计大赛计算机类计算机工程学院校内选拔赛的通知/比赛材料/豆瓣电影/zhoucheng.pdf"
)

六、批量重命名、移动、删除、复制

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
复制def file_manage():
    """
    以下程序用于批量重命名并移动文件到正确的位置
    :return:
    """
    shop_names = ['京东官方旗舰店', '官方旗舰店', '京东自营旗舰店']
    for shop_name in shop_names:
        try:
            os.mkdir('./upload_data//' + shop_name)
            # 创建多级目录：os.makedirs(folder_path)
        except BaseException:
            print('文件夹', shop_name, '已创建')
            
    # 遍历当前文件夹下的所有
    filenames = os.listdir(r'./upload_data')
    for filename in filenames:  
        if os.path.isfile('./upload_data/' + filename):  # 只操作文件，不操作文件夹
            for shop_name in shop_names:  # 遍历所有店铺
                # 如果该文件是某个店铺的，则先将其重命名为规范格式，在移动到相应的文件夹中
                if filename.startswith(shop_name):  
                    os.rename(  # 重命名的同时移动文件夹
                        './upload_data/' + filename, 
                        './upload_data/'+shop_name + '/标准文件名'
                    )

# 批量删除
def del_file(filepath):
    """
    删除某一目录下的所有文件或文件夹
    :param filepath: 路径
    :return:
    """
    del_list = os.listdir(filepath)
    for f in del_list:
        file_path = os.path.join(filepath, f)
        if os.path.isfile(file_path):
            os.remove(file_path)
        elif os.path.isdir(file_path):
            shutil.rmtree(file_path)
            
# 复制
shutil.copy(srcfile, dstpath + fname)

七、文件的常见操作

1、文件解压

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
复制import zipfile
import os
while True:
    is_break = 0
    # 获取所有文件
    file_list = os.listdir(folder_path)
    # 遍历文件，获取
    for file_name in file_list:
        if file_name.endswith('zip'):
            is_break = 1
            # 得到压缩文件
            file_zip = zipfile.ZipFile(folder_path + '/' + file_name, 'r')
            for file in file_zip.namelist():
                file_zip.extract(file, folder_path)  # 解压到指定文件夹
            file_zip.close()  # 关闭文件流
            os.remove(folder_path + '/' + file_name)  # 移动文件
    if is_break:
        break

2、获取当前文件地址

1
2
复制os.getcwd()

八、将xls文件转为xlsx文件

1
2
3
4
5
6
7
8
9
复制# 先将xls文件改成xlsx文件
filenames = os.listdir(open_path)
for filename in filenames:
  # 如果是xls文件
  if filename.endswith(".xls"):
    data = pd.DataFrame(pd.read_excel(open_path + '/' + filename))  # 读取xls文件
    data.to_excel(open_path + '/' + filename.split('.')[0] + '.xlsx', index=False)  # 格式转换
    os.remove(open_path + '/' + filename)

九、调用系统命令不出现黑框

1
2
3
4
5
6
7
8
9
复制import subprocess

subprocess.Popen('del ".\\cache\\updata_ver.exe" /F',
                 shell=True,
                 stdout=subprocess.PIPE,
                 stderr=subprocess.STDOUT,
                 stdin=subprocess.PIPE
                 )

十、Python录制屏幕

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
复制import os
import time
from PIL import ImageGrab
import cv2
import numpy as np


def video_record(filename, filepath, duration):
    """
    录制视频，保存的文件类型可支持为  .avi .asf .mov等
    帧率为24的时候录制时长最准确
    :param filename:  保存文件名
    :param filepath:  保存路径
    :param duration: 录制时长
    :return:
    """
    screen = ImageGrab.grab()  # 获取当前屏幕
    width, high = screen.size  # 获取当前屏幕的大小
    fourcc = cv2.VideoWriter_fourcc('X', 'V', 'I', 'D')  # MPEG-4编码,文件后缀可为.avi .asf .mov等
    video = cv2.VideoWriter(filename, fourcc, 24, (width, high))  # （文件名，编码器，帧率，视频宽高）
    print('开始录制!')
    start_time = time.time()
    while True:
        if (time.time() - start_time) >= duration:
            print("录制结束！")
            global final_time
            final_time = time.time()
            video.release()  # 释放
            break
        im = ImageGrab.grab()  # 屏幕抓图，图片为RGB模式
        frame = cv2.cvtColor(np.array(im), cv2.COLOR_RGB2BGR)  # 转为opencv的BGR模式
        video.write(frame)  # 写入vedio定义的文件
    # 将已完成录制的文件移动到制定文件夹
    try:
        os.rename(  # 重命名的同时移动文件夹
            './' + filename,
            filepath + '\\' + filename
        )
    except BaseException as err:
        os.remove('./' + filename)
        print('文件保存失败：' + str(err))



if __name__ == '__main__':
    video_record('测试.avi', 'D:\\', 10)

十一、捕获错误详细信息

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
复制def try_except(self,f,*args, **kwargs):
    #print(kwargs)
    cb = []
    try:
        cb = kwargs['err_func']
    except:
        pass
    try:
        f(*args)
    except Exception:
        exc_type, exc_instance, exc_traceback = sys.exc_info()
        formatted_traceback = ''.join(traceback.format_tb(exc_traceback))
        message = '\n{0}\n{1}:\n{2}'.format(
            formatted_traceback,
            exc_type.__name__,
            exc_instance
        )
         #raise exc_type(message)
        print(exc_type(message))

        for el in cb:
            if el['errorname'] == exc_type.__name__ or el['errorname'] == '':
                el['function'](*el['args'])
                break

        errorinfo_win = Tk()
        errorinfo_win.withdraw()
        self.info(exc_type.__name__,message)
        errorinfo_win.destroy()

十二、json转字典

1
2
3
4
5
6
7
8
复制# 通过文件转
with open('xx.json', 'r') as f:
    dict_info = json.load(f)
    print(dict_info)
    
# 通过字符串转：
dict_info = json.loads(f)

十三、二维数组转表格

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
复制def two_array_to_table(table_data):
    """
    二维数组转表格
    eg:
    test = [['第一行第一列', '第一行第二列', '第一行第三列'], ['第二行第一列', '第二行第二列', '第二行第三列'],
        ['第三行第一列', '第三行第二列', '第三行第三列'], ['第四行第一列', '第四行第二列', '第四行第三列']]
    :param table_data: 二维数组
    :return:
    """
    datetable = ''
    for row in range(len(table_data)):
        thisrowvalue = table_data[row]
        for col in range(len(thisrowvalue)):
            datetable = datetable + thisrowvalue[col]
            if col != len(thisrowvalue) - 1:
                datetable = datetable + '\t'
            elif row != len(table_data) - 1:
                datetable = datetable + '\n'

    print(datetable)
    return datetable

十四、复制表格格式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
复制import os
import win32com
from win32com.client import constants as c  # 旨在直接使用VBA常数
current_address = os.path.abspath('.')

excel_address = os.path.join(current_address, "区域复制.xlsx")
xl_app = win32com.client.gencache.EnsureDispatch("Excel.Application")  # 若想引用常数的话使用此法调用Excel
xl_app.Visible = True  # 是否显示Excel文件
wb = xl_app.Workbooks.Open(excel_address)
sht_old = wb.Worksheets("原")
sht_new_1 = wb.Worksheets("复制1")
sht_new_2 = wb.Worksheets("复制2")
sht_new_3 = wb.Worksheets("复制3")

# 复制工作表
rng_data = sht_old.Range(sht_old.Cells(1, 1), sht_old.Cells(5, "C"))
rng_data.Copy()
sht_new_1.Paste(Destination=sht_new_1.Range("A1"))
sht_new_2.Range("A1").PasteSpecial(Paste=c.xlPasteValues)
sht_new_3.Range("A1").PasteSpecial(Paste=c.xlPasteAll)

wb.Save()
wb.Close()
xl_app.Quit()
ChengZhou

ChengZhou

贵在坚持

20
0
17
NOTICE

学习中。。。

CATEGORIES
TAGS
Django Django Linux Excel自动化 Flask Linux Mysql Python Python Mysql Redis TkGUI 博客搭建 容器部署 数据结构 浏览器自动化 爬虫 网页布局 自动化 项目记录