聊聊 Jmeter 如何并发执行 Python 脚本

开发 后端
最近有小伙伴后台给我留言,说自己用 Django 写了一个大文件上传的 Api 接口,现在想本地检验一下接口并发的稳定性,问我有没有好的方案。

[[422049]]

本文转载自微信公众号「AirPython」,作者星安果。转载本文请联系AirPython公众号。

1. 前言

大家好,我是安果!

最近有小伙伴后台给我留言,说自己用 Django 写了一个大文件上传的 Api 接口,现在想本地检验一下接口并发的稳定性,问我有没有好的方案

本篇文章以文件上传为例,聊聊 Jmeter 并发执行 Python 脚本的完整流程

2. Python 实现文件上传

大文件上传包含 3 个步骤,分别是:

  • 获取文件信息及切片数目
  • 分段切片,并上传 - API
  • 文件合并 - API
  • 文件路径参数化

2-1 获取文件信息及切片数目

首先,获取文件的大小

然后,利用预设的切片大小获取分段总数

最后,获取文件名及 md5 值

  1. import os 
  2. import math 
  3. import hashlib 
  4.  
  5. def get_file_md5(self, file_path): 
  6.     """获取文件的md5值""" 
  7.     with open(file_path, 'rb'as f: 
  8.          data = f.read() 
  9.          return hashlib.md5(data).hexdigest() 
  10.  
  11. def get_filename(self, filepath): 
  12.     """获取文件原始名称""" 
  13.     # 文件名带后缀 
  14.     filename_with_suffix = os.path.basename(filepath) 
  15.     # 文件名 
  16.     filename = filename_with_suffix.split('.')[0] 
  17.     # 后缀名 
  18.     suffix = filename_with_suffix.split('.')[-1] 
  19.     return filename_with_suffix, filename, suffix 
  20.  
  21. def get_chunk_info(self, file_path): 
  22.     """获取分段信息""" 
  23.     # 获取文件总大小(字节) 
  24.     file_total_size = os.path.getsize(file_path) 
  25.     print(file_total_size) 
  26.  
  27.     # 分段总数 
  28.     total_chunks_num = math.ceil(file_total_size / self.chunk_size) 
  29.     # 文件名(带后缀) 
  30.     filename = self.get_filename(file_path)[0] 
  31.     # 文件的md5值 
  32.     file_md5 = self.get_file_md5(file_path) 
  33.     return file_total_size, total_chunks_num, filename, file_md5 

2-2 切片及分段上传

利用分段总数和分段大小,对文件进行切片,调用分段文件上传接口

  1. import requests 
  2.  
  3. def do_chunk_and_upload(self, file_path): 
  4.     """将文件分段处理,并上传""" 
  5.     file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(file_path) 
  6.  
  7.     # 遍历 
  8.     for index in range(total_chunks_num): 
  9.         print('第{}次文件上传'.format(index + 1)) 
  10.         if index + 1 == total_chunks_num: 
  11.             partSize = file_total_size % chunk_size 
  12.         else
  13.             partSize = chunk_size 
  14.  
  15.         # 文件偏移量 
  16.         offset = index * chunk_size 
  17.  
  18.         # 生成分片id,从1开始 
  19.         chunk_id = index + 1 
  20.  
  21.         print('开始准备上传文件'
  22.         print("分片id:", chunk_id, "文件偏移量:", offset, ",当前分片大小:", partSize, ) 
  23.  
  24.         # 分段上传文件 
  25.         self.__upload(offset, chunk_id, file_path, file_md5, filename, partSize, total_chunks_num) 
  26.  
  27. def __upload(self, offset, chunk_id, file_path, file_md5, filename, partSize, total): 
  28.     """分次上传文件""" 
  29.     url = 'http://**/file/brust/upload' 
  30.     params = {'chunk': chunk_id, 
  31.                 'fileMD5': file_md5, 
  32.                 'fileName': filename, 
  33.                 'partSize': partSize, 
  34.                 'total': total 
  35.                 } 
  36.     # 根据文件路径及偏移量,读取文件二进制数据 
  37.     current_file = open(file_path, 'rb'
  38.     current_file.seek(offset) 
  39.  
  40.     files = {'file': current_file.read(partSize)} 
  41.     resp = requests.post(url, params=params, files=files).text 
  42.     print(resp) 

2-3 合并文件

最后调用合并文件的接口,将分段小文件合成大文件

  1. def merge_file(self, filepath): 
  2.         """合并""" 
  3.         url = 'http://**/file/brust/merge' 
  4.         file_total_size, total_chunks_num, filename, file_md5 = self.get_chunk_info(filepath) 
  5.         payload = json.dumps( 
  6.             { 
  7.                 "fileMD5": file_md5, 
  8.                 "chunkTotal": total_chunks_num, 
  9.                 "fileName": filename 
  10.             } 
  11.         ) 
  12.         print(payload) 
  13.         headers = { 
  14.             "Content-Type""application/json" 
  15.         } 
  16.         resp = requests.post(url, headers=headers, data=payload).text 
  17.         print(resp) 

2-4 文件路径参数化

为了并发执行,将文件上传路径参数化

  1. # fileupload.py 
  2. ... 
  3. if __name__ == '__main__'
  4.     filepath = sys.argv[1] 
  5.  
  6.     # 每一段切片的大小(MB) 
  7.     chunk_size = 2 * 1024 * 1024 
  8.  
  9.     fileApi = FileApi(chunk_size) 
  10.     # 分段上传 
  11.     fileApi.do_chunk_and_upload(filepath) 
  12.  
  13.     # 合并 
  14.     fileApi.merge_file(filepath) 

3. Jmeter 并发执行

在使用 Jmeter 创建并发流程前,我们需要编写批处理脚本

其中,执行批处理脚本时,需要跟上文件路径一起执行

  1. # cmd.bat 
  2.  
  3. @echo off 
  4. set filepath=%1 
  5.  
  6. python  C:\Users\xingag\Desktop\rpc_demo\fileupload.py %* 

然后,在本地新建一个 CSV 文件,写入多个文件路径

  1. # 准备多个文件路径(csv) 
  2. C:\\Users\\xingag\\Desktop\\charles-proxy-4.6.1-win64.msi 
  3. C:\\Users\\xingag\\Desktop\\V2.0.pdf 
  4. C:\\Users\\xingag\\Desktop\\HBuilder1.zip 
  5. C:\\Users\\xingag\\Desktop\\HBuilder2.zip 

接着,就可以使用 Jmeter 创建并发流程了

完整步骤如下:

  • 创建一个测试计划,下面添加一个线程组

这里线程组数目与上面文件数目保持一致即可

  • 线程组下,添加「 同步定时器 」

同步定时器中的「 模拟用户组的数量 」和上面参数数量保持一致

  • 添加 CSV 数据文件设置

指向上面准备的 csv 数据文件,设置文件格式为 UTF-8,变量名称设置为 file_path,最后将线程共享模式设置为「 当前线程组 」

  • 添加调试取样器,方便调试
  • 添加 OS 进程取样器

选择上面创建的批处理文件,命令行参数设置为「 ${file_path} 」

  • 添加查看结果数

4. 最后

运行上面创建的 Jmeter 并发流程,在结果数中可以查看并发上传文件的结果

 

当然,我们可以增加并发数量去模拟真实的使用场景,只需要修改 CSV 数据源及 Jmeter 参数即可

 

责任编辑:武晓燕 来源: AirPython
相关推荐

2022-06-12 06:45:26

高并发防重

2020-11-06 07:42:01

Linux命令脚本

2023-07-03 09:59:00

并发编程并发容器

2009-07-20 15:42:34

监控JRubyJProfiler

2022-01-17 09:18:28

JMeter分布式压测

2023-04-04 07:52:26

RedisLua脚本

2023-11-20 08:01:38

并发处理数Tomcat

2021-03-28 09:45:05

幂等性接口数据

2016-11-25 00:38:45

隔离负载均衡系统

2022-05-10 08:47:00

JMeter作用域执行顺序

2016-11-25 00:45:37

队列数据

2016-11-28 08:40:17

系统降级服务

2021-03-17 09:35:51

MySQL数据库explain

2023-08-02 11:39:21

SSL证书过期

2022-05-18 08:05:20

pyenvPython解释器

2016-11-28 09:00:10

浏览器浏览器缓存服务端

2024-03-12 13:11:20

powerjob单机线程

2020-12-14 06:57:37

shell

2019-11-07 09:20:29

Java线程操作系统

2016-11-28 08:58:43

系统限流
点赞
收藏

51CTO技术栈公众号