#码力全开·技术π对#在 Google Cloud Functions 中使用 Python 处理大文件上传时，如何优化内存占用

import os
import tempfile
from google.cloud import storage
from flask import request

# 初始化 Google Cloud Storage 客户端
storage_client = storage.Client()
bucket_name = 'your-bucket-name'  # 替换为你的存储桶名称

def process_file_chunk(file_chunk):
    # 在这里处理文件分块，例如进行数据清洗、转换等操作
    # 这里只是一个示例，实际处理逻辑根据需求编写
    processed_data = file_chunk.decode('utf-8').upper()  # 示例：将文本转换为大写
    return processed_data

def stream_file_to_storage(request):
    # 获取上传的文件
    file = request.files['file']
    file_name = file.filename

    # 创建临时文件
    temp_file = tempfile.NamedTemporaryFile(delete=False)
    temp_file_path = temp_file.name

    try:
        # 将上传的文件分块写入临时文件
        chunk_size = 1024 * 1024  # 1MB 每块
        while True:
            chunk = file.stream.read(chunk_size)
            if len(chunk) == 0:
                break
            temp_file.write(chunk)
            temp_file.flush()

            # 处理文件分块
            with open(temp_file_path, 'rb') as f:
                f.seek(temp_file.tell() - len(chunk))
                file_chunk = f.read(len(chunk))
                processed_data = process_file_chunk(file_chunk)

                # 将处理后的数据写入 Google Cloud Storage
                bucket = storage_client.bucket(bucket_name)
                blob = bucket.blob(f'processed/{file_name}')
                blob.upload_from_string(processed_data, content_type='text/plain')

    finally:
        # 清理临时文件
        temp_file.close()
        os.remove(temp_file_path)

    return 'File processed successfully', 200

# 在 Google Cloud Functions 中部署此函数
# gcloud functions deploy stream_file_to_storage --runtime python39 --trigger-http --allow-unauthenticated