#码力全开·技术π对#TensorFlow Extended (TFX) 流水线在Kubeflow上运行时出现gRPC超时如何调整？

beam_pipeline_args = [
    '--runner=PortableRunner',
    '--job_endpoint=kubernetes://',  # Kubeflow集群地址
    '--environment_type=DOCKER',
    '--grpc_max_workers=8',          # 增加gRPC线程池
    '--grpc_timeout_seconds=600'     # 单位秒，建议10倍于预估耗时
]

transform = Transform(
    examples=example_gen.outputs['examples'],
    schema=schema_gen.outputs['schema'],
    module_file=transform_module,
    # 单位毫秒，覆盖全局设置
    custom_config={'grpc_timeout_ms': 300000}  
)

data:
  containerRuntimeExecutor: k8sapi
  kubeletAddress: unix:///var/run/kubelet.sock
  grpcKeepaliveTime: 300s  # 保持连接存活时间

beam_pipeline_args.extend([
    '--direct_num_workers=16',       # 并行工作进程数
    '--direct_running_mode=multi_threading',
    '--split_large_files=True',      # 自动切分大文件
    '--temp_location=gs://your-bucket/temp'  # 临时文件存储
])

example_validator = ExampleValidator(
    statistics=statistics_gen.outputs['statistics'],
    schema=schema_gen.outputs['schema'],
    # 指定K8s资源配额
    custom_config={
        'kubernetes_pod_spec': {
            'containers': [{
                'resources': {
                    'limits': {'memory': '16Gi', 'cpu': '8'},
                    'requests': {'memory': '8Gi', 'cpu': '4'}
                }
            }]
        }
    }
)

example_validator = ExampleValidator(
    statistics=statistics_gen.outputs['statistics'],
    schema=schema_gen.outputs['schema'],
    # 仅验证10%数据
    sample_rate=0.1  
)

beam_pipeline_args.append('--log_level=DEBUG')

kubectl logs <pod_name> -c main | grep "Component.*latency"