#码力全开·技术π对#在使用TensorFlow Serving部署模型时,客户端请求返回​​StatusCode.UNAVAILABLE​​

AI / TensorFlow
问题:在使用TensorFlow Serving部署模型时,客户端请求返回​​StatusCode.UNAVAILABLE​​错误,但服务日志显示模型已加载成功。如何调试gRPC连接问题?
代码示例:

channel = grpc.insecure_channel('localhost:8500')
stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
request = predict_pb2.PredictRequest()
request.model_spec.name = 'my_model'
request.model_spec.signature_name = 'serving_default'
# 抛出异常: grpc._channel._InactiveRpcError
response = stub.Predict(request, timeout=10.0)

期望:如何验证gRPC服务端状态?是否需要配置​​health_check​​?

AI / TensorFlow
最多选5个技能
2025-05-09 09:47:46
浏览
收藏 0
回答 1
待解决
回答 1
按赞同
/
按时间
key_3_feng
key_3_feng

使用 ​​grpc_cli​​ 工具测试服务端

  • 安装grpcurlgrpc_cli(TensorFlow 提供的调试工具),直接调用服务端接口:
grpcurl -plaintext <server_ip>:8501 list

如果返回服务列表(如 ​​tensorflow.serving.ModelService​​),说明服务端正常。

  • 调用具体方法验证:
grpcurl -plaintext -d '{"model_name": "your_model", "model_version": 1}' <server_ip>:8501 tensorflow.serving.ModelService.GetModelStatus


分享
微博
QQ
微信https://www.51cto.com/aigc/
回复
2025-05-10 21:53:09
发布
相关问题
提问