kubeflow系列(三):模型即服务,关于tensorflow serving的使用

  • 时间:
  • 浏览:1

SignatureDefs则是模型的签名定义,定义了 输入 和 输出函数`。

SignatureDef 定义了 TensorFlow graph 计算的签名,定义了 输入 和 输出函数,SignatureDef 特征 :

Predict SignatureDef例子

挂载的默认目录为两级目录:./<模型名称>/<版本号>/save_model.pb, 版本号前要为数字。

Tensorflow Serving 直接加载模型即可生成接口,不过 serving 支持的模型这麼 SaveModel,但会 这里主要介绍 SaveModel。

前要要只是输入 Tensors inputs 和只是输出Tensors: classesscores

Regression SignatureDef例子

参考文献

生成模型前要模型的MetaGraphDefsSignatureDefsMetaGraphDefs只是大伙常见的meta graph,其中暗含了三种主要的信息:

outputs as a map of string to TensorInfo.

method_name (which corresponds to a supported method name in the loading tool/system).

生成 SaveModel文件的方式:

(2)将会能这麼 用k8s运行deployment(kubeflow):

生成好 SaveModel 模型文件,就能这麼 直接运行 serving 来实现模型服务:

kubeflow 中采用了 tensorflow serving 作为官方的tensorflow模型接口, TensorFlow Serving是GOOGLE开源的只是服务系统,适用于部署机器学习模型,灵活、性能高、可用于生产环境。 TensorFlow Serving能这麼 轻松部署新算法和实验,一块儿保持相同的服务器架构和API。

SaveModel文件目录:

查看MetaGraphDefsSignatureDefs:

SaveModel 是三种专门用于tf模型 拓扑特征(topology)权重(weights) ,基于 SaveModel 不前要运行原始的模型构建代码,只是非常促进共享或部署模型,但会 一般模型部署都用 SaveModel

Classification SignatureDef例子

测试模型接口

inputs as a map of string to TensorInfo.

(1)用DOCKER运行:

https://www.tensorflow.org/tfx/tutorials/serving/rest_simple