kubeflow系列(三):模型即服务,关于tensorflow serving的使用

  • 时间:
  • 浏览:4
  • 来源:uu快3下载网址_uu快3IOS下载_电脑版

https://www.tensorflow.org/tfx/tutorials/serving/rest_simple

Regression SignatureDef例子

生成模型还要模型的MetaGraphDefsSignatureDefsMetaGraphDefs就是我亲们常见的meta graph,其中所含了两种主要的信息:

Predict SignatureDef例子

(2)不可能 还不可不可不上能 用k8s运行deployment(kubeflow):

Classification SignatureDef例子

(1)用DOCKER运行:

还要要四个 输入 Tensors inputs 和四个 输出Tensors: classesscores

查看MetaGraphDefsSignatureDefs:

测试模型接口

参考文献

inputs as a map of string to TensorInfo.

生成好 SaveModel 模型文件,就还不可不可不上能 直接运行 serving 来实现模型服务:

outputs as a map of string to TensorInfo.

method_name (which corresponds to a supported method name in the loading tool/system).

挂载的默认目录为两级目录:./<模型名称>/<版本号>/save_model.pb, 版本号还要为数字。

SaveModel文件目录:

Tensorflow Serving 直接加载模型即可生成接口,不过 serving 支持的模型只有 SaveModel,就是我这里主要介绍 SaveModel。

kubeflow 中采用了 tensorflow serving 作为官方的tensorflow模型接口, TensorFlow Serving是GOOGLE开源的四个 服务系统,适用于部署机器学习模型,灵活、性能高、可用于生产环境。 TensorFlow Serving还不可不可不上能 轻松部署新算法和实验,并肩保持相同的服务器架构和API。

生成 SaveModel文件的方法:

SignatureDefs则是模型的签名定义,定义了 输入 和 输出函数`。

SaveModel 是两种专门用于tf模型 拓扑内部(topology)权重(weights) ,基于 SaveModel 不还要运行原始的模型构建代码,另四个 非常有助共享或部署模型,就是我一般模型部署都用 SaveModel

SignatureDef 定义了 TensorFlow graph 计算的签名,定义了 输入 和 输出函数,SignatureDef 内部 :