TensorFlow Serving初步使用教程与记录

概述

tensorflow-serving支持rpc和rest，本文基于rest编写。构建k8s的pod

部署

单模型部署，dockerfile如下:

FROM tensorflow/serving
MAINTAINER zhouwenyang
ADD model /models/${model_name}/${version}
ENV MODEL_NAME=${model_name}1.2.3.4.

${model_name}和${version}根据自己需要更改。可以使用挂载文件的方式，但是如果部署k8s则需要打进容器，或者使用共享的volumes的方式

多模型部署参考：https://www.jianshu.com/p/d11a5c3dc757

查看模型输入输出情况: http://${host}:${port}/v1/models/${model_name}/metadata

自定义op

预测

根据查看模型的metadata，搞起一个http post接口

接口地址为: http://${host}:${port}/v1/models/${model_name}:predict

post参数为:

{
  "inputs":{
    "${param1}":${value1},
    "${param2}":${value2},
    "${param3}":${value3},
    "${param4}":${value4}
  }  
}1.2.3.4.5.6.7.8.

免责声明：本文系网络转载或改编，未找到原创作者，版权归原作者所有。如涉及版权，请联系删

武汉格发信息技术有限公司，格发许可优化管理系统可以帮你评估贵公司软件许可的真实需求，再低成本合规性管理软件许可,帮助贵司提高软件投资回报率，为软件采购、使用提供科学决策依据。支持的软件有: CAD,CAE,PDM,PLM,Catia,Ugnx, AutoCAD, Pro/E, Solidworks ,Hyperworks, Protel,CAXA,OpenWorks LandMark,MATLAB,Enovia,Winchill,TeamCenter,MathCAD,Ansys, Abaqus,ls-dyna, Fluent, MSC,Bentley,License,UG,ug,catia,Dassault Systèmes,AutoDesk,Altair,autocad,PTC,SolidWorks,Ansys,Siemens PLM Software,Paradigm,Mathworks,Borland,AVEVA,ESRI,hP,Solibri,Progman,Leica,Cadence,IBM,SIMULIA,Citrix,Sybase,Schlumberger,MSC Products...