在线服务的模型升级

简介

使用ModelService服务，一般都需要不停服务的模型升级，目前TensorFlow Serving已经支持，可以在Xiaomi Cloud-ML的服务中实现。

注意模型导出时可以指定模型名称和版本，这个版本是serving的版本，和Xiaomi Cloud-ML中创建模型服务的版本没有关系，模型服务的版本只是和名称组合标示一个serving服务而已。

模型升级

如果我们要升级模型，只需要重新运行训练任务中，指定model version为2，导出时就会生成00000002目录，TensorFlow Serving过大约30秒内会自动加载新的模型提供服务。

以使用 https://github.com/tobegit3hub/deep_recommend_system 为例。

./dense_classifier.py --epoch_number 100 --model_version 2 --model_path fds://cloud-ml/upgraded_model

测试多次使用客户端再次请求，验证返回的结果是否改变。

./predict_client.py --host 127.0.0.1 --port 9000 --model_name upgraded_model

results matching ""

    No results matching ""