模型服务监控

简介

注意：生态云集群Cloud-ML Falcon服务暂未上线。

Cloud-ML修改了tensorflow serving源码，将收集到的qps和lantency数据推送到falcon上。

使用

默认开启监控，可以从http://falcon.srv/中查看监控数据。

数据的endpoint是{org id}-{model name}-{model version}-{容器编号}，收集的数据包含qps的p50、p90、p99、p99.9和lantency，数据是1分钟推送一次：