Caffe可视化之VisualDL

如果你正在寻求深度学习任务设计的可视化工具，可以考虑Visual DL。类似于Tensorboard的在线可视化，支持更多的平台。VisualDL 兼容 ONNX, 通过与 python SDK的结合，VisualDL可以兼容包括 PaddlePaddle、 Pytorch、 MXNet 等在内的大部分主流DNN平台。而Tensorboard目前仅适用于Tensorflow、Pytorch、MXNet等。

本文介绍其最简单的scalar的用法, 用于展示训练测试的误差趋势。

安装

pip install --upgrade visualdl
库文件core.so及demo等python文件被放在site-package目录下面。

可以不从源码编译，而直接使用pip下载的core.so, 但是需要使用protoc将storage.pb转成C++源码文件，因为在使用sdk.h时会include protobuf生成的头文件。protoc得到的protobuf头文件版本与VisualDL编译所使用的protobuf版本***一致（VisualDL使用的cmake版本号定义在VisualDL/cmake/external/protobuf.cmake中，如果两个库中使用了不同的版本，在运行时会冲突）。
protoc storage.proto --cpp_out .

使用

Python 中记录 Scalar 示例：

import random from visualdl import LogWriter  # 指定输出目录，同步周期 logdir = "./log" logger = LogWriter(logdir, sync_cycle=30)  # 设置此次记录的模式标签： train/test等 with logger.mode("train"):     # 创建名为 'scalars/loss0' 的scalar组件     loss0 = logger.scalar("scalars/loss0")  # 模拟训练过程中的标量数据记录 for step in range(1000):     loss0.add_record(step, random.random())

运行之后会在logdir中生成日志文件，该日志目录中的文件可被VisualDL工具解析，用法与Tensorboard类似。

同功能的C++ SDK使用示例：

#include <cstdlib> #include <string> #include "visualdl/logic/sdk.h"  namespace vs = visualdl; namespace cp = visualdl::components;  int main() {   const std::string dir = "./log";   vs::LogWriter logger(dir, 30);    logger.SetMode("train");   auto tablet = logger.AddTablet("scalars/loss0");    cp::Scalar<float> loss0(tablet);    for (int step = 0; step < 1000; step++) {     float v = (float) std::rand() / RAND_MAX;     loss0.AddRecord(step, v);   }    return 0; }

caffe1-loss曲线

虽然caffe1的大势已去，但做一些遗留的项目代码研究还是要用的。如果上述的示例能够成功运行，那么在caffe1中记录loss scalar是很容易的。

1. 可以使用caffe的python接口获取loss。
2. C++中调用VisualDL，如在solver.cpp中记录loss。编译时链接到VisualDL。示例代码在此 frcnn。
   由于VisualDL静态链接了特定版本的protobuf，而caffe也需要protobuf，可以修改caffe的编译选项，取消对protobuf的动态链接。

在caffe1中还可以使用VisualDL的image功能，来可视化任何tensor，或模型生成的图片。通过使用VisualDL工具可以大大方便我们的可视化方式，不必再写额外的脚本独立地来做可视化。

查看board面板

visualDL --logdir 
选项：

• --host 绑定地址，如ipv6本地地址 ::
• --port 绑定端口
• --model_pb 指定ONNX可交换模型文件

得到的loss曲线如下：