C++ ncnn模型验证精度实现代码

夏天太热

验证ncnn模型的精度


1、进行pth模型的验证

得到ncnn模型的顺序为：.pth–>.onnx–>ncnn
.pth的精度验证如下：
如进行的是二分类：

1.     model = init_model(model, data_cfg, device=device, mode='eval')
   
2.     ###.pth转.onnx模型
   
3.     # #---
   
4.     # input_names = ["x"]
   
5.     # output_names = ["y"]
   
6.     # inp = torch.randn(1, 3, 256, 128) ##错误示例
   
7.     inp = np.full((1, 3, 160, 320), 0.5).astype(np.float) #(160,320) = (h,w)
   
8.     inp = torch.FloatTensor(inp)
   
9.     out = model(inp)
   
10.     print(out)

复制代码

没有经过softmax层，out输出为±1的两个值。

2、转为onnx后的精度验证

1.    sess = onnxruntime.InferenceSession("G:\\pycharm_pytorch171\\pytorch_classification\\main\\sim.onnx", providers=["CUDAExecutionProvider"])  # use gpu
   
2.     input_name = sess.get_inputs()[0].name
   
3.     print("input_name: ", input_name)
   
4.     output_name = sess.get_outputs()[0].name
   
5.     print("output_name: ", output_name)
   
6.     # test_images = torch.rand([1, 3, 256, 128])
   
7.     test_images = np.full((1, 3, 160, 320), 0.5).astype(np.float) #(160,320) = (h,w)
   
8.     test_images = torch.FloatTensor(test_images)
   
9.     print("test_image", test_images)
   
10.     prediction = sess.run([output_name], {input_name: test_images.numpy()})
    
11.     print(prediction)

复制代码

3、ncnn精度验证

首先保证mean、norm输出的值与onnx保持一致，因为onnx直接输入值0.5，ncnn模型经过mean、norm计算后的结果与0.5一致就行。
然后就是ncnn模型的计算输出
- 查看输出结果是否是0.5，首先得将输入值1给到img

1. ```cpp
   
2.      constexpr int w = 320;
   
3.      constexpr int h = 160;
   
4.      float cbuf[h][w];
   
5.      cv::Mat img(h, w, CV_8UC3,(float *)cbuf);
   
6.      //BYTE* iPtr = new BYTE[128 * 256 * 3];
   
7.      BYTE* iPtr = new BYTE[h * w * 3];
   
8.      for (int i = 0; i < h; i++)
   
9.      {
   
10.          for (int j = 0; j < w; j++)
    
11.          {
    
12.              for (int k = 0; k < 3; k++)
    
13.              {
    
14.                  //iPtr[i * 256 * 3 + j * 3 + k] = img.at<cv::Vec3f>(i, j)[k];
    
15.                  img.at<cv::Vec3b>(i, j)[k] = 1;
    
16.              }
    
17.          }
    
18.      }
    
19. ```
    
20. - 经过上面的赋值，通过了mean、norm计算后，得到的结果进行查看，值为0.5则正确转换。得到的结果送入下面的代码进行输出。
    
21. ncnn结果为mat，因此采用该方法进行遍历查看。
    
22. ```cpp
    
23. //输出ncnn mat
    
24. void ncnn_mat_print(const ncnn::Mat& m)
    
25. {
    
26.      for (int q = 0; q < m.c; q++)
    
27.      {
    
28.          const float* ptr = m.channel(q);
    
29.          for (int y = 0; y < m.h; y++)
    
30.          {
    
31.              for (int x = 0; x < m.w; x++)
    
32.              {
    
33.                  printf("%f ", ptr[x]);
    
34.              }
    
35.              ptr += m.w;
    
36.              printf("\n");
    
37.          }
    
38.          printf("------------------------\n");
    
39.      }
    
40. }
    
41. ```
    
42. 将mat给到模型进行推理得到结果。

复制代码

4、结果确认

一般情况下，pth模型与onnx模型结果相差不大，ncnn会有点点损失，千分位上的损失，这样精度基本上是一致的。
若不一致，看哪一步结果相差太大，如果是ncnn这一步相差太大，检查是否是值输入有问题，或者是输入的(h,w)弄反了。
到此这篇关于C++ ncnn模型验证精度实现代码的文章就介绍到这了,更多相关C++ ncnn验证精度内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

来源:https://www.jb51.net/article/276330.htm
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！