码字不易,转载请注明出处。
注:文章从在用雀语写的文章导出成md文件再导入资深,若有转换、格式问题可查看原出处。
使用NPU工具版本:aml_npu_sdk_6.4.4.3
一、Slice转换问题:
将yolox_s模型导出成的onnx模型(使用的opset v10版本)后,其中的Slice层结构如下:
第一层(Slice_4、Slice_14、Slice_24、Slice_34)先对高度维度做Slice,第二层(Slice_9、Slice_19、Slice_29、Slice_39)再对宽度维度做Slice;
其是由下面的pytorch代码转换而来:
# shape of x (b,c,h,w) -> y(b,4c,h/2,w/2)
patch_top_left = x[..., ::2, ::2]
patch_top_right = x[..., ::2, 1::2]
patch_bot_left = x[..., 1::2, ::2]
patch_bot_right = x[..., 1::2, 1::2]
使用NPU工具将onnx模型转换为的NPU模型时并没有报错,但在使用NPU工具进行模型量化时报下面的错误:
ValueError: Dimension 1 in both shapes must be equal, but are 320 and 319. Shapes are [1,320,1] and [1,319,1]. for &#39;Concat_Concat_40_252/Concat_Concat_40_252&#39; (op: &#39;ConcatV2&#39;) with input shapes: [1,320,2,3], [1,319,2,3], [1,320,1,3], [1,319,1,3], [] and with computed input tensors: input[4] = <3>.[15678] FAIled to execute script tensorzonex
其中&#39;Concat_Concat_40_252对应的是onnx模型的Concat_40,猜测可能是输入的4个Slice的输出维度不一致导致。
查看使用NPU工具转换后的NPU模型的中间表示的JSON对应代码(注:模型输入的维度表示为:NxHxWxC):
第一层对应代码为:
&#34;Slice_Slice_4_271&#34;: {
&#34;name&#34;: &#34;Slice_Slice_4&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
3,
3
],
&#34;slice_strides&#34;: [
1,
2,
1,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_14_273&#34;: {
&#34;name&#34;: &#34;Slice_Slice_14&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
3,
3
],
&#34;slice_strides&#34;: [
1,
2,
1,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_24_272&#34;: {
&#34;name&#34;: &#34;Slice_Slice_24&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
1,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
3,
3
],
&#34;slice_strides&#34;: [
1,
2,
1,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_34_274&#34;: {
&#34;name&#34;: &#34;Slice_Slice_34&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
1,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
3,
3
],
&#34;slice_strides&#34;: [
1,
2,
1,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
第二层对应代码为:
&#34;Slice_Slice_9_259&#34;: {
&#34;name&#34;: &#34;Slice_Slice_9&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
320,
3,
3
],
&#34;slice_strides&#34;: [
1,
1,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_4_271:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_19_261&#34;: {
&#34;name&#34;: &#34;Slice_Slice_19&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
1,
0
],
&#34;slice_end&#34;: [
1,
320,
3,
3
],
&#34;slice_strides&#34;: [
1,
1,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_14_273:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_29_260&#34;: {
&#34;name&#34;: &#34;Slice_Slice_29&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
319,
3,
3
],
&#34;slice_strides&#34;: [
1,
1,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_24_272:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_39_262&#34;: {
&#34;name&#34;: &#34;Slice_Slice_39&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
1,
0
],
&#34;slice_end&#34;: [
1,
319,
3,
3
],
&#34;slice_strides&#34;: [
1,
1,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_34_274:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
错误似乎是出目前Slice_Slice_29_260和Slice_Slice_39_262的319上,仔细看的话这个转换出来的代码完全是错误的(这里猜测slice_begin、slice_end、slice_strides里面的4个值,分别对应的NxHxWxC这4个维度):
第一层Slice的slice_end的宽度维度为3,正确的值应该为640;
第二层Slice的slice_end的高度维度为319、宽度维度为3,正确的值应该分别为320、3;
这里转换错误估计可能是NPU工具不支持对ONNX模型Slice的starts、ends、axes、steps只有一台值的情况?
NPU工具没有提供这部分的转换源码,不好修正这个问题,因此,通过手动修改JSON文件实现,改为:
第一层对应代码为:
&#34;Slice_Slice_4_271&#34;: {
&#34;name&#34;: &#34;Slice_Slice_4&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
640,
3
],
&#34;slice_strides&#34;: [
1,
2,
1,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_14_273&#34;: {
&#34;name&#34;: &#34;Slice_Slice_14&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
640,
3
],
&#34;slice_strides&#34;: [
1,
2,
1,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_24_272&#34;: {
&#34;name&#34;: &#34;Slice_Slice_24&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
1,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
640,
3
],
&#34;slice_strides&#34;: [
1,
2,
1,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_34_274&#34;: {
&#34;name&#34;: &#34;Slice_Slice_34&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
1,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
640,
3
],
&#34;slice_strides&#34;: [
1,
2,
1,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
第二层对应代码为:
&#34;Slice_Slice_9_259&#34;: {
&#34;name&#34;: &#34;Slice_Slice_9&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
320,
640,
3
],
&#34;slice_strides&#34;: [
1,
1,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_4_271:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_19_261&#34;: {
&#34;name&#34;: &#34;Slice_Slice_19&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
1,
0
],
&#34;slice_end&#34;: [
1,
320,
640,
3
],
&#34;slice_strides&#34;: [
1,
1,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_14_273:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_29_260&#34;: {
&#34;name&#34;: &#34;Slice_Slice_29&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
320,
640,
3
],
&#34;slice_strides&#34;: [
1,
1,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_24_272:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_39_262&#34;: {
&#34;name&#34;: &#34;Slice_Slice_39&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
1,
0
],
&#34;slice_end&#34;: [
1,
320,
640,
3
],
&#34;slice_strides&#34;: [
1,
1,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_34_274:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
依然会报错,但似乎错误正常一点:
ValueError: Dimension 1 in both shapes must be equal, but are 320 and 319. Shapes are [1,320,320] and [1,319,320]. for &#39;Concat_Concat_40_252/Concat_Concat_40_252&#39; (op: &#39;ConcatV2&#39;) with input shapes: [1,320,320,3], [1,320,320,3], [1,319,320,3], [1,319,320,3], [] and with computed input tensors: input[4] = <3>.
Concat_Concat_40_252层的JSON代码:
&#34;Concat_Concat_40_252&#34;: { &#34;name&#34;: &#34;Concat_Concat_40&#34;,
&#34;op&#34;: &#34;concat&#34;,
&#34;parameters&#34;: {
&#34;dim&#34;: 3
},
&#34;inputs&#34;: [
&#34;@Slice_Slice_9_259:out0&#34;,
&#34;@Slice_Slice_19_261:out0&#34;,
&#34;@Slice_Slice_29_260:out0&#34;,
&#34;@Slice_Slice_39_262:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
这里看似乎只是Slice_Slice_29_260和Slice_Slice_39_262的宽度输出有问题,分析配置可能是NPU量化工具对slice_begin的值为1时转化会有问题(试过对slice_end加上1问题也一样)?但似乎只是第一层的slice_begin的为1时转化才有问题,第二层的slice_begin的为1时转化并没有问题(Slice_Slice_19_261是对的,Slice_Slice_39_262第二层slice_begin为1转化的那个维度的输出大小也没问题)。猜测可能是最后一层的slice_begin为1转化才是对的,经过多层会出错?具体也不能确定,没有NPU量化工具源码,只能试试看。
这样的话就只可以用一层Slice来实现,而不可以用两层Slice来实现。好消息了,Slice的定义是支持对多个维度进行的,其实也不需要分成两个层,一台Slice也可以实现。因此,删除掉第一层的JSON代码,修改第二层的JSON代码如下:
&#34;Slice_Slice_9_259&#34;: {
&#34;name&#34;: &#34;Slice_Slice_9&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
640,
3
],
&#34;slice_strides&#34;: [
1,
2,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_19_261&#34;: {
&#34;name&#34;: &#34;Slice_Slice_19&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
0,
1,
0
],
&#34;slice_end&#34;: [
1,
640,
640,
3
],
&#34;slice_strides&#34;: [
1,
2,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_29_260&#34;: {
&#34;name&#34;: &#34;Slice_Slice_29&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
1,
0,
0
],
&#34;slice_end&#34;: [
1,
640,
640,
3
],
&#34;slice_strides&#34;: [
1,
2,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
&#34;Slice_Slice_39_262&#34;: {
&#34;name&#34;: &#34;Slice_Slice_39&#34;,
&#34;op&#34;: &#34;stridedslice&#34;,
&#34;parameters&#34;: {
&#34;slice_begin_mask&#34;: 0,
&#34;slice_end_mask&#34;: 0,
&#34;slice_ellipsis_mask&#34;: 0,
&#34;slice_new_axis_mask&#34;: 0,
&#34;slice_shrink_axis_mask&#34;: 0,
&#34;slice_begin&#34;: [
0,
1,
1,
0
],
&#34;slice_end&#34;: [
1,
640,
640,
3
],
&#34;slice_strides&#34;: [
1,
2,
2,
1
]
},
&#34;inputs&#34;: [
&#34;@images_280:out0&#34;
],
&#34;outputs&#34;: [
&#34;out0&#34;
]
},
修改为这样会就能正常量化通过了:
I Dump net quantize tensor table to ../../out/models/yolox/yolox.quantize
I [TRAINER]Quantization complete.
[TRAINER]Quantization complete.
I Save net to ../../out/models/yolox/yolox.data I Clean.
I ----------------Warning(0)----------------
没有源码,bug又不少的转换工具,或是挺折腾人的。
二、 |