开启辅助访问
 找回密码
 立即注册

【原创】A311D模型转换问题

tosee 回答数1 浏览数867
码字不易,转载请注明出处。

注:文章从在用雀语写的文章导出成md文件再导入资深,若有转换、格式问题可查看原出处。​

使用NPU工具版本:aml_npu_sdk_6.4.4.3

一、Slice转换问题:

将yolox_s模型导出成的onnx模型(使用的opset v10版本)后,其中的Slice层结构如下:


第一层(Slice_4、Slice_14、Slice_24、Slice_34)先对高度维度做Slice,第二层(Slice_9、Slice_19、Slice_29、Slice_39)再对宽度维度做Slice;
​
其是由下面的pytorch代码转换而来:
# shape of x (b,c,h,w) -> y(b,4c,h/2,w/2)        
        patch_top_left = x[..., ::2, ::2]
        patch_top_right = x[..., ::2, 1::2]
        patch_bot_left = x[..., 1::2, ::2]
        patch_bot_right = x[..., 1::2, 1::2]​
使用NPU工具将onnx模型转换为的NPU模型时并没有报错,但在使用NPU工具进行模型量化时报下面的错误:
ValueError: Dimension 1 in both shapes must be equal, but are 320 and 319. Shapes are [1,320,1] and [1,319,1]. for 'Concat_Concat_40_252/Concat_Concat_40_252' (op: 'ConcatV2') with input shapes: [1,320,2,3], [1,319,2,3], [1,320,1,3], [1,319,1,3], [] and with computed input tensors: input[4] = <3>.[15678]  FAIled to execute script tensorzonex
​
其中'Concat_Concat_40_252对应的是onnx模型的Concat_40,猜测可能是输入的4个Slice的输出维度不一致导致。
​
查看使用NPU工具转换后的NPU模型的中间表示的JSON对应代码(注:模型输入的维度表示为:NxHxWxC):
第一层对应代码为:
"Slice_Slice_4_271": {
            "name": "Slice_Slice_4",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    3,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    1,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_14_273": {
            "name": "Slice_Slice_14",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    3,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    1,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_24_272": {
            "name": "Slice_Slice_24",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    1,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    3,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    1,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_34_274": {
            "name": "Slice_Slice_34",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    1,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    3,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    1,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },​
第二层对应代码为:
"Slice_Slice_9_259": {
           "name": "Slice_Slice_9",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    320,
                    3,
                    3
                ],
                "slice_strides": [
                    1,
                    1,
                    2,
                    1
                ]
            },
            "inputs": [
                "@Slice_Slice_4_271:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_19_261": {
            "name": "Slice_Slice_19",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    1,
                    0
                ],
                "slice_end": [
                    1,
                    320,
                    3,
                    3
                ],
                "slice_strides": [
                    1,
                    1,
                    2,
                    1
                ]
            },
            "inputs": [
                "@Slice_Slice_14_273:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_29_260": {
            "name": "Slice_Slice_29",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    319,
                    3,
                    3
                ],
                "slice_strides": [
                    1,
                    1,
                    2,
                    1
                ]
            },
            "inputs": [
                "@Slice_Slice_24_272:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_39_262": {
            "name": "Slice_Slice_39",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    1,
                    0
                ],
                "slice_end": [
                    1,
                    319,
                    3,
                    3
                ],
                "slice_strides": [
                    1,
                    1,
                    2,
                    1
                ]
            },
            "inputs": [
                "@Slice_Slice_34_274:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
错误似乎是出目前Slice_Slice_29_260和Slice_Slice_39_262的319上,仔细看的话这个转换出来的代码完全是错误的(这里猜测slice_begin、slice_end、slice_strides里面的4个值,分别对应的NxHxWxC这4个维度):
第一层Slice的slice_end的宽度维度为3,正确的值应该为640;
第二层Slice的slice_end的高度维度为319、宽度维度为3,正确的值应该分别为320、3;
这里转换错误估计可能是NPU工具不支持对ONNX模型Slice的starts、ends、axes、steps只有一台值的情况?
​
NPU工具没有提供这部分的转换源码,不好修正这个问题,因此,通过手动修改JSON文件实现,改为:
第一层对应代码为:
"Slice_Slice_4_271": {
            "name": "Slice_Slice_4",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    1,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_14_273": {
            "name": "Slice_Slice_14",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    1,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_24_272": {
            "name": "Slice_Slice_24",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    1,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    1,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_34_274": {
            "name": "Slice_Slice_34",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    1,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    1,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
第二层对应代码为:
"Slice_Slice_9_259": {
            "name": "Slice_Slice_9",
           "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    320,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    1,
                    2,
                    1
                ]
            },
            "inputs": [
                "@Slice_Slice_4_271:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_19_261": {
            "name": "Slice_Slice_19",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    1,
                    0
                ],
                "slice_end": [
                    1,
                    320,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    1,
                    2,
                    1
                ]
            },
            "inputs": [
                "@Slice_Slice_14_273:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_29_260": {
            "name": "Slice_Slice_29",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    320,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    1,
                    2,
                    1
                ]
            },
            "inputs": [
                "@Slice_Slice_24_272:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_39_262": {
            "name": "Slice_Slice_39",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    1,
                    0
                ],
                "slice_end": [
                    1,
                    320,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    1,
                    2,
                    1
                ]
            },
            "inputs": [
                "@Slice_Slice_34_274:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
依然会报错,但似乎错误正常一点:
ValueError: Dimension 1 in both shapes must be equal, but are 320 and 319. Shapes are [1,320,320] and [1,319,320]. for 'Concat_Concat_40_252/Concat_Concat_40_252' (op: 'ConcatV2') with input shapes: [1,320,320,3], [1,320,320,3], [1,319,320,3], [1,319,320,3], [] and with computed input tensors: input[4] = <3>.
​
Concat_Concat_40_252层的JSON代码:
"Concat_Concat_40_252": {            "name": "Concat_Concat_40",
            "op": "concat",
            "parameters": {
                "dim": 3
            },
            "inputs": [
                "@Slice_Slice_9_259:out0",
                "@Slice_Slice_19_261:out0",
                "@Slice_Slice_29_260:out0",
                "@Slice_Slice_39_262:out0"
            ],
            "outputs": [
                "out0"
            ]
        },​
这里看似乎只是Slice_Slice_29_260和Slice_Slice_39_262的宽度输出有问题,分析配置可能是NPU量化工具对slice_begin的值为1时转化会有问题(试过对slice_end加上1问题也一样)?但似乎只是第一层的slice_begin的为1时转化才有问题,第二层的slice_begin的为1时转化并没有问题(Slice_Slice_19_261是对的,Slice_Slice_39_262第二层slice_begin为1转化的那个维度的输出大小也没问题)。猜测可能是最后一层的slice_begin为1转化才是对的,经过多层会出错?具体也不能确定,没有NPU量化工具源码,只能试试看。
​
这样的话就只可以用一层Slice来实现,而不可以用两层Slice来实现。好消息了,Slice的定义是支持对多个维度进行的,其实也不需要分成两个层,一台Slice也可以实现。因此,删除掉第一层的JSON代码,修改第二层的JSON代码如下:
"Slice_Slice_9_259": {
            "name": "Slice_Slice_9",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    2,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_19_261": {
            "name": "Slice_Slice_19",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    0,
                    1,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    2,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_29_260": {
            "name": "Slice_Slice_29",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    1,
                    0,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    2,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },
        "Slice_Slice_39_262": {
            "name": "Slice_Slice_39",
            "op": "stridedslice",
            "parameters": {
                "slice_begin_mask": 0,
                "slice_end_mask": 0,
                "slice_ellipsis_mask": 0,
                "slice_new_axis_mask": 0,
                "slice_shrink_axis_mask": 0,
                "slice_begin": [
                    0,
                    1,
                    1,
                    0
                ],
                "slice_end": [
                    1,
                    640,
                    640,
                    3
                ],
                "slice_strides": [
                    1,
                    2,
                    2,
                    1
                ]
            },
            "inputs": [
                "@images_280:out0"
            ],
            "outputs": [
                "out0"
            ]
        },​
修改为这样会就能正常量化通过了:
I Dump net quantize tensor table to ../../out/models/yolox/yolox.quantize
I [TRAINER]Quantization complete.
[TRAINER]Quantization complete.
I Save net to ../../out/models/yolox/yolox.data I Clean.
I ----------------Warning(0)----------------
没有源码,bug又不少的转换工具,或是挺折腾人的。
​

二、
ZEROPK
你好,请问在A311D上用 open ai lab 的tengine框架部署模型没,性能上有什么区别没
用PixPix生成超酷炫电视壁纸
回复 赞 踩
使用道具 举报
快速回复
您需要登录后才可以回帖 登录 | 立即注册

当贝投影