摘要：雙目攝像頭檢測方案雙目攝像頭檢測流程人臉檢測結(jié)果信息調(diào)整若攝像頭和攝像頭的成像不一致存在偏移旋轉(zhuǎn)鏡像等問題，需要將傳遞給活體檢測的人臉信息人臉框人臉角度進(jìn)行調(diào)整。否則活體檢測將無法解析人臉，報錯誤。

前幾天虹軟推出了 Android ArcFace 2.2版本的SDK，相比于2.1版本，2.2版本中的變化如下：

? VIDEO模式新增faceId（類似于之前文章中提到的trackId）
? 新增IR活體檢測功能
? 新增IR、RGB的活體閾值設(shè)置

1. 定義

在連續(xù)的視頻幀中，當(dāng)一個人臉進(jìn)入視頻畫面直到離開，其faceId不變。

2. 應(yīng)用場景舉例

在門禁應(yīng)用場景下，若一個人長時間停留在畫面中，借助faceId的功能，在此人的人臉特征提取成功后，可不再對此人的后續(xù)人臉信息進(jìn)行處理。

3. 注意事項

faceId在VIDEO模式下有意義；
faceId在IMAGE模式下無效。

1. 接口介紹

支持的顏色格式如下：
Windows: GRAY、DEPTH_U16、NV21、NV12、I420
Android: GRAY、DEPTH_U16、NV21
注：若圖像數(shù)據(jù)的顏色格式不在上述列表中，必須對圖像數(shù)據(jù)進(jìn)行格式轉(zhuǎn)換。

2. IR活體檢測實(shí)現(xiàn)方案

? 單目攝像頭檢測方案（IR）

單目攝像頭檢測流程

注意：在Windows平臺下，若通過OpenCV獲取IR攝像頭的圖像數(shù)據(jù)，由于其顏色格式為BGR_24，不能用于IR活體檢測，需要轉(zhuǎn)成GRAY（或IR活體檢測接口支持的其他顏色格式），但BGR_24數(shù)據(jù)可直接用于人臉檢測。

? 雙目攝像頭檢測方案（IR + RGB）

雙目攝像頭檢測流程

人臉檢測結(jié)果信息調(diào)整 ：若RGB攝像頭和IR攝像頭的成像不一致（存在偏移、旋轉(zhuǎn)、鏡像等問題），需要將傳遞給IR活體檢測的人臉信息（人臉框、人臉角度）進(jìn)行調(diào)整。

3. 雙目IR活體檢測遇到的坑

在雙目的畫面有明顯的不一致的情況時，若我們直接把RGB攝像頭的人臉檢測結(jié)果用于IR活體檢測，很有可能會報81925（人臉置信度低）錯誤。原來，攝像頭回傳的數(shù)據(jù)和我們直接看到的畫面很可能是不一樣的，我們看到的畫面可能是經(jīng)過處理的（縮放、旋轉(zhuǎn)、鏡像等）。

? 檢測方法

最直觀的檢查方法就是將攝像頭數(shù)據(jù)顯示到屏幕上。只要我們把2個攝像頭回傳的數(shù)據(jù)顯示到屏幕上，就能了解兩個攝像頭數(shù)據(jù)的成像關(guān)系。例如Android平臺可使用以下方式查看NV21數(shù)據(jù)：
示例流程
nv21 -> YuvImage -> jpg bytes -> bitmap -> ImageView。
示例代碼

 @Override
  public void onPreview(final byte[] nv21, Camera camera) {
    ......
    //30幀一次，把幀數(shù)據(jù)顯示到界面上（要是每幀都做就太卡了），若還是影響UI請放到子線程處理
    if (index++ % 30 == 0) {
      YuvImage yuvImage = new YuvImage(nv21, ImageFormat.NV21, previewSize.width, previewSize.height, null);
      ByteArrayOutputStream baos = new ByteArrayOutputStream();
      yuvImage.compressToJpeg(new Rect(0, 0, previewSize.width, previewSize.height), 100, baos);
      byte[] bytes = baos.toByteArray();
      ivFrame.setImageBitmap(BitmapFactory.decodeByteArray(bytes, 0, bytes.length));
    }
    ......
  }

? 解決方案

1. RGB和IR攝像頭圖像數(shù)據(jù)的其中一個被左右鏡像

對于這種情況，我們在將RGB數(shù)據(jù)的人臉檢測結(jié)果用于IR活體檢測時，需要將其人臉框（rect）進(jìn)行左右鏡像調(diào)整。（Android demo中已提供左右鏡像的代碼）：

 /**
     * 人臉框水平鏡像
     *
     * @param rect 人臉框
     * @return 水平鏡像后的人臉框
     */
    private Rect mirrorRectHorizontal(Rect rect) {
        Rect newRect = new Rect(rect);
        newRect.right = previewSize.width - rect.left;
        newRect.left = previewSize.width - rect.right;
        return newRect;
    }

2. RGB和IR攝像頭圖像數(shù)據(jù)均被鏡像或均未被鏡像

對于這種情況，RGB數(shù)據(jù)的人臉檢測結(jié)果用于IR活體檢測時，不需要進(jìn)行鏡像調(diào)整。

3. RGB和IR攝像頭圖像數(shù)據(jù)有旋轉(zhuǎn)關(guān)系

若有旋轉(zhuǎn)關(guān)系，我們不僅要旋轉(zhuǎn)人臉信息（FaceInfo）中的人臉框（rect），還需要修改人臉角度（orient）。否則IR活體檢測將無法解析人臉，報81925錯誤。
（Android demo中已提供將orient單次旋轉(zhuǎn)90度的代碼）：

/**
 * 獲取逆時針旋轉(zhuǎn)90度后的人臉角度
 *
 * @param orient 人臉角度信息，即{@link FaceInfo#orient}屬性，由{@link FaceEngine#detectFaces(byte[], int, int, int, List)}接口獲取
 * @return 旋轉(zhuǎn)后的人臉角度
 */
private int rotateOrient(int orient) {
    switch (orient) {
        case FaceEngine.ASF_OC_0:
            return FaceEngine.ASF_OC_90;
        case FaceEngine.ASF_OC_90:
            return FaceEngine.ASF_OC_180;
        case FaceEngine.ASF_OC_180:
            return FaceEngine.ASF_OC_270;
        case FaceEngine.ASF_OC_270:
            return FaceEngine.ASF_OC_0;
        default:
            throw new IllegalArgumentException("unsupported orient "" + orient + """);
    }
}

以上是個人使用的一點(diǎn)心得，如果需要下載虹軟sdk可以到官網(wǎng)：https://ai.arcsoft.com.cn/pro...