AKAZE本地功能匹配

介紹

在本教程中，我們將學(xué)習(xí)如何使用AKAZE [5]本地功能來檢測(cè)和匹配兩個(gè)圖像上的關(guān)鍵點(diǎn)。我們將在給定的單對(duì)應(yīng)矩陣的一對(duì)圖像上找到關(guān)鍵點(diǎn)，匹配它們并計(jì)數(shù)

內(nèi)聯(lián)數(shù)（即適合給定單應(yīng)性匹配的）。

您可以在此找到此示例的擴(kuò)展版本：https：//github.com/pablofdezalc/test_kaze_akaze_opencv

數(shù)據(jù)

我們將使用牛津數(shù)據(jù)集的Graffity序列中的圖像1和3 。

Homography由3乘3矩陣給出：

7.6285898e-01 -2.9922929e-01 2.2567123e + 02
3.3443473e-01 1.0143901e + 00 -7.6999973e + 01
3.4663091e-04 -1.4364524e-05 1.0000000e + 00

您可以在opencv / samples / cpp中找到圖像（graf1.png，graf3.png）和單色（H1to3p.xml）。

源代碼

#include <opencv2/features2d.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/opencv.hpp>
#include <vector>
#include <iostream>
using namespace std;
using namespace cv;
const float inlier_threshold = 2.5f; // Distance threshold to identify inliers
const float nn_match_ratio = 0.8f;   // Nearest neighbor matching ratio
int main(void)
{
    Mat img1 = imread("../data/graf1.png", IMREAD_GRAYSCALE);
    Mat img2 = imread("../data/graf3.png", IMREAD_GRAYSCALE);
    Mat homography;
    FileStorage fs("../data/H1to3p.xml", FileStorage::READ);
    fs.getFirstTopLevelNode() >> homography;
    vector<KeyPoint> kpts1, kpts2;
    Mat desc1, desc2;
    Ptr<AKAZE> akaze = AKAZE::create();
    akaze->detectAndCompute(img1, noArray(), kpts1, desc1);
    akaze->detectAndCompute(img2, noArray(), kpts2, desc2);
    BFMatcher matcher(NORM_HAMMING);
    vector< vector<DMatch> > nn_matches;
    matcher.knnMatch(desc1, desc2, nn_matches, 2);
    vector<KeyPoint> matched1, matched2, inliers1, inliers2;
    vector<DMatch> good_matches;
    for(size_t i = 0; i < nn_matches.size(); i++) {
        DMatch first = nn_matches[i][0];
        float dist1 = nn_matches[i][0].distance;
        float dist2 = nn_matches[i][1].distance;
        if(dist1 < nn_match_ratio * dist2) {
            matched1.push_back(kpts1[first.queryIdx]);
            matched2.push_back(kpts2[first.trainIdx]);
        }
    }
    for(unsigned i = 0; i < matched1.size(); i++) {
        Mat col = Mat::ones(3, 1, CV_64F);
        col.at<double>(0) = matched1[i].pt.x;
        col.at<double>(1) = matched1[i].pt.y;
        col = homography * col;
        col /= col.at<double>(2);
        double dist = sqrt( pow(col.at<double>(0) - matched2[i].pt.x, 2) +
                            pow(col.at<double>(1) - matched2[i].pt.y, 2));
        if(dist < inlier_threshold) {
            int new_i = static_cast<int>(inliers1.size());
            inliers1.push_back(matched1[i]);
            inliers2.push_back(matched2[i]);
            good_matches.push_back(DMatch(new_i, new_i, 0));
        }
    }
    Mat res;
    drawMatches(img1, inliers1, img2, inliers2, good_matches, res);
    imwrite("akaze_result.png", res);
    double inlier_ratio = inliers1.size() * 1.0 / matched1.size();
    cout << "A-KAZE Matching Results" << endl;
    cout << "*******************************" << endl;
    cout << "# Keypoints 1:                        \t" << kpts1.size() << endl;
    cout << "# Keypoints 2:                        \t" << kpts2.size() << endl;
    cout << "# Matches:                            \t" << matched1.size() << endl;
    cout << "# Inliers:                            \t" << inliers1.size() << endl;
    cout << "# Inliers Ratio:                      \t" << inlier_ratio << endl;
    cout << endl;
    imshow("result", res);
    waitKey();
    return 0;
}

說明

• 加載圖像和單應(yīng)性
  

Mat img1 = imread("graf1.png", IMREAD_GRAYSCALE);
Mat img2 = imread("graf3.png", IMREAD_GRAYSCALE);
Mat homography;
FileStorage fs("H1to3p.xml", FileStorage::READ);
fs.getFirstTopLevelNode() >> homography;

我們正在加載灰度圖像。Homography存儲(chǔ)在使用FileStorage創(chuàng)建的xml中。

• 使用AKAZE檢測(cè)關(guān)鍵點(diǎn)并計(jì)算描述符
  

vector<KeyPoint> kpts1, kpts2;
Mat desc1, desc2;
AKAZE akaze;
akaze(img1, noArray(), kpts1, desc1);
akaze(img2, noArray(), kpts2, desc2);

我們創(chuàng)建AKAZE對(duì)象并使用它的operator（）功能。由于我們不需要mask參數(shù)，所以使用noArray（）。

• 使用強(qiáng)力匹配器找到2-nn個(gè)匹配項(xiàng)
  

BFMatcher matcher(NORM_HAMMING);
vector< vector<DMatch> > nn_matches;
matcher.knnMatch(desc1, desc2, nn_matches, 2);

我們使用漢明距離，因?yàn)锳KAZE默認(rèn)使用二進(jìn)制描述符。

• 使用2-nn匹配來找到正確的關(guān)鍵點(diǎn)匹配
  

for(size_t i = 0; i < nn_matches.size(); i++) {
    DMatch first = nn_matches[i][0];
    float dist1 = nn_matches[i][0].distance;
    float dist2 = nn_matches[i][1].distance;
    if(dist1 < nn_match_ratio * dist2) {
        matched1.push_back(kpts1[first.queryIdx]);
        matched2.push_back(kpts2[first.trainIdx]);
    }
}

如果最接近的比例比第二個(gè)最接近的比例更接近，則匹配是正確的。

• 檢查我們的匹配是否適合單性模型

for(int i = 0; i < matched1.size(); i++) {
    Mat col = Mat::ones(3, 1, CV_64F);
    col.at<double>(0) = matched1[i].pt.x;
    col.at<double>(1) = matched1[i].pt.y;
    col = homography * col;
    col /= col.at<double>(2);
    float dist = sqrt( pow(col.at<double>(0) - matched2[i].pt.x, 2) +
                       pow(col.at<double>(1) - matched2[i].pt.y, 2));
    if(dist < inlier_threshold) {
        int new_i = inliers1.size();
        inliers1.push_back(matched1[i]);
        inliers2.push_back(matched2[i]);
        good_matches.push_back(DMatch(new_i, new_i, 0));
    }
}

如果從第一關(guān)鍵點(diǎn)的投影到第二關(guān)鍵點(diǎn)的距離小于閾值，則它適合于單應(yīng)性。

我們?yōu)閮?nèi)部值創(chuàng)建一組新的匹配，因?yàn)樗抢L制函數(shù)所必需的。

• 輸出結(jié)果
  

Mat res;
drawMatches(img1, inliers1, img2, inliers2, good_matches, res);
imwrite("res.png", res);
...

這里我們保存生成的圖像并打印一些統(tǒng)計(jì)信息。

結(jié)果

找到匹配

A-KAZE匹配結(jié)果

Keypoints 1:   2943
Keypoints 2:   3511
Matches:       447
Inliers:       308
Inlier Ratio: 0.689038}