在機器視覺中，有時需要對產(chǎn)品進行檢測和計數(shù)。其難點無非是對于產(chǎn)品的圖像分割。

由于之前網(wǎng)購的維生素片，有時候忘了今天有沒有吃過，就想對瓶子里的藥片計數(shù)...在學習opencv以后，希望實現(xiàn)對于維生素片分割計數(shù)算法。本次實戰(zhàn)在基于形態(tài)學的基礎上又衍生出基于距離變換的分水嶺算法，使其實現(xiàn)的效果更具普遍性。

---

基于形態(tài)學的維生素片檢測和計數(shù)

整體思路：

1. 讀取圖片

2. 形態(tài)學處理（在二值化前進行適度形態(tài)學處理，效果俱佳）

3. 二值化

4. 提取輪廓（進行藥片分割）

5. 獲取輪廓索引，并篩選所需要的輪廓

6. 畫出輪廓，顯示計數(shù)

opencv實現(xiàn)：

int main(int argc, char** argv)
{
    Mat src, src_binary,dst,src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數(shù).png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(16, 16), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態(tài)學",dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);
    vector<vector> contours;
    findContours(src_binary, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE, Point(0, 0));
    RNG rng(12345);
    double area;
    Point2i PL;
    for (size_t i = 0; i < contours.size(); i++)
    {
        area = contourArea(contours[i]);
        if (area < 500)continue;
        PL = contours[i].front();
        Scalar color = Scalar(rng.uniform(0, 255), rng.uniform(0, 255), rng.uniform(0, 255));
        drawContours(src, contours, i, color, 2, 8);
        putText(src, to_string(i), PL, FONT_HERSHEY_COMPLEX, 1, color, 2);            
    }
    imshow("計數(shù)結果", src);
    waitKey(0);
    return 0;
}

效果展示：

由上圖可以看的，原圖在經(jīng)過形態(tài)學處理后，可以去除很多細節(jié)，簡化后續(xù)的藥片分割操作。

但是在計數(shù)結果圖上發(fā)現(xiàn)，索引17號藥片并沒有完全分割（實際上修改形態(tài)學的結構元素尺寸（改為20*20）也可以完全分離這兩個藥片）。

這不由得讓我們思考，如果簡單的形態(tài)學處理分割不了藥片呢？

對于復雜的產(chǎn)品圖片，我們可以使用基于距離變換的分水嶺算法對其分割。

---

基于距離變換的分水嶺算法檢測和計數(shù)

OpenCV 采用了基于標記點的分水嶺算法，在這種算法中我們要設置哪些山谷點會匯合，哪些不會。這是一種交互式的圖像分割。我們要做的就是給我們已知的對象打上不同的標簽（即添加注水點）。然后實施分水嶺算法。每一次灌水，我們的標簽就會被更新，當兩個不同顏色的標簽相遇時就構建堤壩，直到將所有山峰淹沒，最后我們得到的邊界對象（堤壩）的值為 -1。

對于如何打上標簽（即添加注水點）有兩種辦法：

opencv中，對于一張二值化的圖像，后續(xù)處理方式有兩種。第一種方式就是利用findContours、drawContours等函數(shù)進行輪廓分析（opencv以對輪廓的處理為主）。第二種方式就是計算連通域進行區(qū)域分析。

第一種（基于輪廓）：在二值化后，對圖像尋找輪廓findContours，篩選出注水區(qū)域輪廓，然后通過drawContours對輪廓標記。

第二種（基于區(qū)域）：在二值化后，先對尋找圖像中的前景圖（即注水點），再尋找到背景圖（進行膨脹），最后找到未知區(qū)域（背景減去前景，得到邊緣圖），通過connectedComponents()獲取標記點。

相關API:

• 分水嶺函數(shù)watershed函數(shù)原型

• void watershed( InputArray image, InputOutputArray markers );

第一個輸入參數(shù) image，必須是CV_8UC3類型圖像。

第二個輸入/輸出參數(shù)markers必須是32位單通道圖像。和image尺寸一樣。包含不同區(qū)域的輪廓，每個輪廓有一個自己唯一的編號。

在執(zhí)行watershed函數(shù)后，算法會根據(jù)markers傳入的輪廓作為種子，對圖像上其他的像素點根據(jù)分水嶺算法規(guī)則進行判斷，并對每個像素點的區(qū)域歸屬進行劃定，直到處理完圖像上所有像素點。而區(qū)域與區(qū)域之間的分界處的值被置為“-1”，以做區(qū)分。

• 距離變換函數(shù)distanceTransform函數(shù)原型

距離變換運算用于計算二值化圖像中的每一個非零點距自己最近的零點的距離，距離變換圖像上越亮的點，代表了這一點距離零點的距離越遠。

距離變換通常用于求解圖像的骨骼和查找物體的質心（即獲取距離變換的極大值）和計算非零像素到最近零像素點的最短距離。

distanceTransform( InputArray src, OutputArray dst, int distanceType, int maskSize，
int dstType = CV_32F
);

第一個輸入?yún)?shù)src，必須是CV_8UC1類型的二值圖像（只有0或1）

第二個輸出參數(shù)dst，表示的是計算距離的輸出圖像，輸出類型是CV_32F/CV_8U的單通道圖像，大小與輸入圖片相同。

第三個參數(shù)distanceType，表示的是選取距離的類型，可以設置為DIST_L1,DIST_L2,DIST_C

第四個參數(shù)maskSize，表示的是距離變換的掩膜模板，可以設置為3，5（常用3）

第四個參數(shù)dstType，表示輸出類型,可選擇CV_32F/CV_8U

注：若輸出類型為CV_32F，想要顯示距離變換后的骨架圖像，需要對其歸一化。（normalize）

先來看看第一種標記mark（基于輪廓）的方法：

---

（一）讀入圖像，形態(tài)學，二值化（消除噪聲）

Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數(shù).png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態(tài)學", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);

---

（二）距離變換（歸一化顯示），再二值化

 distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    normalize(src_distance, src_distance, 0, 1, NORM_MINMAX);
    imshow("距離變換", src_distance);
    threshold(src_distance, src_distance, 0.4,1, THRESH_BINARY);
    imshow("再二值化", src_distance);

經(jīng)過距離變換后的二值化，可以清晰看到，藥片以及完全分割開來。

---

（三）打上標簽（添加注水點）,基于輪廓

//尋找標記點marsk的輪廓信息 也就是分水嶺的水壩
    src_distance.convertTo(src_distance, CV_8UC1);
    vector<vector> contours;    
    findContours(src_distance, contours, RETR_TREE, CHAIN_APPROX_SIMPLE);
    //創(chuàng)建maker
    Mat markers = Mat::zeros(src.size(), CV_32S);//  //因為分水嶺后的邊緣存儲是-1，所以必須使用有符號的CV_32S
    for (size_t t = 0; t < contours.size(); t++) 
    {
        drawContours(markers, contours, static_cast<int>(t), Scalar(static_cast<int>(t) + 1), -1);//輪廓數(shù)字編號
    }
    circle(markers, Point(5, 5), 30, Scalar(255), -1);//關鍵代碼（mark做一個小標記）
    int index1 = 0;
    //打印輪廓數(shù)據(jù) 有值的均為輪廓線
    for (int row = 0; row < markers.rows; row++)
        for (int col = 0; col < markers.cols; col++)
        {
            index1 = markers.at<int>(row, col);
            cout << index1 << ",";
        }

部分標簽markers輪廓數(shù)據(jù)截圖，可以看到0代表背景，輪廓線用正數(shù)索引標識。

---

（四）進行分水嶺操作，并給分水嶺后的區(qū)域隨機上色，并打印出檢測的藥片個數(shù)。

// 生成隨機顏色
    vector colors;
    for (size_t i = 0; i < contours.size(); i++) {
        int r = theRNG().uniform(0, 255);
        int g = theRNG().uniform(0, 255);
        int b = theRNG().uniform(0, 255);
        colors.push_back(Vec3b((uchar)b, (uchar)g, (uchar)r));
    }


    // 顏色填充與最終顯示
    Mat dst1 = Mat::zeros(markers.size(), CV_8UC3);
    int index = 0;
    for (int row = 0; row < markers.rows; row++) {
        for (int col = 0; col < markers.cols; col++) {
            index = markers.at<int>(row, col);
            
            if (index > 0 && index <= contours.size()) {
                dst1.at(row, col) = colors[index - 1];


            }
            else {
                dst1.at(row, col) = Vec3b(0, 0, 0);
            }


        }
    }
    imshow("結果顯示", dst1);
    printf("藥片檢測個數(shù): %d
", contours.size());

再來看看第二種標記mark（基于區(qū)域）的方法：

---

（一）讀入圖像，形態(tài)學，二值化（消除噪聲）

 Mat foreground, background, unkonwn;//創(chuàng)建前景，背景,未知區(qū)域
    Mat src, src_binary, dst, src_distance;
    src = imread("D:/opencv練習圖片/維生素片機器視覺檢測和計數(shù).png");
    imshow("原圖片", src);
    Mat kernel = getStructuringElement(MORPH_RECT, Size(3, 3), Point(-1, -1));
    morphologyEx(src, dst, MORPH_OPEN, kernel);
    imshow("形態(tài)學", dst);
    cvtColor(dst, dst, COLOR_RGB2GRAY);
    threshold(dst, src_binary, 100, 255, THRESH_OTSU);
    imshow("二值化", src_binary);

---

（二）對二值化圖像進行膨脹操作，得到大部分是背景的圖片

//得到背景圖片
    dilate(src_binary, background, kernel, Point(-1, -1), 3);
imshow("背景圖片",background);

---

（三）通過對二值圖像距離變換得到前景圖片（即注水點）

//距離變換
    distanceTransform(src_binary, src_distance, DIST_L2, 3, 5);
    imshow("距離變換", src_distance);
    normalize(src_distance, src_distance, 0, 255, NORM_MINMAX);
    double my_minv = 0.0, my_maxv = 0.0;
    minMaxIdx(src_binary, &my_minv, &my_maxv);
    threshold(src_distance, foreground, 0.4 * my_maxv, 255, THRESH_BINARY);
    foreground.convertTo(foreground, CV_8U);
    imshow("前景圖片", foreground);

---

（四）通過背景與前景的差值，得到未知區(qū)域（即邊緣所在區(qū)域）

//得到未知區(qū)域
    unkonwn = background - foreground;
imshow("未知區(qū)域",unkonwn);

---

（五）得到這些區(qū)域以后，我們可以獲取注水點的標簽，通過connectedComponents實現(xiàn)（即獲取markers標簽）

//創(chuàng)建標記點markers
    Mat markers = Mat(src.size(), CV_32S);
    int num = connectedComponents(foreground, markers, 8);
    cout << num << endl;
    markers = markers + 1;
    for (int i = 0; i < unkonwn.rows; i++)
    {
        for (int j = 0; j < unkonwn.cols; j++)
        {
            if (((int)unkonwn.at(i, j)) == 255)
            {
                markers.at<signed int>(i, j) = 0;
            }
        }
    }

詳細理解該步驟：

現(xiàn)在我們已經(jīng)知道哪些是背景，哪些是藥片（前景區(qū)域）。

因此我們可以創(chuàng)建一個標簽（和原圖大小，類型為CV_32S)，通過connectedComponents函數(shù)對前景區(qū)域進行標記

連通域相關博文：opencv——連通域標記與分析 - 唯有自己強大 - 博客園 (cnblogs.com)

該函數(shù)會對前景區(qū)域連通域分析，并將背景設定為0，其他區(qū)域從1開始正整數(shù)標記（這就是我們的種子，水漫時會從這里漫出），結果返回給markers。

但是對于分水嶺算法，會將為0的區(qū)域認為是未知區(qū)域，因此要markers整體加一。

---

（六）進行分水嶺操作，并顯示邊緣

watershed(src, markers);
    for (int row = 0; row < markers.rows; row++)
    {
        for (int col = 0; col < markers.cols; col++)
        {


            if (markers.at< int>(row, col) == -1)
            {
                src.at(row, col) = Vec3b(0, 0, 255);
            }
        }
    }


    imshow("結果", src);

由于分水嶺算法會將找到的邊緣在markers置為-1,因此我們對原圖操作，將索引為-1的位置的像素值改為紅色（即顯示邊緣）。

參考鏈接：OpenCV---分水嶺算法 - 山上有風景 -

(8條消息) c++和opencv小知識：基于距離變換的分水嶺算法（固定流程）_夢游城市的博客

(8條消息) OpenCV分水嶺算法圖像分割_冰冰bing的博客-

審核編輯 ：李倩