Meanshift and Camshift

วัตถุประสงค์

• เราจะได้เรียนรู้เกี่ยวกับ Mean Shift และอัลกอริทึม Camshift ในการค้นหาและติดตามวัตถุในวิดีโอ

Meanshift
meanshift เป็นเรื่องง่าย พิจารณาคุณมีชุดของจุด (มันอาจจะเป็นการกระจายพิกเซลเช่น histogram backprojection) คุณจะได้รับหน้าต่างเล็ก ๆ (อาจจะเป็นวงกลม) และคุณจะต้องย้ายหน้าต่างที่ไปยังพื้นที่ของความหนาแน่นของพิกเซลสูงสุด (หรือจำนวนสูงสุดของคะแนน)

มีข้อผิดพลาดในการสร้างรูปย่อ: ไฟล์สูญหาย

หน้าต่างเริ่มต้นปรากฏอยู่ในวงกลมสีฟ้าที่มีชื่อ "C1" ที่ศูนย์เดิมมีการทำเครื่องหมายในรูปสี่เหลี่ยมผืนผ้าสีฟ้าชื่อ "C1_o" แต่ถ้าคุณพบเซนทรอยด์ของจุดภายในหน้าต่างว่าคุณจะได้รับจุด "C1_r" (การทำเครื่องหมายในวงกลมเล็ก ๆ สีฟ้า) ซึ่งเป็นเซนทรอยด์ที่แท้จริงของหน้าต่าง แน่นอนพวกเขาไม่ตรง ดังนั้นย้ายหน้าต่างของคุณเช่นที่วงกลมของหน้าต่างใหม่ตรงกับเซนทรอยด์ก่อนหน้านี้ อีกครั้งพบว่าเซนทรอยด์ใหม่ ส่วนใหญ่อาจจะไม่ตรง ดังนั้นย้ายอีกครั้งและยังคงทำซ้ำดังกล่าวว่าศูนย์ของหน้าต่างและเซนทรอยด์ของมันตกอยู่ในสถานที่เดียวกัน (หรือมีข้อผิดพลาดเล็ก ๆ ) ดังนั้นในที่สุดสิ่งที่คุณได้รับเป็นหน้าต่างที่มีการกระจายพิกเซลสูงสุด มันจะมีเครื่องหมายวงกลมสีเขียวชื่อ "C2" ขณะที่คุณสามารถเห็นในภาพก็มีจำนวนสูงสุดของจุด กระบวนการทั้งหมดจะแสดงให้เห็นในภาพคงที่ด้านล่าง

Meanshift in OpenCV ที่จะใช้ใน meanshift OpenCV แรกที่เราต้องตั้งค่าเป้าหมายพบ histogram เพื่อให้เราสามารถ backproject เป้าหมายในแต่ละกรอบการคำนวณ meanshift นอกจากนี้เรายังต้องการที่จะให้สถานที่เริ่มต้นของหน้าต่าง สำหรับแท่งเท่านั้นเ นอกจากนี้เพื่อหลีกเลี่ยงค่าเท็จเนื่องจากปริมาณแสงต่ำค่าแสงน้อยจะถูกยกเลิกการใช้ cv2.inRange () ฟังก์ชัน

import numpy as np
import cv2
 
cap = cv2.VideoCapture('vedeos.mp4')
 
# take first frame of the video
ret,frame = cap.read()
 
# setup initial location of window
r,h,c,w = 50,70,170,100  # simply hardcoded the values
track_window = (c,r,w,h)
 
# set up the ROI for tracking
roi = frame[r:r+h, c:c+w]
hsv_roi =  cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)
 
# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )
 
while(1):
    ret ,frame = cap.read()
 
    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)
 
        # apply meanshift to get the new location
        ret, track_window = cv2.meanShift(dst, track_window, term_crit)
 
        # Draw it on image
        x,y,w,h = track_window
        img2 = cv2.rectangle(frame, (x,y), (x+w,y+h), 255,2)
        cv2.imshow('img2',img2)
 
        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k)+".jpg",img2)
 
    else:
        break
 
cv2.destroyAllWindows()
cap.release()

Camshift
หน้าต่างของเรามักจะมีขนาดเดียวกันเมื่อรถเป็นห่างไกลออกไปและมันก็เป็นมากใกล้เคียงกับกล้อง ที่ไม่ดี เราจำเป็นต้องปรับตัวเข้ากับขนาดของหน้าต่างที่มีขนาดและการหมุนของเป้าหมาย อีกครั้งหนึ่งที่แก้ปัญหามาจาก "OpenCV Labs" และเป็นที่เรียก CAMshift (Adaptive อย่างต่อเนื่อง Meanshift) ตีพิมพ์โดยแกรี่ Bradsky ในกระดาษของเขา "วิสัยทัศน์คอมพิวเตอร์ติดตามใบสำหรับใช้ในส่วนติดต่อผู้ใช้รับรู้" ในปี 1988

Camshift ใน OpenCV
มันเกือบจะเป็นเช่นเดียวกับการเปลี่ยนแปลงค่าเฉลี่ย แต่มันกลับสี่เหลี่ยมผืนผ้าหมุน (นั่นคือผลของเรา) และพารามิเตอร์กล่อง (ที่ใช้ในการส่งผ่านเป็นหน้าต่างการค้นหา) ดูโค๊ดข้างล่างนี้

import numpy as np
import cv2
 
cap = cv2.VideoCapture('vedeos.mp4')
 
# take first frame of the video
ret,frame = cap.read()
 
# setup initial location of window
r,h,c,w = 50,70,170,100   # simply hardcoded the values
track_window = (c,r,w,h)

# set up the ROI for tracking
roi = frame[r:r+h, c:c+w]
hsv_roi =  cv2.cvtColor(roi, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv_roi, np.array((0., 60.,32.)), np.array((180.,255.,255.)))
roi_hist = cv2.calcHist([hsv_roi],[0],mask,[180],[0,180])
cv2.normalize(roi_hist,roi_hist,0,255,cv2.NORM_MINMAX)

# Setup the termination criteria, either 10 iteration or move by atleast 1 pt
term_crit = ( cv2.TERM_CRITERIA_EPS | cv2.TERM_CRITERIA_COUNT, 10, 1 )
 
while(1):
    ret ,frame = cap.read()
 
    if ret == True:
        hsv = cv2.cvtColor(frame, cv2.COLOR_BGR2HSV)
        dst = cv2.calcBackProject([hsv],[0],roi_hist,[0,180],1)

        # apply meanshift to get the new location
        ret, track_window = cv2.CamShift(dst, track_window, term_crit)
 
        # Draw it on image
        pts = cv2.boxPoints(ret)
        pts = np.int0(pts)
        img2 = cv2.polylines(frame,[pts],True, 255,2)
        cv2.imshow('img2',img2)
 
        k = cv2.waitKey(60) & 0xff
        if k == 27:
            break
        else:
            cv2.imwrite(chr(k)+".jpg",img2)
 
    else:
        break
 
cv2.destroyAllWindows()
cap.release()