Pose Estimation

Pose Estimation

• เพื่อเรียนรู้เกี่ยวกับการใช้ประโยชน์จากโมดูล calib3d ในการสร้างผลงาน 3D บางอย่าง

Basics

• เป็นเพียงส่วนเล็กๆ ในช่วงที่ผ่านมาในการเปรียบเทียบกล้องจนพบเมทริกซ์กล้องสัมประสิทธิ์การบิดเบือน ฯลฯ กำหนดรูปแบบของภาพที่สามารถหาผลประโยชน์จากข้อมูลดังกล่าวข้างต้นในการคำนวณก่อให้เกิดหรือว่าวัตถุที่ตั้งอยู่ในพื้นที่ เช่น วิธีการที่จะหมุน หรือวิธีที่จะย้าย ฯลฯ สำหรับกำหนดรูปแบบของภาพที่เราสามารถใช้จากข้อมูลที่เล่าไว้ก่อนหน้านี้นั้นว่า การคำนวณก่ให้เกิดหรือมีวัตถุที่ตั้งอยู่ในพื้นที่ เช่นวิธีการที่จะหมุน วิธีการที่จะย้าย สำหรับวัตถุระนาบเราจะสามารถสรุปได้ Z= 0 เช่นว่าปัญหาที่เกิดขึ้นตอนนี้กลายเป็นว่ากล้องจะอยู่ในพื้นที่ที่จะเห็นภาพรูปแบบของที่เราสร้างขึ้นนั้น ดัััััััังนั้นถ้าเรารู้วิธีที่วัตถุอยู่ในพื้นที่ที่สามารถวาด Diagram 2D บางอย่างนั้นลงไปเพื่อจำลองผล 3D

• ปัญหาของตอนนี้คือที่แทนที่จะดึง 3D ของแกนประสาน (X,Y,Z) เช่นกระดานหมากรุกที่มุมแรกจะเป็นแกน X สีฟ้า , แกน Y เขียว , แกน Z แดง ดังนั้นในการแสดงผลของแกน Z ควรจะเห็นว่าตั้งฉากกับระนาบกระดานหมากรุก

• • อันดับแรกเลย ลองโหลด Camera matrix และ distortion coefficients จากผลลัพธ์ของ calibration

ตัวอย่าง CODE

import cv2
import numpy as np
import glob
 
 # Load previously saved data
with np.load('B.npz') as X:
    mtx, dist, _, _ = [X[i] for i in ('mtx','dist','rvecs','tvecs')]

• ต่อไปจะใช้ฟังก์ชั่น cv2.findChessboardCorners() เพื่อสร้างมุมและหา axis points เพื่อวาดรูป 3D axis

def draw(img, corners, imgpts):
    corner = tuple(corners[0].ravel())
    img = cv2.line(img, corner, tuple(imgpts[0].ravel()), (255,0,0), 5)
    img = cv2.line(img, corner, tuple(imgpts[1].ravel()), (0,255,0), 5)
    img = cv2.line(img, corner, tuple(imgpts[2].ravel()), (0,0,255), 5)
    return img

• ต่อไปนี้ในกรณีก่อนหน้านี้จะสร้างเกณฑ์การยกเลิกจุดวัตถุ และจุดแกน โดยจุดแกนในพื้นทืี่ 3D สำหรับวาดแกนนั้น เราจะวาดแกน length=3 ดังนั้นแกน X จะถูกดึงออกมาจาก (0,0,0) to (3,0,0) X และ Y สำหรับแกน Z จะถูกดึงมากจาก (0,0,0) ถึง (0,0,-3) เชิงลบหมายถึงการว่าในกล้อง

criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
objp = np.zeros((6*7,3), np.float32)
objp[:,:2] = np.mgrid[0:7,0:6].T.reshape(-1,2)
 
axis = np.float32([[3,0,0], [0,3,0], [0,0,-3]]).reshape(-1,3)

• ในตอนนี้จะห่าค่า 7x6 grid ถ้าหากเจอจะทำการ subconner จากนั้นจะคำนวณค่า rotation และ translation โดยใช้ฟังก์ชั่น cv2.solvePnPRansac().

for fname in glob.glob('left*.jpg'):
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    ret, corners = cv2.findChessboardCorners(gray, (7,6),None)
 
    if ret == True:
        corners2 = cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
 
        # Find the rotation and translation vectors.
        rvecs, tvecs, inliers = cv2.solvePnPRansac(objp, corners2, mtx, dist)
 
        # project 3D points to image plane
        imgpts, jac = cv2.projectPoints(axis, rvecs, tvecs, mtx, dist)
 
        img = draw(img,corners2,imgpts)
        cv2.imshow('img',img)
        k = cv2.waitKey(0) & 0xff
        if k == 's':
            cv2.imwrite(fname[:6]+'.png', img)
 
cv2.destroyAllWindows()

Result

[[ไฟล์:]]

Render a Cube

• หากต้องการจะวาดลูกบาศก์ โดยแก้ไข ฟังก์ชั่น draw() ที่เราสร้างขึ้นนั้นโดย :

def draw(img, corners, imgpts):
    imgpts = np.int32(imgpts).reshape(-1,2)
 
    # draw ground floor in green
    img = cv2.drawContours(img, [imgpts[:4]],-1,(0,255,0),-3)
 
    # draw pillars in blue color
    for i,j in zip(range(4),range(4,8)):
        img = cv2.line(img, tuple(imgpts[i]), tuple(imgpts[j]),(255),3)
 
     # draw top layer in red color
    img = cv2.drawContours(img, [imgpts[4:]],-1,(0,0,255),3)
 
    return img

• แก้ไข Axis Points จะได้มุม 8 มุมสำหรับทำ ลูกบากศ์ 3 มิติ

axis = np.float32([[0,0,0], [0,3,0], [3,3,0], [3,0,0],
                    [0,0,-3],[0,3,-3],[3,3,-3],[3,0,-3] ])

Result

[[ไฟล์:]]