Какую функцию openCv можно использовать для вычисления преобразования перспективы BEV с учетом координат точки и внешних/внутренних характеристик камеры?

Ответ таков: невозможно вычислить BEV сцены, если у вас нет информации о расстоянии о пикселях вашего изображения.

Подумайте об этом: представьте, что у вас есть изображение вертикального экрана: тогда вид с высоты птичьего полета будет линией. Теперь скажем, что на этом экране отображается изображение пейзажа и что изображение на этом экране неотличимо от изображения самого пейзажа. BEV по-прежнему будет линией (хотя и красочной).

Теперь представьте, что у вас есть точно такая же картинка, но на этот раз это не изображение экрана, а пейзаж. Тогда вид с высоты птичьего полета не является линией и ближе к тому, что мы обычно представляем себе как BEV.

Наконец, позвольте мне заявить, что OpenCV не может узнать, описывает ли ваше изображение плоскость чего-то другого (даже с заданными параметрами камеры), поэтому он не может вычислить BEV вашей сцены. Функция cv2.perspectiveTransform требует, чтобы вы передали ей матрицу гомографии (вы можете получить ее, используя cv2.findHomography(), но вам также понадобится информация о расстоянии от вашего изображения).

Извините за отрицательный ответ, но решить вашу проблему невозможно, учитывая только внутреннюю и внешнюю калибровочные матрицы камеры.

После тщательного расследования я нашел хорошее решение:

projection matrix — это произведение матриц extrinsic и intrinsic камеры.

• https://medium.com/analytics-vidhya/using-homography-for-pose-estimation-in-opencv-a7215f260fdd
• Поскольку extrinsic — это матрица 4x3, а intrinsec — это матрица 3x3, но нам нужно, чтобы projection matrix была матрицей 3x3, то перед выполнением умножения нам нужно преобразовать extrinsic в 3x3.

cv2.getPerspectiveTransform() дает нам Projection Matrix, когда у нас нет параметров камеры:

• https://towardsdatascience.com/a-hands-on-application-of-homography-ipm-18d9e47c152f

cv2.warpPerspective() трансформирует само изображение.

Для приведенной выше задачи нам не нужны эти две функции, поскольку у нас уже есть extrinsics, intrinsecs и координаты точек на изображении.

Учитывая вышеизложенное, я написал функцию для преобразования в BEV список точек list_x_y с учетом intrinsics и extrinsics:

    def compute_point_perspective_transformation(intrinsics, extrinsics, point_x_y):
    """Auxiliary function to project a specific point to BEV
        
        Parameters
        ----------
        intrinsics (array)     : The camera intrinsics matrix
        extrinsics (array)     : The camera extrinsics matrix
        point_x_y (tuple[x,y]) : The coordinates of the point to be projected to BEV
        
        Returns
        ----------
        tuple[x,y] : the projection of the point
    """
        # Using the camera calibration for Bird Eye View
        intrinsics_matrix = np.array(intrinsics, dtype='float32')
        #In the intrinsics we have parameters such as focal length and the principal point

        extrinsics_matrix = np.array(extrinsics, dtype='float32')
        #The extrinsic matrix stores the position of the camera in global space
        #The 1st 3 columns represents the rotation matrix and the last is a translation vector
        extrinsics = extrinsics[:, [0, 1, 3]]

        #We removed the 3rd column of the extrinsics because it represents the z coordinate (0)
        projection_matrix = np.matmul(intrinsics_matrix, extrinsics_matrix)

        # Compute the new coordinates of our points - cv2.perspectiveTransform expects shape 3
        list_points_to_detect = np.array([[point_x_y]], dtype=np.float32)
        transformed_points = cv2.perspectiveTransform(list_points_to_detect, projection_matrix)
        return transformed_points[0][0][0], transformed_points[0][0][1]

Поскольку у вас есть модель камеры, готовым (но не полным) решением будет использование функции getTopViewOfImageиз библиотеки преобразования камеры