Улучшите качество подписи, извлеченной с помощью OpenCV из отсканированного листа бумаги

HSV слишком сильно связан с фоном, поэтому это не лучший выбор.

В конце концов я перешел к решению с использованием регионов MSER. Мое окончательное решение, кажется, работает точно для всех моих тестовых случаев.

Вот основные реализованные шаги:

1. Преобразуйте изображение в серый
2. Обнаруженные регионы MSER
3. Рассчитан центроид региона
4. Добавлены два порога: вертикальный и горизонтальный (для пропуска областей, не связанных с подписью).
5. Создан ограничивающий прямоугольник со всеми областями, соблюдающими пороговые расстояния от центроида.
6. Извлекли рентабельность инвестиций с помощью bbox

Он работает со отсканированными документами, в которых необходимо обрезать и сохранить только подпись.

public static synchronized void extractSignature(File signature) {

        if (signature == null)
            return;

        String fileExtension = FilenameUtils.getExtension(signature.getName());

        // check if the file extension is correct!
        if (!fileExtension.toLowerCase().equals("jpg") && !fileExtension.toLowerCase().equals("jpeg") && !fileExtension.toLowerCase().equals("png")) {
            return;
        }

        // Load OpenCV library
        try {

            if (!isLoaded) {
                // System.loadLibrary(Core.NATIVE_LIBRARY_NAME); // not working
                // OpenCV.loadShared(); // not working
                OpenCV.loadLocally();
                isLoaded = true;
            }

        } catch (Exception e) {
            System.out.println(e.toString());
        }

        // Load image from file
        Mat image = Imgcodecs.imread(signature.getPath());
        // Make a copy of the original image
        Mat originalImage = image.clone();

        // Convert the image to grayscale
        Mat gray = new Mat();
        Imgproc.cvtColor(image, gray, Imgproc.COLOR_BGR2GRAY);

        // Create MSER and Detect MSER regions
        MSER mser = MSER.create();
        List<MatOfPoint> regions = new ArrayList<>();
        MatOfRect bboxes = new MatOfRect();
        mser.detectRegions(gray, regions, bboxes);

        // Calculate the Centroid of all MSER regions
        int totalX = 0;
        int totalY = 0;
        int totalPoints = 0;
        for (MatOfPoint region : regions) {
            Point[] points = region.toArray();
            for (Point point : points) {
                totalX += point.x;
                totalY += point.y;
                totalPoints++;
            }
        }

        Point centroid = new Point(totalX / totalPoints, totalY / totalPoints);


        // Draw the Centroid
        Mat centroidM = image.clone();
        Imgproc.circle(centroidM, centroid, 5, new Scalar(255, 0, 0), -1); // Draw the Centroid as a blue dot

        
        // Define vertical and horizontal distance thresholds (adjust as needed)
        double verticalThreshold = 200.0; // Vertical distance threshold
        double horizontalThreshold = 700.0; // Horizontal distance threshold

        // Find the bounding box that covers filtered MSER regions
        int minX = Integer.MAX_VALUE;
        int minY = Integer.MAX_VALUE;
        int maxX = Integer.MIN_VALUE;
        int maxY = Integer.MIN_VALUE;

        for (MatOfPoint region : regions) {
            Point[] points = region.toArray();
            for (Point point : points) {
                double verticalDistance = Math.abs(point.y - centroid.y);
                double horizontalDistance = Math.abs(point.x - centroid.x);

                if (verticalDistance <= verticalThreshold && horizontalDistance <= horizontalThreshold) {
                    if (point.x < minX) minX = (int) point.x;
                    if (point.y < minY) minY = (int) point.y;
                    if (point.x > maxX) maxX = (int) point.x;
                    if (point.y > maxY) maxY = (int) point.y;
                }
            }
        }

        // Draw the bounding box if valid points were found
        if (minX < Integer.MAX_VALUE && minY < Integer.MAX_VALUE && maxX > Integer.MIN_VALUE && maxY > Integer.MIN_VALUE) {
            Imgproc.rectangle(image, new Point(minX, minY), new Point(maxX, maxY), new Scalar(0, 255, 0), 2);
        }

        // Draw convex hulls
        Mat grayImg = image.clone();
        for (MatOfPoint region : regions) {
            MatOfInt hullIndices = new MatOfInt();
            Imgproc.convexHull(region, hullIndices);

            // Convert hull indices to points
            Point[] regionArray = region.toArray();
            List<Point> hullPoints = new ArrayList<>();
            for (int index : hullIndices.toArray()) {
                hullPoints.add(regionArray[index]);
            }
            MatOfPoint hull = new MatOfPoint();
            hull.fromList(hullPoints);

            // Draw the hull on the image
            List<MatOfPoint> hulls = new ArrayList<>();
            hulls.add(hull);
            Imgproc.polylines(grayImg, hulls, true, new Scalar(0, 0, 255), 2);
        }

        // Extract ROI, crop the original image using the bounding box
        Rect ROI = new Rect(minX, minY, maxX - minX, maxY - minY);
        Mat croppedImage = new Mat(originalImage, ROI);

        // Convert ROI to grayscale
        Mat grayROI = new Mat();
        Imgproc.cvtColor(croppedImage, grayROI, Imgproc.COLOR_BGR2GRAY);

        Imgproc.threshold(croppedImage, croppedImage, 150, 255, Imgproc.THRESH_BINARY);

        // Save and display images
        Imgcodecs.imwrite(FileUtils.getSignaturesFolder().getAbsolutePath() + File.separator + "image_with_bbox.jpg", image);
        Imgcodecs.imwrite(FileUtils.getSignaturesFolder().getAbsolutePath() + File.separator + signature.getName(), croppedImage);
        Imgcodecs.imwrite(FileUtils.getSignaturesFolder().getAbsolutePath() + File.separator + "grayROI.jpg", grayROI);
        Imgcodecs.imwrite(FileUtils.getSignaturesFolder().getAbsolutePath() + File.separator + "last.jpg", grayImg);
        Imgcodecs.imwrite(FileUtils.getSignaturesFolder().getAbsolutePath() + File.separator + "centroid.jpg", centroidM);

        return;
    }