Извлечение символов из форм с полем ввода в штучной упаковке

Я пытаюсь извлечь символы из всех полей в формах с такими полями, как показано здесь:

Образец печатной формы

Извлечение символов из форм с полем ввода в штучной упаковке

Мой текущий подход заключается в следующем:

  1. Обрезать поле из формы на основе некоторого стандартного формата.
  2. Предварительная обработка изображения и нахождение контуров вокруг прямоугольников полей.
  3. Основываясь на количестве полей в этом поле, обрежьте каждое маленькое поле и запустите распознавание символов на этих обрезанных изображениях символов.

Коробки могут быть немного наклонены на изображениях. Я использую алгоритм выравнивания, но он не всегда выпрямляет края коробки. Это можно увидеть на этом изображении:

Выровненная обрезка даты

Извлечение символов из форм с полем ввода в штучной упаковке.

На таких изображениях, когда я обрезаю символы прямыми линиями (шаг 3 алгоритма, упомянутого выше), также включаются края прямоугольников, что сбивает с толку модуль распознавания символов. Например, число «3» и «край коробки» иногда представляют как 31.

Я хочу использовать только предварительно обученные модели и, следовательно, я ищу лучший способ правильно извлекать символы из полей в штучной упаковке.

Я был бы очень признателен за любую помощь, предоставленную сообществом SO.

Привет @chintan, ты нашел решение своей проблемы?

Prashant Gupta 14.10.2019 18:16
Почему в Python есть оператор "pass"?
Почему в Python есть оператор "pass"?
Оператор pass в Python - это простая концепция, которую могут быстро освоить даже новички без опыта программирования.
Некоторые методы, о которых вы не знали, что они существуют в Python
Некоторые методы, о которых вы не знали, что они существуют в Python
Python - самый известный и самый простой в изучении язык в наши дни. Имея широкий спектр применения в области машинного обучения, Data Science,...
Основы Python Часть I
Основы Python Часть I
Вы когда-нибудь задумывались, почему в программах на Python вы видите приведенный ниже код?
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
LeetCode - 1579. Удаление максимального числа ребер для сохранения полной проходимости графа
Алиса и Боб имеют неориентированный граф из n узлов и трех типов ребер:
Оптимизация кода с помощью тернарного оператора Python
Оптимизация кода с помощью тернарного оператора Python
И последнее, что мы хотели бы показать вам, прежде чем двигаться дальше, это
Советы по эффективной веб-разработке с помощью Python
Советы по эффективной веб-разработке с помощью Python
Как веб-разработчик, Python может стать мощным инструментом для создания эффективных и масштабируемых веб-приложений.
1
1
407
1
Перейти к ответу Данный вопрос помечен как решенный

Ответы 1

Ответ принят как подходящий

Поскольку края блока обычно тоньше (как в вашем случае), чем текст внутри них, мы можем использовать эту информацию. Применив горизонтальное морфологическое замыкающее ядро ​​(Dilation -> Erosion), мы можем сделать тонкие вертикальные линии белыми, что поможет OCR. После обработки может остаться мусор, но это не повлияет на точность распознавания. Размер ядра зависит от ширины пограничных линий. Очевидно, вы можете настроить его в соответствии с вашим случаем.

Вот пример кода:

import cv2
import numpy as np
im = cv2.imread('sample_image.png')
im = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)

k1 = (4,1)
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, k1)
im = cv2.morphologyEx(im, cv2.MORPH_CLOSE, kernel, iterations=1)

_,im = cv2.threshold(im, thresh=200, maxval=255, type=cv2.THRESH_BINARY)
cv2.imwrite('sample_output.png',im)

А вот и изображения:

  1. образец_изображения.png

  2. sample_output.png

Другие вопросы по теме