Извлечение текста из светодиодной панели

Сначала несколько комментариев к картинке:

• Это масштабировано. Цифровое разрешение составляет 2496 на 3328 пикселей, но оптическое разрешение примерно в 3,3 раза меньше. Пиксели с повышенной дискретизацией четко различимы.
• Он насыщен. Некоторые из самых ярких «красных» пикселей на светодиодной панели на самом деле не красные, а белые. Механизм сложен, и, вероятно, здесь задействовано множество эффектов. Свет проникает в соседние пиксели (другие цвета), что становится заметно, когда света много.

Рекомендации:

• Не используйте «цифровой зум». Во всяком случае, не этот тип. Это вам ничего не даст.
• Уменьшите физическую экспозицию, то есть уменьшите время экспозиции и/или уменьшите диафрагму. Цифровой фильтр (усиление, регулировка яркости/контрастности постфактум) ничего не даст. Следует следить за тем, чтобы светодиодная панель находилась в динамическом диапазоне, т. е. не насыщала датчик. Если вы все сделаете правильно, все окружение будет выглядеть темным, включая темные части светодиодной панели.

Отображаемый текст яркий и красный. Вы можете использовать оба свойства. Итак, вы должны выбрать красный канал изображения, а затем порог.

Это всего лишь красный канал:

Я применю «гамма»-отображение, которое является нелинейным. Это то, что можно попробовать и сохранить, если результаты окажутся лучше. Если бы он был линейным, он бы ничего не делал, в любом случае до порога (который придет позже).

Темные светодиоды панели по-прежнему выглядят достаточно светлыми (уровень ~0,25), но уже не такими яркими, как раньше (~0,5). Можно применить альтернативные или дополнительные сопоставления, чтобы сделать темные части панели еще темнее.

Это уже представляет собой своего рода порог... со значениями, выбранными вручную.

Теперь вы также можете видеть светодиоды и пробелы между ними в буквах. Я просто применю фильтр нижних частот, чтобы сгладить это. Это поможет с определением порога, поскольку внутри и снаружи букв от этих «выбросов» не будет «шума».

Для определения порога обычно рекомендуется попробовать автоматические алгоритмы, такие как Otsu. Разбираясь в этом, Оцу часто давал мне пороговые значения, при которых буквы соединялись, поэтому большую часть времени я работал с пороговыми значениями, выбранными вручную. Благодаря дополнительному растяжению контраста, которое буквально оставляет только черный цвет между всеми буквами (см. последнее изображение), у Оцу нет другого выбора, кроме как «работать». Это снова с порогом, выбранным вручную.

Я думаю, что это выглядит достаточно хорошо даже для простого старого Tesseract OCR. Если его нужно инвертировать, просто инвертируйте его.

Вот пример Python, использующий функции OpenCV, которые должны быть эквивалентны даже в сторонних привязках C#.

Я сразу конвертирую в плавающую точку. Это предотвращает обрезку или перенос чисел, если я выхожу за «обычный» диапазон значений (т. е. значения могут опускаться ниже 0 и превышать 255/1,0). Это также просто удобно для некоторых математических вычислений. imshow() интерпретирует числа с плавающей точкой в ​​диапазоне от 0,0 до 1,0, но imwrite() просто преобразует их в целые числа, поэтому вам придется уменьшить масштаб.

im = cv.imread("QsvdNqcn.jpg")

# convert to float32 and scale to 0.0 .. 1.0
im = im * np.float32(1/255) # Mat::convertTo() with rtype=CV_32F and alpha=1.0/255.0

# getting a region, just for demonstration purposes
(x,y,w,h) = 763, 1281, 1167, 388
im = im[y:y+h, x:x+w] # Mat::operator()(cv::Rect)

(blue, green, red) = cv.split(im)

red_linear = red ** (1/0.45) # cv::pow()

# more contrast stretching to make "dark" parts darker
vmin, vmax = 0.7, 1.0
red_linear = (red_linear - vmin) / (vmax - vmin) # cv::Mat in C++ supports such expressions too

lowpassed = cv.GaussianBlur(red_linear, None, sigmaX=4.0)

(th, mask) = cv.threshold(lowpassed, 0.25, 1.0, cv.THRESH_BINARY)
# with Otsu, that'd take converting back to uint8 ranged 0..255
# (th, mask) = cv.threshold(np.clip(lowpassed * 255, 0, 255).astype(np.uint8), 128, 255, cv.THRESH_BINARY | cv.THRESH_OTSU)