Найдите фрагмент на всем изображении

Я написал пример, который поможет вам классифицировать документы, опираясь на текст, а не на структурное сходство между документами.

Моя папка организована следующим образом:

У меня есть два обучающих изображения и три тестовых изображения. Обучающие изображения находятся в папке шаблонов, а изображения, которые я хочу классифицировать, — в папке toBeClassified. Вот мои входные изображения:

Теперь, когда мы разобрались с этим, вот функция, которая может получать текст из изображений:

def text_from_image(filename):
    '''
    Load image as grayscale by using cv2.irmead(_, 0)
    extract text using pytesseract, we use the text for classification
    '''
    imGray = cv2.imread(filename, 0)
    text = pytesseract.image_to_string(imGray)
    return text

Теперь, когда у нас есть текст, мы можем использовать его вместе с некоторыми метками, которые мы помещаем в качестве обучающих ответов для обучения модели:

texts = [text_from_image("Templates/"+filename) for filename in os.listdir("Templates/")] # get the texts
labels = ["Shipping", "Invoice"] # label the texts

Эти строки используются для получения модели и ее обучения на шаблонах:

model = make_pipeline(TfidfVectorizer(), MultinomialNB()) # init the model
model.fit(texts, labels) # fit the model

Теперь мы можем использовать два подхода: либо мы просто удовлетворяемся классом с наибольшей вероятностью, либо мы используем прогнозирование вероятностей.

Первый подход:

def classify_with_model(filename, model):
    '''
    We pass the filename of the images to be classified and the model to get the 
    class with the highest probability, not very good but good for now
    '''
    text = text_from_image(filename)
    category = model.predict([text])[0]
    return category

Если мы пройдемся по тестовым изображениям, мы получим:

for filename in os.listdir("toBeClassified/"): # loop through the test images
    category = classify_with_model("toBeClassified/"+filename, model) # get the class with the highest prob
    print(f'Document {filename} is classified as {category}') # print out results

# Document Bill1.png is classified as Invoice
# Document Shipping1.jpg is classified as Shipping
# Document ShippingInvoice1.png is classified as Invoice

Обратите внимание на последнее изображение — это своего рода гибрид, который я нашел в Интернете. Поэтому в некоторых случаях рассмотрение вероятностей весьма важно. Как шутят, когда речь идет об учениках СНМ: Здоровый человек идет к врачу на обследование на рак. Доктор использует современную модель машинного обучения SVM со 100% точностью выявления различных типов рака. После теста врач возвращается и говорит: «Хорошие новости и плохие новости. Хорошие новости: наша модель идеально подходит для диагностики всех типов рака. Плохие новости: она не знает, как сказать, что вы здоровы. "

В любом случае, нет времени на юмор или мои попытки его реализовать. Мы идем с вероятностями:

def classify_with_probability(filename, model):
    '''
    This is to classify with probability, a bit better to see the confidences
    '''
    text = text_from_image(filename)
    probabilities = model.predict_proba([text])[0]  # get probabilities for each class
    categories = model.classes_  # get the class labels
    bestMatchIdx = probabilities.argmax()  # index of the highest probability
    bestMatch = categories[bestMatchIdx]  # class with the highest probability
    confidence = probabilities[bestMatchIdx]  # probability of the best match
    return bestMatch, dict(zip(categories, probabilities)) # return everythin

И результаты:

for filename in os.listdir("toBeClassified/"):
    category = classify_with_probability("toBeClassified/"+filename, model)
    print(f'Document {filename} is classified as {category[0]} with the following confidence:')
    print(category[1])
    print("_______________________")
#Document Bill1.png is classified as Invoice with the following confidence:
#{'Invoice': 0.5693790615221315, 'Shipping': 0.4306209384778673}
#_______________________
#Document Shipping1.jpg is classified as Shipping with the following confidence:
#{'Invoice': 0.38458825025403914, 'Shipping': 0.6154117497459587}
#_______________________
#Document ShippingInvoice1.png is classified as Invoice with the following confidence:
#{'Invoice': 0.5519774748181495, 'Shipping': 0.4480225251818504}
#_______________________

Здесь мы также видим вероятности, это может быть полезно, если вы хотите одновременно классифицировать изображения по нескольким классам, например, счет-фактура и форма доставки.

Я надеюсь, что это вам каким-то образом поможет, как я уже сказал, и, как упомянул Кристоф, использование функций в этих документах будет дикой попыткой.

Импорт:

import cv2
import pytesseract
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
from sklearn.pipeline import make_pipeline
import os
pytesseract.pytesseract.tesseract_cmd = "C:/Program Files/Tesseract-OCR/tesseract.exe"