Как прочитать исходный PDF-файл в источнике данных индексатора в пользовательском WebApiSkill после включения «Разрешить набору навыков читать данные файла»

Согласно этой документации, когда вы включаете параметр allowSkillsetToReadFileData в индексаторе, вы получите данные файла по пути /document/file_data в контексте документа.

То же самое передается вашему пользовательскому набору навыков веб-API inputs.

"inputs": [
      {
        "name": "file_data",
        "source": "/document/file_data"
      }
    ]

и доступ к нему осуществляется в функции, как показано ниже.

file_data = value.get('data', {}).get('file_data', '')

Входные данные для вашего WebApiSkill в вашем наборе навыков должны быть установлены на:

"inputs": [
      {
        "name": "file_data",
        "source": "/document/file_data"
      }
    ]

Включите «Разрешить набору навыков читать данные файла» в индексаторе:

    indexing_parameters_configuration = IndexingParametersConfiguration(
        allow_skillset_to_read_file_data=True
    )

    # otherwise: HTTP response error: () Configuration property 'queryTimeout' is not supported for the data source of type 'azureblob'.
    indexing_parameters_configuration.query_timeout = None

    indexer = SearchIndexer(  
        name=indexer_name,  
        description = "Chunks, pages and embeddings",  
        skillset_name=skillset_name,  
        target_index_name=target_index_name,  
        data_source_name=data_source_name,
        parameters = {"configuration": indexing_parameters_configuration} 
    ) 

Входные данные file_data закодированы в формате Base64, поэтому сначала их необходимо декодировать, а затем открыть как байтовый поток с помощью программы чтения PDF по вашему выбору:

import re
import azure.functions as func
import datetime
import json
import logging
import base64
import fitz
from io import BytesIO

app = func.FunctionApp()
logging.basicConfig(level=logging.INFO)


@app.route(route = "CustomSplitSkill", auth_level=func.AuthLevel.FUNCTION)
def CustomSplitSkill(req: func.HttpRequest) -> func.HttpResponse:
    logging.info('Python HTTP trigger function processed a request.')

    try:
        req_body = req.get_json()
        logging.info('Request body parsed successfully.')
    except ValueError:
        logging.error(f"Invalid input: {e}")
        return func.HttpResponse("Invalid input", status_code=400)

    # 'values' expected top-level key in the request body
    response_body = {"values": []}
    for value in req_body.get('values', []):
        recordId = value.get('recordId')
        file_data_base64 = value.get('data', {}).get('file_data', '').get('data', '')
        if not file_data_base64:
            logging.error("No file_data found in the request.")
            return func.HttpResponse("Invalid input: No file_data found", status_code=400)

        try:
            file_data = base64.b64decode(file_data_base64)

            try:
                pdf_document = fitz.open(stream=BytesIO(file_data), filetype='pdf')
            except fitz.FileDataError as e:
                logging.error(f"Failed to open PDF document: {e}")
                return func.HttpResponse("Failed to open PDF document", status_code=400)
            except Exception as e:
                logging.error(f"An unexpected error occurred while opening the PDF document: {e}")
                return func.HttpResponse("An unexpected error occurred", status_code=500)
            
            if pdf_document.page_count == 0:
                logging.error("No pages found in the PDF document.")
                return func.HttpResponse("Invalid PDF: No pages found", status_code=400)

            combined_list = [{'textItems': ['text1', 'text2'], 'numberItems': [0, 1]}]  # I deleted the chunking and associated page extraction in order to reduce the amount of code

            response_record = {
                "recordId": recordId,
                "data": {
                    "subdata": combined_list
                }
            }
            response_body['values'].append(response_record)
        except Exception as e:
            logging.error(f"Error processing file_data: {e}")
            return func.HttpResponse("Error processing file_data", status_code=500)

    logging.info('Function executed successfully.')
    return func.HttpResponse(json.dumps(response_body), mimetype = "application/json")