Обрабатывать элементы порциями, используя многопроцессорные очереди

Я бы предпочел структурировать код следующим образом:

def get_chunks():
    chunk_data = []
    while True:
        item = aq.get()
        if item == SENTINEL: # or: if not isinstance(item A):
            break
        chunk_data.append(item.id)
        if len(chunk_data) == CHUNK_MAX_SIZE:
            yield chunk
            chunk_data = []
    # Do we have a "small" chunk?
    if chunk_data:
        yield chunk_data

def process():
    all = []
    for chunk_data in get_chunks():
        all.extend(process_data(chunk_data))

Но "писателю" предпочтительнее было бы использовать get_chunks, чтобы в очередь записывались уже готовые чанки. Это привело бы к меньшему (но большему) обращению к очереди, что в целом было бы более эффективным.

Вот пример, в котором я предполагаю, что все экземпляры A находятся в списке, list_of_a_instances:

def get_chunks():
    chunk_data = []
    for item in list_of_a_instances: # a list of all the A instances, for example
        chunk_data.append(item.id)
        if len(chunk_data) == CHUNK_MAX_SIZE:
            yield chunk
            chunk_data = []
    # Do we have a "small" chunk?
    if chunk_data:
        yield chunk_data

def process():
    all = []
    while True:
        chunk_data = aq.get()
        if chunk_data == SENTINEL:
            break
        all.extend(process_data(chunk_data))

def writer():
    for chunk_data in get_chunks():
        aq.put(chunk_data)
    aq.put(SENTINEL)

В интересах следования принципу DRY вот то, что я считаю более чистой версией вашего кода без повторения логики. Обратите внимание, что обычно лучше обрабатывать ошибки, вызывая исключение, чем просто возвращать значение, когда тип входного значения не соответствует ожидаемому.

def process():
    all = []
    while True:
        chunk_data = []
        for _ in range(CHUNK_MAX_SIZE):
            if (item := aq.get()) == SENTINEL:
                break
            assert isinstance(item, A)
            chunk_data.append(item.id)
        if chunk_data:
            all.extend(process_data(chunk_data))
        if len(chunk_data) < CHUNK_MAX_SIZE:
            break

Вы также можете немного почистить код с помощью iter и itertools.islice, если вам не нужно проверять, относится ли каждый элемент к типу A (чего в любом случае не следует делать, если у вас есть контроль над код, который ставит элементы в очередь):

from itertools import islice
from operator import attrgetter

def process():
    all = []
    data = iter(aq.get, SENTINEL)
    while True:
        chunk_data = list(map(attrgetter('id'), islice(data, CHUNK_MAX_SIZE)))
        if chunk_data:
            all.extend(process_data(chunk_data))
        if len(chunk_data) < CHUNK_MAX_SIZE:
            break

Кредит @KellyBundy для более краткой версии, как указано ниже:

from itertools import islice
from operator import attrgetter

def process():
    all = []
    data = iter(aq.get, SENTINEL)
    ids = map(attrgetter('id'), data)
    while chunk_ids := list(islice(ids, CHUNK_MAX_SIZE)):
        all += process_data(chunk_ids)