Сериализация/десериализация маски изображения в приложении FiftyOne

Синтаксис Dataset.from_dir() обычно используется для четко определенных типов наборов данных, таких как набор данных, хранящийся на диске в формате COCODetectionDataset.

В вашем случае при загрузке пользовательского набора данных, который напрямую не соответствует одному из связанных типов набора данных, рекомендуется написать простой цикл Python и создание набора данных по одной выборке за раз.

В этом случае вам просто нужно загрузите свою маску в виде массива numpy и сохраните ее в атрибуте mask вашего объекта обнаружения.

import glob
import fiftyone as fo

images_patt = "/path/to/images/*"

# Ex: your custom label format
annotations = {
    "/path/to/images/000001.jpg": [
        {"bbox": ..., "label": ..., "mask": ...},
        ...
    ],
    ...
}

# Create samples for your data
samples = []
for filepath in glob.glob(images_patt):
    sample = fo.Sample(filepath=filepath)

    # Convert detections to FiftyOne format
    detections = []
    for objects in annotations[filepath]:
        label = obj["label"]

        # Bounding box coordinates should be relative values
        # in [0, 1] in the following format:
        # [top-left-x, top-left-y, width, height]
        bounding_box = obj["bbox"]

        # Boolean or 0/1 Numpy array 
        mask = obj["mask"]
        
        detection = fo.Detection(
            label=label,
            bounding_box=bounding_box,
            mask=mask,
        )

        detections.append(detection)

    # Store detections in a field name of your choice
    sample["ground_truth"] = fo.Detections(detections=detections)

    samples.append(sample)

# Create dataset
dataset = fo.Dataset("my-detection-dataset")
dataset.add_samples(samples)

Прогнозы могут быть загружены одновременно с реальными данными, или вы всегда можете перебирать свой набор данных в будущем и добавить прогнозы позже:

import fiftyone as fo

# Ex: your custom predictions format
predictions = {
    "/path/to/images/000001.jpg": [
        {"bbox": ..., "label": ..., "mask": ..., "score": ...},
        ...
    ],
    ...
}

# Add predictions to your samples
for sample in dataset:
    filepath = sample.filepath

    # Convert predictions to FiftyOne format
    detections = []
    for obj in predictions[filepath]:
        label = obj["label"]
        confidence = obj["score"]

        # Bounding box coordinates should be relative values
        # in [0, 1] in the following format:
        # [top-left-x, top-left-y, width, height]
        bounding_box = obj["bbox"]
        
        # Boolean or 0/1 Numpy array 
        mask = obj["mask"]

        detection = fo.Detection(
            label=label,
            bounding_box=bounding_box,
            confidence=confidence,
        )

        detection["mask"] = mask

        detections.append(detection)

    # Store detections in a field name of your choice
    sample["predictions"] = fo.Detections(detections=detections)

    sample.save()

Обратите внимание, что точная структура анализа вашего пользовательского формата метки будет зависеть от того, как вы храните данные. Это всего лишь один пример, в котором метки хранятся в словаре с указанием путей к файлам мультимедиа. Сначала вам может потребоваться проанализировать и преобразовать ваши метки, например, в ожидаемый формат ограничивающей рамки.