Пустая папка выходного задания

Я настроил локальный экземпляр JupyterLab с расширением SageMaker для запуска заданий в AWS, и теперь я вижу, что задания запускаются с правильным файлом .ipynb во входной папке S3, но не вижу никакого результата, поскольку файлов с префиксом «выход» не существует. и нечего скачивать.

Все настраивается по этой инструкции . Роли, разрешения перепроверены и идеи у меня закончились. Не могли бы вы дать мне направление? Есть ли у нас какие-либо соответствующие журналы, чтобы заглянуть под капот?

Обновление 1

Полный сценарий:

1. Создать пользователя IAM (имя: lab)
2. Создайте встроенную политику для этого пользователя (имя: LabPolicy).

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "EventBridgeSchedule",
            "Effect": "Allow",
            "Action": [
                "events:TagResource",
                "events:DeleteRule",
                "events:PutTargets",
                "events:DescribeRule",
                "events:EnableRule",
                "events:PutRule",
                "events:RemoveTargets",
                "events:DisableRule"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
                }
            }
        },
        {
            "Sid": "IAMPassRoleToNotebookJob",
            "Effect": "Allow",
            "Action": "iam:PassRole",
            "Resource": "arn:aws:iam::*:role/SagemakerJupyterScheduler*",
            "Condition": {
                "StringLike": {
                    "iam:PassedToService": [
                        "sagemaker.amazonaws.com",
                        "events.amazonaws.com"
                    ]
                }
            }
        },
        {
            "Sid": "IAMListRoles",
            "Effect": "Allow",
            "Action": "iam:ListRoles",
            "Resource": "*"
        },
        {
            "Sid": "S3ArtifactsAccess",
            "Effect": "Allow",
            "Action": [
                "s3:PutEncryptionConfiguration",
                "s3:CreateBucket",
                "s3:PutBucketVersioning",
                "s3:ListBucket",
                "s3:PutObject",
                "s3:GetObject",
                "s3:GetEncryptionConfiguration",
                "s3:DeleteObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::sagemaker-automated-execution-*"
            ]
        },
        {
            "Sid": "S3DriverAccess",
            "Effect": "Allow",
            "Action": [
                "s3:ListBucket",
                "s3:GetObject",
                "s3:GetBucketLocation"
            ],
            "Resource": [
                "arn:aws:s3:::sagemakerheadlessexecution-*"
            ]
        },
        {
            "Sid": "SagemakerJobs",
            "Effect": "Allow",
            "Action": [
                "sagemaker:DescribeTrainingJob",
                "sagemaker:StopTrainingJob",
                "sagemaker:DescribePipeline",
                "sagemaker:CreateTrainingJob",
                "sagemaker:DeletePipeline",
                "sagemaker:CreatePipeline"
            ],
            "Resource": "*",
            "Condition": {
                "StringEquals": {
                    "aws:ResourceTag/sagemaker:is-scheduling-notebook-job": "true"
                }
            }
        },
        {
            "Sid": "AllowSearch",
            "Effect": "Allow",
            "Action": "sagemaker:Search",
            "Resource": "*"
        },
        {
            "Sid": "SagemakerTags",
            "Effect": "Allow",
            "Action": [
                "sagemaker:ListTags",
                "sagemaker:AddTags"
            ],
            "Resource": [
                "arn:aws:sagemaker:*:*:pipeline/*",
                "arn:aws:sagemaker:*:*:space/*",
                "arn:aws:sagemaker:*:*:training-job/*",
                "arn:aws:sagemaker:*:*:user-profile/*"
            ]
        },
        {
            "Sid": "ECRImage",
            "Effect": "Allow",
            "Action": [
                "ecr:GetAuthorizationToken",
                "ecr:BatchGetImage"
            ],
            "Resource": "*"
        }
    ]
}

3. Создайте роль IAM (имя: SagemakerJupyterSchedulerRole)
4. Заменить существующую политику доверия

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "Service": [
                    "sagemaker.amazonaws.com",
                    "events.amazonaws.com"
                ]
            },
            "Action": "sts:AssumeRole"
        }
    ]
}

5. Прикрепите AmazonSageMakerFullAccess
6. Создайте и прикрепите политику выполнения (имя: SagemakerJupyterSchedulerExecutionPolicy)

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetObject",
                "s3:PutObject",
                "s3:DeleteObject",
                "s3:AbortMultipartUpload"
            ],
            "Resource": [
                "arn:aws:s3:::sagemaker-automated-execution-xxxxxxxxxxxx-us-east-1/*"
            ]
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:CreateBucket",
                "s3:GetBucketLocation",
                "s3:ListBucket",
                "s3:ListAllMyBuckets",
                "s3:GetBucketCors",
                "s3:PutBucketCors"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": [
                "s3:GetBucketAcl",
                "s3:PutObjectAcl"
            ],
            "Resource": [
                "arn:aws:s3:::sagemaker-automated-execution-xxxxxxxxxxxx-us-east-1"
            ]
        }
    ]
}

7. Варианты работы

Image: arn:aws:sagemaker:us-east-1:081325390199:image/sagemaker-base-python-38
Kernel: python3
Role ARN: arn:aws:iam::xxxxxxxxxxxx:role/SagemakerJupyterSchedulerRole
Input: s3://sagemaker-automated-execution-xxxxxxxxxxxx-us-east-1/
Output: s3://sagemaker-automated-execution-xxxxxxxxxxxx-us-east-1/

8. Бегать!

В конце концов, я вижу только входные ipynb-файлы в целевой корзине S3.

❯ aws s3 ls s3://sagemaker-automated-execution-xxxxxxxxxxxx-us-east-1/ --recursive
2024-04-18 16:57:19       4536 helloworld2ipynb-helloworld2-45e83409-2024-04-18-16-57-17/input/hello-world2.ipynb
2024-04-18 16:49:00       4536 helloworld2ipynb-helloworld2-4d179d7f-2024-04-18-16-48-57/input/hello-world2.ipynb
2024-04-15 11:31:10       4536 helloworld2ipynb-helloworld2-ae714726-2024-04-15-11-31-08/input/hello-world2.ipynb
2024-04-15 10:47:33       2631 helloworld2ipynb-helloworld2-b516481a-2024-04-15-10-47-31/input/hello-world2.ipynb

Обновление 2

@Tomonori Shimomura подал идею провести эксперимент, и в конце концов я понял, что SageMaker вообще не управляет этой работой!

Теперь нужно упомянуть один шаг назад и мой предыдущий вопрос на StackOverflow, где я придумал собственное «решение», но теперь кажется, что моя текущая проблема каким-то образом связана с этим хаком.

Обновление 3

Я помещаю в ресурс-метаданные.json:

{
    "AppType": "JupyterLab"
}

... потому что я нашел в amazon_sagemaker_jupyter_scheduler/model_converter.py:

if get_app_type() == "JupyterLab":
    container_entrypoint = ["amazon_sagemaker_scheduler"]
else:
    container_entrypoint = ["/bin/bash"]

Теперь задание запускается, но сразу завершается с ошибкой: «[FATAL tini (8)] exec amazon_sagemaker_scheduler не удалось: нет такого файла или каталога»

Пытаюсь разобраться, но идей пока нет.

Последнее обновление

Я пропустил строгие требования к версии в руководстве и пытался использовать разные версии из 3-й ветки. К счастью, @Tomonori-сан заметил мою ошибку.

Однако следует отметить, что не все начало работать так, как ожидалось, сразу после перехода на более раннюю версию, потому что я столкнулся с проблемой GetBucketLocation, и сразу после нескольких часов отладки расширений aiobotocore и amazon-sagemaker-jupyter-scheduler я наконец понял, что ведро S3 размещаться где-то еще, а не в us-east-1, потому что LocationConstraint таких сегментов имеет значение null, что влияет на логику в amazon_sagemaker_jupyter_scheduler/clients.py

(base) lab4:~$ aws s3api get-bucket-location --bucket sagemaker-automated-execution-xxxxxxxxxxxx-us-east-2
{
    "LocationConstraint": "us-east-2"
}
(base) lab4:~$ aws s3api get-bucket-location --bucket sagemaker-automated-execution-xxxxxxxxxxxx-us-east-1
{
    "LocationConstraint": null
}