Невозможно импортировать etree lxml на aws lambda

Существуют модули, которые нельзя добавить непосредственно в каталог site-packages, чтобы они распознавались в среде AWS Lambda. Когда это произойдет, вы должны получить образ Amazon Linux из репозиториев Docker и создать собственную скомпилированную среду в версии контейнера, которая будет работать на AWS Lambda.

Например, если вы хотите использовать Python 3.6, хорошим выбором будет amazonlinux:2018.03, если вы хотите установить больше пакетов, например. панды, numpy, scipy

    docker run -v $(pwd):/outputs -it amazonlinux:2018.03

Поскольку Amazon Linux основан на Red Hat, вам необходимо установить через yum все зависимости при запуске докера и уже созданной виртуальной среде.

    yum update -y
    yum install -y \
      python36 \
      python36-devel \
      python36-virtualenv \
      python34-setuptools \
      gcc \
      gcc-c++ \
      findutils \
      rsync \
      Cython \
      findutils \
      which \
      gzip \
      tar \
      man-pages \
      man \
      wget \
      make \
      zip

Для lxml вам также понадобится

    (lambda_docker) bash-4.2# yum install libxml2
    ...
    (lambda_docker) bash-4.2# yum install libxslt
    ...

Вы устанавливаете модуль как обычно

    pip3.6 install lxml

Вы должны увидеть что-то вроде

    (lambda_docker) bash-4.2# pip3.6 install lxml
    Collecting lxml
      Downloading https://files.pythonhosted.org/packages/2d/53/34a9f0c79c548e430148837892b6ae91adee571a0e8b6c17bd7ff9c2d12e/lxml-4.3.4-cp36-cp36m-manylinux1_x86_64.whl (5.7MB)
         |################################| 5.7MB 2.0MB/s 
    Installing collected packages: lxml

Затем создайте свою функцию lambda_function.py и добавьте ее в заархивированный пакет pushd-ed и popd-ed из вашего сеанса докера.

    from lxml import etree

    def lambda_handler(event, context):
        print(__name__)
        print(etree.LXML_VERSION)

После создания

    zip -g site-packages.zip lambda_function.py

Перед загрузкой вы можете убедиться, что ваш zip-файл содержит каталоги lxml

    [jonathan@docker lambda_docker]$ unzip -l site-packages.zip 
    Archive:  site-packages.zip
      Length      Date    Time    Name
    ---------  ---------- -----   ----
            0  06-29-2019 23:09   __pycache__/
          277  06-29-2019 23:09   __pycache__/easy_install.cpython-36.pyc
          126  06-29-2019 23:09   easy_install.py
          119  06-29-2019 23:29   lambda_function.py
            0  06-29-2019 23:21   lib/
            0  06-29-2019 23:39   lxml/
            0  06-29-2019 23:37   lxml-4.3.4.dist-info/
            4  06-29-2019 23:37   lxml-4.3.4.dist-info/INSTALLER
         2954  06-29-2019 23:37   lxml-4.3.4.dist-info/METADATA
        13384  06-29-2019 23:37   lxml-4.3.4.dist-info/RECORD
          109  06-29-2019 23:37   lxml-4.3.4.dist-info/WHEEL
            5  06-29-2019 23:37   lxml-4.3.4.dist-info/top_level.txt
         7668  06-29-2019 23:37   lxml/ElementInclude.py
          551  06-29-2019 23:37   lxml/__init__.py
            0  06-29-2019 23:37   lxml/__pycache__/
         3331  06-29-2019 23:37   lxml/__pycache__/ElementInclude.cpython-36.pyc
    ...

Теперь загрузите zip и создайте пустой тест {} в вашей лямбда-функции.

Результат

    START RequestId: bb240a17-c2dd-4d63-92c8-fa7561c09f64 Version: $LATEST
    lambda_function
    (4, 3, 4, 0)
    END RequestId: bb240a17-c2dd-4d63-92c8-fa7561c09f64
    REPORT RequestId: bb240a17-c2dd-4d63-92c8-fa7561c09f64  Duration: 0.30 ms   Billed Duration: 100 ms     Memory Size: 128 MB Max Memory Used: 50 MB  

Если вы предпочитаете изображение

Полностью готов к работе с AWS Lambda

Надеюсь, поможет (:

Я столкнулся с похожей проблемой, и я нашел один быстрый обходной путь

Using pre-compiled build of lxml

Скачать https://github.com/shubh2502/aws-лямбда-lxml

1. Папки 3.6.4 и 3.8.0 являются версиями lxml.

2. Внутри lxml есть две сборки python27 и python36.

3. В соответствии с версией AWS Lambda python выберите любой из них.

4. Внутри python27 и python36 есть папка lxml

5. Почтовый индекс с папкой lxml и убедитесь, что у python такая же версия

6. В случае слоя AWS Lambda поместить в эту структуру папку lxml -

   python/lib/python3.6/сайт-пакеты

Я провел много времени в докере и разрабатывал эти вещи, этот метод был для меня спасением, я надеюсь, что это поможет вам

Причина:

Файлы .so скомпилированы в другой ОС. (В моем случае macOS.)

Решение:

Очень помогла следующая статья:

Как создать слой Lambda, используя смоделированную среду Lambda с помощью Docker?

Все, что мне нужно было сделать, это:

cd /path_to_requirements_txt/

docker run -v "$PWD":/var/task "lambci/lambda:build-python3.7" /bin/sh -c "pip install -r requirements.txt -t python/lib/python3.7/site-packages/; exit"

Он создал python/lib/python3.7/site-packages/ со всеми зависимостями!

Если вы используете SERVERLESS для развертывания:

Затем проверьте версию Python в вашей локальной среде, а также версию среды выполнения lambda, которую вы используете.

Я использовал Python 3.8 на своем локальном компьютере, а версия среды выполнения лямбда использовала Python 3.7. Поэтому я изменил версию лямбда, чтобы использовать Python 3.8.

ЭТО РАБОТАЛО ДЛЯ МЕНЯ!!!

Я надеюсь, что это поможет вам