Python 3 и тензорный поток на AWS EMR
Для EMR AWS имеет тензорный поток 1.9 как часть программного стека для выпуска 5.17. У меня есть собственный сценарий начальной загрузки для установки python 3.6 и tensorflow 1.9, я вынул установку tenorflow, но это не сработало - я захожу на главный узел, запускаю python3, я вхожу в свой новый python 3.6, но нет tenorflow в моей установке. Я, должно быть, установил новый питон, думаю, мой вопрос в том, как мне использовать собственную установку python3 с tenorflow на AWS EMR, с искрой - и достаточно ли мне повезло, чтобы этот python3 достиг версии 3.6?
Это мой сценарий начальной загрузки:
#!/usr/bin/env bash
sudo yum -y upgrade
sudo yum -y install git autoconf automake libevent-devel python36.x86_64 python36-pip.noarch python36-devel.x86_64
sudo python36 -m pip install --upgrade pip
sudo python36 -m pip install --upgrade wheel cython
sudo python36 -m pip install py4j jupyter ipython pandas scipy pyyaml scikit-learn ipykernel matplotlib seaborn h5py configobj ujson
echo -e "\n\n" >> ~/.bashrc
echo 'export PYSPARK_PYTHON=/usr/bin/python36' >> ~/.bashrc
Думаю, я попробую без скрипта начальной загрузки, может, он просто сработает?
Ответы 2
Похоже, что прямо сейчас (сентябрь 2018 г.) AWS EMR находится на python 3.4. Без сценария начальной загрузки я могу запустить python3 и получить их тензорный поток.
Вы отметили поле тензорного потока при создании кластера? Я не делал этого некоторое время, но этого может быть недостаточно, чтобы просто выбрать версию программного обеспечения 5.17, вам может потребоваться продвинуться и выбрать тензорный поток.
От AWS:
Amazon EMR release versions 4.6.0-5.19.0: Python 3.4 is installed on the cluster instances. Python 2.7 is the system default.
Amazon EMR release versions 5.20.0 and later: Python 3.6 is installed on the cluster instances. Python 2.7 is the system default.
Вы можете установить python3.6, используя следующее действие начальной загрузки. Кроме того, я рекомендую использовать virtualenv для запуска ваших скриптов python и хранить информацию о необходимых библиотеках на s3 с помощью файла requirements.txt.
#!/bin/bash -xe
sudo yum install -y python36 python36-devel postgresql-devel unixODBC-devel # For pyodbc, psycopg2
virtualenv --system-site-packages /home/hadoop/workspace -p /usr/bin/python3.6 # Install virualenv
source /home/hadoop/workspace/bin/activate
aws s3 cp s3://<bucket>/requirements.txt /home/hadoop/ # Keep your required pip freeze info (tensorflow, etc...) on s3
pip install -r /home/hadoop/requirements.txt # Install your packages
# Run your scripts during main execcution using /home/hadoop/workspace/bin/python3
Как? Просто раскрутился и все не так на питоне. В принципе ничего не работает. Используемые значения по умолчанию.