При использовании Google Colab «наборы данных» пакета Python просто исчезли из каталога «сайт-пакеты» виртуального окружения
Я использую Google Colab и пытаюсь заставить работать виртуальную среду.
Мой код:
from google.colab import drive
drive.mount('/content/drive')
!pip install virtualenv
myenv_dir = '/content/drive/MyDrive/virtual_env/'
!virtualenv {myenv_dir}
!chmod +x {myenv_dir}bin/pip;
!chmod +x {myenv_dir}bin/activate;
!source {myenv_dir}bin/activate; pip install accelerate==0.29.3 -U
!source {myenv_dir}bin/activate; pip install datasets==2.19.1
import sys
packages_dir = myenv_dir + "lib/python3.10/site-packages/"
sys.path.append(packages_dir)
import accelerate
import datasets
Этот код работает нормально, и в данный момент я могу импортировать пакеты как accelerate, так и datasets. Я смотрю в проводнике Google Диска и вижу подкаталоги как для accelerate, так и для datasets.
Теперь я отключаю ноутбук, подключаю его заново и запускаю только приведенный ниже код (достаточно, чтобы подключиться к виртуальной среде и начать использовать пакеты, не переустанавливая их на Collab):
drive.mount('/content/drive')
myenv_dir = '/content/drive/MyDrive/virtual_env/'
!chmod +x {myenv_dir}bin/activate;
!source {myenv_dir}bin/activate;
import sys
packages_dir = myenv_dir + "lib/python3.10/site-packages/"
sys.path.append(packages_dir)
import accelerate
import datasets
И вот самое странное: import accelerate работает нормально. import datasets возвращает
ModuleNotFoundError: нет модуля с именем «наборы данных».
Если посмотреть дерево каталогов в проводнике файлов Colab или на Google Диске, то подкаталог ускорения присутствует, но каталог наборов данных отсутствует. Просто исчез.
Я в недоумении от того, что здесь происходит!
Ответы 2
Я повторяю ваши шаги.
- Выполните шаги, которые вы определили.
- Удалить сеанс
- Проверьте папку на Google Диске: там есть и ускорение, и наборы данных.
- Импортируйте оба успешно.
Можете ли вы уточнить, как вы:
Now I disconnect the notebook, reconnect it and run just the code below
В моем репо я удаляю активный сеанс.
это приведет к выделению новой виртуальной машины, поэтому ожидаемо то, что вы видите. IIRC ускорение уже является частью Colab.
Но содержимое обоих пакетов (datasets и accelerate) сохранилось на Google Диске, а не на виртуальной машине /contents. Кроме того, почему datasets остается видимым на Google Диске после перезагрузки ВМ, а accelerate исчезает? Если это ожидается, то какое правило заставляет содержимое datasets оставаться там, а accelerate исчезать?
Что касается IIRC accelerate, который уже является частью Colab, да, это так, но его последняя версия несовместима с последней версией datasets. После некоторых настроек я обнаружил, что accelerate=0.29.3 и datasets=2.19.1 работают вместе. Поскольку мне приходится переустанавливать их каждый раз при перезапуске виртуальной машины, я задумался о том, чтобы сохранить содержимое в venv на Google Диске и загрузить пакеты оттуда в следующий раз. Но это странное поведение Colab и Drive пока мешает мне это сделать.
Вы рассматривали Colab Enterprise, который позволит вам сохранить окружающую среду и библиотеки?
Я использую Колаб Про. Я посмотрю в Энтерпрайзе. Но в любом случае мне это кажется ошибкой интерфейса между Колабом и Драйвом. По поводу ошибки, в вашем случае вы используете Pro или Enterprise?
Согласен, Python sys надо сохранить, посмотрю еще раз. Я использовал базовую версию
Попробуй это:
!export PYTHONPATH='/content/drive/MyDrive/virtual_env/lib/python3.10/site-packages/'
print(sys.path)
import datasets
Кажется, из-за порядка sys.path библиотека не может быть найдена.
проверьте: https://www.devdungeon.com/content/python-import-syspath-and-pythonpath-tutorial
В интерфейсе ноутбука Colab я сначала щелкнул «Время выполнения», а затем «Отключить и удалить среду выполнения». Затем я проверил активные сеансы, и никаких других сеансов не было.