torchdata.datapipes не работает в Google Colab.
Даже после установки библиотеки torchdata возникает исключение при импорте функции datapipes.
Я установил зависимости
!pip install torchdata
или
!pip install --pre torchdata -f https://download.pytorch.org/whl/nightly/cpu/torch_nightly.html
Но когда я пишу
import torchdata.datapipes as dp
или
from torchdata.datapipes.iter import StreamReader,FileOpener,FileLister
from torchdata.dataloader2 import DataLoader2, MultiProcessingReadingService
выдает ошибку:
Exception Traceback (most recent call last)
<ipython-input-15-01a976fbf894> in <cell line: 1>()
----> 1 from torchdata.datapipes.iter import StreamReader,FileOpener,FileLister
2
3 from torchdata.dataloader2 import DataLoader2, MultiProcessingReadingService
6 frames
/usr/local/lib/python3.9/dist-packages/torch/utils/data/datapipes/datapipe.py in register_datapipe_as_function(cls, function_name, cls_to_register, enable_df_api_tracing)
134 def register_datapipe_as_function(cls, function_name, cls_to_register, enable_df_api_tracing=False):
135 if function_name in cls.functions:
--> 136 raise Exception("Unable to add DataPipe function name {} as it is already taken".format(function_name))
137
138 def class_function(cls, enable_df_api_tracing, source_dp, *args, **kwargs):
Exception: Unable to add DataPipe function name sharding_filter as it is already taken
Какие могут быть возможные причины и решения?
Теперь проблема решается автоматически. Библиотека работает нормально. Поскольку каналы передачи данных находятся в стадии бета-разработки, я предполагаю, что они могли обновить некоторый код.