Я пытаюсь заставить робота-гуманоида NAO распознавать объекты. Я использую сверточную нейронную сеть (CNN) в MatLab для классификации объектов, захваченных роботом. Я написал два отдельных сценария на Python: один, чтобы сделать снимок с помощью робота, а также сохранить его в виде файла .png, второй, чтобы позволить роботу озвучивать название объекта через SpeechProxy (из библиотеки ALProxy). Первый скрипт работает отлично и может взаимодействовать с MatLab по желанию. Я использовал следующие команды для запуска скрипта python, чтения .png, созданного в результате, обрезки изображения и последующей его классификации:
system('python "TakePhoto.py path"'); %running the TakePhoto python script
im = imread('object.png path'); %reading the .png file
im = imresize(im,[224 224]); %resizing the .png to the desired dimensions
label = classify(net,im); %classifying the object capture
image(im); %outputting the image in the given dimensions
title(char(label)); %showing the label at the top of the output
Эта часть моего сценария MatLab работает правильно, поскольку я могу классифицировать объекты, просто запустив сценарий и поместив объект в представление робота. Другой сценарий, который у меня есть, должен позволить роботу озвучивать метку объекта, но я не совсем уверен, как заставить скрипт python озвучивать метку из вывода MatLab.
Фрагмент моего кода Python ниже - это то, что мне нужно, чтобы робот произнес ярлык.
speechProxy.say("This object is a " + sys.argv[1])
Теперь проблема заключается в получении системного аргумента от MatLab. Я искал на веб-сайте MathWorks, и они сказали, что передача системного аргумента должна выполняться следующим образом
system('python','python_script_path',argument) %assuming argument is an object of certain datatype
Я пробовал этот тип синтаксиса с моими соответствующими аргументами и скриптами / путями python и получил сообщение об ошибке. Если вы обратитесь к моему первому фрагменту кода, показывающему сценарий MatLab, синтаксис для передачи аргумента будет выглядеть следующим образом:
system('python "speakObject.py path"', label);
Но это приводит к ошибке. В конечном итоге у меня возникают проблемы с установлением связи между скриптом MatLab и вторым скриптом Python. Как я могу получить классификацию меток .png, которая будет передана в качестве системного аргумента Python, чтобы робот мог определить личность объекта?
Вы можете попробовать что-то вроде
strCommand = sprintf('python speakObject.py %s', label);
system(strCommand);