Я работаю над функцией транскрипции речи в текст, и я использую Google Voice для текстового API с помощью nextjs/react. Я записываю звук с помощью MediaRecorder API браузера. Звук, записанный с его помощью, если я использую его в речи Google для текста, возвращает пустую транскрипцию. Но если я использовал звук, записанный в программе Audacity, он вернет транскрипцию.
Вот мой клиентский код:
const startRecording = () => {
navigator.mediaDevices
.getUserMedia({ audio: true })
.then((stream) => {
const recorder = new MediaRecorder(stream, {
mimeType: "audio/webm; codecs=opus",
bitsPerSecond: 128000,
sampleRate: 48000,
echoCancellation: true,
noiseSuppression: true,
channelCount: 1,
});
const chunks = [];
recorder.addEventListener("dataavailable", (event) => {
chunks.push(event.data);
});
recorder.addEventListener("stop", () => {
const blob = new Blob(chunks, { type: "audio/wav" });
const url = URL.createObjectURL(blob);
setAudioUrl(url);
setRecording(false);
setAudioBlob(blob); // Update the audioBlob state variable
});
recorder.start();
setMediaRecorder(recorder);
setRecording(true);
})
.catch((error) => {
console.info(error);
});
};
И вот мой код сервера:
async function transcribeContextClasses() {
const file = fs.readFileSync("public/audio/1680169074745_audio.wav");
const audioBytes = file.toString("base64");
const audio = {
content: audioBytes,
};
const speechContext = {
phrases: ["$TIME"],
};
const config = {
encoding: "LINEAR16",
sampleRateHertz: 48000,
languageCode: "en-US",
speechContexts: [speechContext],
};
const request = {
config: config,
audio: audio,
};
const [response] = await speechClient.recognize(request);
const transcription = response.results
.map((result) => result.alternatives[0].transcript)
.join("\n");
console.info(`Transcription: ${transcription}`);
}
На данный момент я сохраняю записанный звук в виде файла и вручную ввожу его в свой код на стороне сервера, чтобы я мог протестировать другой звук, записанный из другого программного обеспечения.
Я смог исправить свою проблему. я просто сменил кодировку
отсюда: encoding: "LINEAR16"
к этому: encoding: 'WAV'
так как я использую формат wav.