Это мой метод NDK:
void FrameReceived(int width, int height, const char *rawImageBytes, int size, jboolean remote)
{
//LOGE(".... **** ....FrameReceived Begin = %d", size);
if (size == 0)
return;
jboolean isAttached;
JNIEnv *env;
jint jParticipant;
jint jWidth;
jint jHeight;
jbyteArray jRawImageBytes;
env = getJniEnv(&isAttached);
if (env == NULL)
goto FAIL0;
//LOGE(".... **** ....TRYING TO FIND CALLBACK");
LOGI("FrameReceived will reach here 1");
char *modifiedRawImageBytes = malloc(size);
memcpy(modifiedRawImageBytes, rawImageBytes, size);
jint sizeWH = width * height;
jint quarter = sizeWH/4;
jint v0 = sizeWH + quarter;
for (int u = sizeWH, v = v0, o = sizeWH; u < v0; u++, v++, o += 2) {
modifiedRawImageBytes[o] = rawImageBytes[v]; // For NV21, V first
modifiedRawImageBytes[o + 1] = rawImageBytes[u]; // For NV21, U second
}
if (remote)
{
if (frameReceivedRemoteMethod == NULL)
frameReceivedRemoteMethod = getApplicationJniMethodId(env, applicationJniObj, "vidyoConferenceFrameReceivedRemoteCallback", "(III[B)V");
if (frameReceivedRemoteMethod == NULL) {
//LOGE(".... **** ....CALLBACK NOT FOUND");
goto FAIL1;
}
}
else
{
if (frameReceivedMethod == NULL)
frameReceivedMethod = getApplicationJniMethodId(env, applicationJniObj, "vidyoConferenceFrameReceivedCallback", "(III[B)V");
if (frameReceivedMethod == NULL) {
//LOGE(".... **** ....CALLBACK NOT FOUND");
goto FAIL1;
}
}
jWidth = width;
jHeight = height;
jRawImageBytes = (*env)->NewByteArray(env, size);
(*env)->SetByteArrayRegion(env, jRawImageBytes, 0, size, modifiedRawImageBytes);
//LOGE(".... **** ....CALLBACK BEING CALLED");
if (remote)
{
(*env)->CallVoidMethod(env, applicationJniObj, frameReceivedRemoteMethod, 0, jWidth, jHeight, jRawImageBytes);
}
else
{
(*env)->CallVoidMethod(env, applicationJniObj, frameReceivedMethod, 0, jWidth, jHeight, jRawImageBytes);
}
//LOGE(".... **** ....CALLBACK CALLED");
(*env)->DeleteLocalRef(env, jRawImageBytes);
free(modifiedRawImageBytes);
if (isAttached)
{
(*global_vm)->DetachCurrentThread(global_vm);
}
//LOGE("FrameReceived End");
return;
FAIL1:
if (isAttached)
{
(*global_vm)->DetachCurrentThread(global_vm);
}
FAIL0:
//LOGE("FrameReceived FAILED");
return;
}
Который вызывает, на основе пульта jboolean, одну из этих двух функций:
public void vidyoConferenceFrameReceivedCallback(final int participantId, final int width, final int height, final byte[] rawImageBytes) {
if (selfView == null || selfView.getVisibility() == View.GONE)
return;
try {
selfBitmap = Nv21Image.nv21ToBitmap(rs, rawImageBytes, width, height);
new Handler(Looper.getMainLooper()).post(new Runnable() {
@Override
public void run() {
selfView.setImageBitmap(selfBitmap);
}
});
} catch (Exception e) {
Logger.error("Error on vidyoConferenceFrameReceivedCallback: " + e.getMessage());
}
}
И этот:
public void vidyoConferenceFrameReceivedRemoteCallback(final int participantId, final int width, final int height, final byte[] rawImageBytes) {
if (remoteView == null || remoteView.getVisibility() == View.GONE)
return;
try {
remoteResolution = width + "x" + height;
remoteBitmap = Nv21Image.nv21ToBitmap(rs, rawImageBytes, width, height);
new Handler(Looper.getMainLooper()).post(new Runnable() {
@Override
public void run() {
remoteView.setImageBitmap(remoteBitmap);
}
});
} catch (Exception e) {
Logger.error("Error on vidyoConferenceFrameReceivedRemoteCallback: " + e.getMessage());
}
}
Как видите, эти две функции выглядят одинаково, только изображение и растровое изображение, в котором я сохраняю данные, отличаются. но если я профилирую свое приложение.
Первый метод при вызове потока выглядит так: https://s3.amazonaws.com/uploads.hipchat.com/39260/829560/A3lm3QTz4gZN0VK/upload.png Среднее время составляет 4 секунды на 15 секунд профилирования.
НО второй метод, удаленный, делает следующее: https://s3.amazonaws.com/uploads.hipchat.com/39260/829560/wHp7NtKgKYTTEG7/upload.png И время - 15 секунд из 15.
Здесь ясно видно, что почему-то это повторно вспоминается: https://s3.amazonaws.com/uploads.hipchat.com/39260/829560/wCmS5CH21zbyMBr/upload.png
Почему это происходит?
Я изменил удаленную функцию, чтобы просто сделать это:
public void vidyoConferenceFrameReceivedRemoteCallback(final int participantId, final int width, final int height, final byte[] rawImageBytes) {
Log.i("", "vidyoConferenceFrameReceivedRemoteCallback RECEIVED FRAME ");
}
И, профилируя этот поток, я получаю следующее: https://s3.amazonaws.com/uploads.hipchat.com/39260/829560/ZfylnBheyA6GjTe/upload.png
Я думаю, что что-то в NDK заставляет функцию каким-то образом вспоминать несколько раз
Это правда, но по какой-то причине я получаю от рендеринга более высокую производительность, чем от моего кода openGL. и я профилировал оба, и для обоих я получаю удаленный код, вызываемый 4 раза, а не один раз. PS: разрешение меньше, чем у себя
Первый вопрос, который я задам, - почему показано, что yuvToRgb вызывает сам себя.
Вот где я тоже потерялся. Сейчас я редактирую свой вопрос, чтобы добавить больше данных
Ваша интерпретация результатов профилировщика неверна. Конечно, обратный вызов запускается для каждого полученного кадра, но профилировщик показывает только методы Java.
Я добавил несколько журналов в код NDK, и он не вызывается с большей скоростью, чем vidyoConferenceFrameReceivedCallback. Но я не понимаю, даже для журнала внутри моей функции, почему он вызывается несколько раз. Также каков код, относящийся к ThreadGroup и Refference, это то, что вызывается из NDK, как я предполагаю?
Позвольте нам продолжить обсуждение в чате.
ну, одно различие может заключаться в том, что разрешение видео не одинаково для selfView и remoteView. Обратите внимание, что Я предупреждал, что setImageBitmap () слишком медленный для живого видео.