Пользовательские данные byteArray для WebRTC videoTrack

Мне нужно использовать WebRTC для андроида для отправки определенного обрезанного (лицевого) видео в videoChannel. Мне удалось манипулировать Camera1Session классом WebRTC, чтобы обрезать лицо. Прямо сейчас я устанавливаю его в ImageView. listenForBytebufferFrames() of Camera1Session.java

private void listenForBytebufferFrames() {
    this.camera.setPreviewCallbackWithBuffer(new PreviewCallback() {
        public void onPreviewFrame(byte[] data, Camera callbackCamera) {
            Camera1Session.this.checkIsOnCameraThread();
            if(callbackCamera != Camera1Session.this.camera) {
                Logging.e("Camera1Session", "Callback from a different camera. This should never happen.");
            } else if(Camera1Session.this.state != Camera1Session.SessionState.RUNNING) {
                Logging.d("Camera1Session", "Bytebuffer frame captured but camera is no longer running.");
            } else {
                mFrameProcessor.setNextFrame(data, callbackCamera);
                long captureTimeNs = TimeUnit.MILLISECONDS.toNanos(SystemClock.elapsedRealtime());
                if(!Camera1Session.this.firstFrameReported) {
                    int startTimeMs = (int)TimeUnit.NANOSECONDS.toMillis(System.nanoTime() - Camera1Session.this.constructionTimeNs);
                    Camera1Session.camera1StartTimeMsHistogram.addSample(startTimeMs);
                    Camera1Session.this.firstFrameReported = true;
                }

                ByteBuffer byteBuffer1 = ByteBuffer.wrap(data);
                Frame outputFrame = new Frame.Builder()
                        .setImageData(byteBuffer1,
                                Camera1Session.this.captureFormat.width,
                                Camera1Session.this.captureFormat.height,
                                ImageFormat.NV21)
                        .setTimestampMillis(mFrameProcessor.mPendingTimeMillis)
                        .setId(mFrameProcessor.mPendingFrameId)
                        .setRotation(3)
                        .build();
                int w = outputFrame.getMetadata().getWidth();
                int h = outputFrame.getMetadata().getHeight();
                SparseArray<Face> detectedFaces = mDetector.detect(outputFrame);
                if (detectedFaces.size() > 0) {

                    Face face = detectedFaces.valueAt(0);
                    ByteBuffer byteBufferRaw = outputFrame.getGrayscaleImageData();
                    byte[] byteBuffer = byteBufferRaw.array();
                    YuvImage yuvimage  = new YuvImage(byteBuffer, ImageFormat.NV21, w, h, null);
                    ByteArrayOutputStream baos = new ByteArrayOutputStream();

                    //My crop logic to get face co-ordinates

                    yuvimage.compressToJpeg(new Rect(left, top, right, bottom), 80, baos);
                    final byte[] jpegArray = baos.toByteArray();
                    Bitmap bitmap = BitmapFactory.decodeByteArray(jpegArray, 0, jpegArray.length);

                    Activity currentActivity = getActivity();
                    if (currentActivity instanceof CallActivity) {
                        ((CallActivity) currentActivity).setBitmapToImageView(bitmap); //face on ImageView is set just fine
                    }
                    Camera1Session.this.events.onByteBufferFrameCaptured(Camera1Session.this, data, Camera1Session.this.captureFormat.width, Camera1Session.this.captureFormat.height, Camera1Session.this.getFrameOrientation(), captureTimeNs);
                    Camera1Session.this.camera.addCallbackBuffer(data);
                } else {
                    Camera1Session.this.events.onByteBufferFrameCaptured(Camera1Session.this, data, Camera1Session.this.captureFormat.width, Camera1Session.this.captureFormat.height, Camera1Session.this.getFrameOrientation(), captureTimeNs);
                    Camera1Session.this.camera.addCallbackBuffer(data);
                }

            }
        }
    });
}

jpegArray - это последний байтовый массив, который мне нужно передать через WebRTC, который я пробовал с чем-то вроде этого:

Camera1Session.this.events.onByteBufferFrameCaptured(Camera1Session.this, jpegArray, (int) face.getWidth(), (int) face.getHeight(), Camera1Session.this.getFrameOrientation(), captureTimeNs);
Camera1Session.this.camera.addCallbackBuffer(jpegArray);

Настройка таких настроек приводит к следующей ошибке:

../../webrtc/sdk/android/src/jni/androidvideotracksource.cc line 82
Check failed: length >= width * height + 2 * uv_width * ((height + 1) / 2) (2630 vs. 460800)

Я предполагаю, потому что androidvideotracksource не получает ту же длину byteArray, которую он ожидает, поскольку кадр теперь обрезается. Может ли кто-нибудь указать мне, как это сделать? Правильно ли это/место для манипулирования данными и подачи в videoTrack?

Изменить: bitmap byteArray data не дает мне предварительный просмотр камеры на ImageView, в отличие от byteArray jpegArray. Может быть, потому, что они упакованы по-другому?

ОТВЕТЫ

Ответ 1

Хорошо, это определенно проблема того, как был упакован оригинальный byte[] data, и способ byte[] jpegArray был упакован. Меняя способ упаковки и масштабирования, как предложил АлексКон, работал у меня. Я нашел помощь от другого сообщения в StackOverflow на пути к ее пакету. Это код для него:

private byte[] getNV21(int left, int top, int inputWidth, int inputHeight, Bitmap scaled) {
int [] argb = new int[inputWidth * inputHeight];
    scaled.getPixels(argb, 0, inputWidth, left, top, inputWidth, inputHeight);
    byte [] yuv = new byte[inputWidth*inputHeight*3/2];
    encodeYUV420SP(yuv, argb, inputWidth, inputHeight);
    scaled.recycle();
    return yuv;
}

private void encodeYUV420SP(byte[] yuv420sp, int[] argb, int width, int height) {
    final int frameSize = width * height;

    int yIndex = 0;
    int uvIndex = frameSize;

    int a, R, G, B, Y, U, V;
    int index = 0;
    for (int j = 0; j < height; j++) {
        for (int i = 0; i < width; i++) {

            a = (argb[index] & 0xff000000) >> 24; // a is not used obviously
            R = (argb[index] & 0xff0000) >> 16;
            G = (argb[index] & 0xff00) >> 8;
            B = (argb[index] & 0xff) >> 0;

            // well known RGB to YUV algorithm
            Y = ( (  66 * R + 129 * G +  25 * B + 128) >> 8) +  16;
            U = ( ( -38 * R -  74 * G + 112 * B + 128) >> 8) + 128;
            V = ( ( 112 * R -  94 * G -  18 * B + 128) >> 8) + 128;

            // NV21 has a plane of Y and interleaved planes of VU each sampled by a factor of 2
            //    meaning for every 4 Y pixels there are 1 V and 1 U.  Note the sampling is every other
            //    pixel AND every other scanline.
            yuv420sp[yIndex++] = (byte) ((Y < 0) ? 0 : ((Y > 255) ? 255 : Y));
            if (j % 2 == 0 && index % 2 == 0) {
                yuv420sp[uvIndex++] = (byte)((V<0) ? 0 : ((V > 255) ? 255 : V));
                yuv420sp[uvIndex++] = (byte)((U<0) ? 0 : ((U > 255) ? 255 : U));
            }

            index ++;
        }
    }
}`

Я передаю этот byte[] data в onByteBufferFrameCaptured и callback:

Camera1Session.this.events.onByteBufferFrameCaptured(
                            Camera1Session.this,
                            data,
                            w,
                            h,
                            Camera1Session.this.getFrameOrientation(),
                            captureTimeNs);
Camera1Session.this.camera.addCallbackBuffer(data);

До этого мне пришлось масштабировать растровое изображение, которое довольно прямолинейно:

int width = bitmapToScale.getWidth();
int height = bitmapToScale.getHeight();
Matrix matrix = new Matrix();
matrix.postScale(newWidth / width, newHeight / height);
Bitmap scaledBitmap = Bitmap.createBitmap(bitmapToScale, 0, 0, bitmapToScale.getWidth(), bitmapToScale.getHeight(), matrix, true);

Ответ 2

Можем ли мы использовать Web-адрес Datachannel для обмена пользовательскими данными, то есть обрезанным лицом "изображение" в вашем случае, и выполнить соответствующий расчет на стороне приема с использованием любой сторонней библиотеки, то есть OpenGL и т.д.? Причина, по которой я предполагаю, заключается в том, что видеоролик WebRTC, полученный от канала, представляет собой поток в реальном времени, а не bytearray. WebRTC Video по своей встроенной архитектуре не предназначен для кадрирования видео с другой стороны. Если мы хотим обрезать или увеличивать видео, мы должны использовать любую ar-библиотеку для выполнения этого задания.

Мы всегда можем использовать канал данных WebRTC для обмена настроенными данными. Использование видеоканала для этого не рекомендуется, потому что он в режиме реального времени, а не bytearray. Пожалуйста, верните в случае каких-либо проблем.

Ответ 3

В частности, WebRTC и потоковое видео вообще предполагают, что видео имеет фиксированные размеры. Если вы хотите обрезать обнаруженную грань, ваши параметры должны либо иметь подменю обрезанного изображения, например. черные пиксели (WebRTC не использует прозрачность) и обрезает видео со стороны приемника, или, если у вас нет контроля над ресивером, изменить размер обрезанная область для заполнения ожидаемого кадра width * height (вы также должны сохранить ожидаемое соотношение сторон).

Обратите внимание, что сжатие/распаковка JPEG, которые вы используете для обрезки оригинала, далеки от эффективности. Некоторые другие параметры можно найти в Обрезать и изменить размер изображения в Android.