ffmpeg Выдернуть кадр из видеофайла

#include <jni.h>
#include <android/log.h>
 
#include "libavutil/pixfmt.h"
#include "libavcodec/avcodec.h"
#include "libavformat/avformat.h"
#include "libswscale/swscale.h"
#include "cmdutils.h"
 
#define LOG_TAG "com.domain.tag"
#define LOGI(...)  __android_log_print(ANDROID_LOG_INFO, LOG_TAG, __VA_ARGS__)
#define LOGE(...)  __android_log_print(ANDROID_LOG_ERROR, LOG_TAG, __VA_ARGS__)
 
const int ERROR_OPEN_FILE = -1;
const int ERROR_FIND_VIDEOSTREAM = -2;
const int ERROR_FIND_VIDEODECODER = -3;
const int ERROR_OPEN_VIDEODECODER = -4;
const int ERROR_NO_STREAM_INFO = -5;
 
typedef long thandle_file;
// Handle для файла - полная информация об открытом файле
struct thandle {
 AVFormatContext* ctx;
 AVCodecContext* codecCtx;
 int videoStream;
 AVPacket* packet;
} tHandle;
 
//отправляем в JAVA исключение с кодом errorCode
void make_exception(JNIEnv *env, int errorCode) {
 LOGI("exception %d", errorCode);
 char buffer[32];
 sprintf(buffer, "%d", errorCode);
 (*env)->ThrowNew(env, (*env)->FindClass(env, "java/lang/Exception"), buffer);
}
 
//инициализация
jint Java_ru_dzakhov_ffmpeg_test_FFMpegWrapper_initialize(JNIEnv *env) {
 av_register_all();
 LOGI("initialize_passed");
 return 0;
}
 
//определить размер кадра в формате Bitmap.Config.ARGB_8888
jint Java_ru_dzakhov_ffmpeg_test_FFMpegWrapper_getFrameBufferSize(JNIEnv *env, jobject thiz, thandle_file handleFile, jint width, jint height)
{
    return 0;
    }
//открыть файл, получить handle
jint Java_ru_dzakhov_ffmpeg_test_FFMpegWrapper_openFile(JNIEnv *env, jobject thiz, jstring fileName) {
AVFormatContext* ctx = 0;
const char *filename = (*env)->GetStringUTFChars(env, fileName, 0);
 
if(av_open_input_file(&ctx, filename, NULL, 0, NULL) != 0) {
  make_exception(env, ERROR_OPEN_FILE); //"Не удалось открыть видеофайл
  LOGI("not open");
}
 
// Retrieve stream information
if(av_find_stream_info(ctx)< 0) {
  make_exception(env, ERROR_NO_STREAM_INFO); //"Не удалось открыть видеофайл; // Couldn't find stream information
  LOGI("not open");
}
 
int videoStream = -1;
int i = 0;
for (i = 0; i < ctx->nb_streams; ++i) {
 if (ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
  videoStream = i;
  break;
 }
}
if (videoStream == -1) make_exception(env, ERROR_FIND_VIDEOSTREAM);
 
AVCodecContext* codecCtx = ctx->streams[videoStream]->codec;
AVCodec* codec = avcodec_find_decoder(codecCtx->codec_id);
 
if (codec == 0) {
 make_exception(env, ERROR_FIND_VIDEODECODER);
}
 
if (avcodec_open2(codecCtx, codec, 0) != 0) {
 make_exception(env, ERROR_OPEN_VIDEODECODER);
}
AVPacket* packet = (AVPacket*)malloc(sizeof(struct AVPacket));
av_init_packet(packet);
 
struct thandle* h = malloc(sizeof(struct thandle));
h->ctx = ctx;
h->codecCtx = codecCtx;
h->videoStream = videoStream;
h->packet = packet;
LOGI("openened");
//release java string
(*env)->ReleaseStringUTFChars(env, fileName, filename);
return (unsigned long)h;
}
 
//выдрать из открытого файла фрейм в формате Bitmap.Config.ARGB_8888
//в заданных размерах
//и сохранить битмапку в переданный Java объект java.nio.ByteBuffer
//время timeUS задается в микросекундах.
jint Java_ru_dzakhov_ffmpeg_test_FFMpegWrapper_getFrame(JNIEnv *env, jobject thiz, jstring fileName, jlong timeUS, jint width, jint height, jobject buffer) {
////////////////////////////////////////////////
    AVFormatContext* ctx = 0;
    const char *filename = (*env)->GetStringUTFChars(env, fileName, 0);
 
    if(av_open_input_file(&ctx, filename, NULL, 0, NULL) != 0) {
      make_exception(env, ERROR_OPEN_FILE); //"Не удалось открыть видеофайл
      LOGI("not open");
    }
 
    // Retrieve stream information
    if(av_find_stream_info(ctx)< 0) {
      make_exception(env, ERROR_NO_STREAM_INFO); //"Не удалось открыть видеофайл; // Couldn't find stream information
      LOGI("not open");
    }
 
    int videoStream = -1;
    int i = 0;
    for (i = 0; i < ctx->nb_streams; ++i) {
     if (ctx->streams[i]->codec->codec_type == AVMEDIA_TYPE_VIDEO) {
      videoStream = i;
      break;
     }
    }
    if (videoStream == -1) make_exception(env, ERROR_FIND_VIDEOSTREAM);
 
    AVCodecContext* codecCtx = ctx->streams[videoStream]->codec;
    AVCodec* codec = avcodec_find_decoder(codecCtx->codec_id);
 
    if (codec == 0) {
     make_exception(env, ERROR_FIND_VIDEODECODER);
    }
 
    if (avcodec_open2(codecCtx, codec, 0) != 0) {
     make_exception(env, ERROR_OPEN_VIDEODECODER);
    }
    AVPacket* packet = (AVPacket*)malloc(sizeof(struct AVPacket));
    av_init_packet(packet);
 
    struct thandle* h = malloc(sizeof(struct thandle));
    h->ctx = ctx;
    h->codecCtx = codecCtx;
    h->videoStream = videoStream;
    h->packet = packet;
    LOGI("openened");
    //release java string
    (*env)->ReleaseStringUTFChars(env, fileName, filename);
    //struct thandle* hf = (unsigned long)h;
    ///////////////////////////////////////////
//Функция для выдирания заданного фрейма из открытого файла
    LOGI("file= %d",h);
ctx = ((struct thandle*)h)->ctx;
codecCtx = ((struct thandle*)h)->codecCtx;
packet =  ((struct thandle*)h)->packet;
videoStream = ((struct thandle*)h)->videoStream;
long shortBuffer = buffer;
jshort* buff = (jshort*) (*env)->GetDirectBufferAddress(env, shortBuffer);
 
AVFrame* frame = avcodec_alloc_frame(); //YUV frame
avcodec_get_frame_defaults(frame);
 
//AV_TIME_BASE * time_in_seconds = avcodec_timestamp
//см. [url]http://dranger.com/ffmpeg/tutorial07.html[/url]
int frameNumber = timeUS;
int64_t pos = frameNumber * AV_TIME_BASE / 1000000;
int64_t seek_target= av_rescale_q(pos, AV_TIME_BASE_Q, ctx->streams[videoStream]->time_base);
//LOGI("seek_target= ");
//выполняем seek - попадаем на ближайший кейфрейм
//затем ищем нужный кадр.
int res = avformat_seek_file(ctx
 , videoStream
 , INT64_MIN
 , seek_target//* AV_TIME_BASE
 , INT64_MAX
 , 0);
LOGI("seek: %d f=%ld pos=%lld st=%lld", res, frameNumber, (int64_t)pos, seek_target);
if (res >= 0) {
 avcodec_flush_buffers(codecCtx);
 LOGI("flushed");
}
av_init_packet(packet);
 
AVFrame* frameRGB = avcodec_alloc_frame();
avcodec_get_frame_defaults(frameRGB);
 
enum PixelFormat pixel_format = PIX_FMT_RGBA;
avpicture_fill((AVPicture*) frameRGB
 , (uint8_t*)buff
 , pixel_format
 , width
 , height
);
 
while (av_read_frame(ctx, packet) == 0) {
 LOGI("pts=%lld st=%lld", packet->pts, seek_target);
 if (packet->stream_index == videoStream) {
  int gotPicture = 0;
  int bytesDecompressed = avcodec_decode_video2(codecCtx, frame, &gotPicture, packet);
    if (gotPicture && packet->pts >= seek_target) {
        LOGI("opana");
    // конвертируем данные из формата YUV в RGB24
    struct SwsContext* scaleCtx = sws_getContext(frame->width,
      frame->height,
      (enum PixelFormat)frame->format
      , width //frame->width,
      , height //frame->height,
      , pixel_format
      , SWS_BICUBIC
      , 0, 0, 0);
 
    int height = sws_scale(scaleCtx
      , frame->data
      , frame->linesize
      , 0
      , frame->height
      , frameRGB->data
      , frameRGB->linesize);
   break;
   }
  av_free_packet(packet);
  }
}
LOGI("ended");
av_free(frameRGB);
av_free(frame);
return 0;
}
 
 
jint Java_ru_dzakhov_ffmpeg_test_FFMpegWrapper_logFileInfo(JNIEnv * env, jobject this, jstring filename)
{
    av_register_all();
 
    AVFormatContext *pFormatCtx;
    const jbyte *str;
    str = (*env)->GetStringUTFChars(env, filename, NULL);
 
    if(av_open_input_file(&pFormatCtx, str, NULL, 0, NULL)!=0)
    {
        LOGE("Can't open file '%s'\n", str);
        return 1;
    }
    else
    {
        LOGI("File was opened\n");
        LOGI("File '%s', Codec %s",
            pFormatCtx->filename,
            pFormatCtx->iformat->name
        );
    }
    return 0;
}
 
jobject Java_ru_dzakhov_ffmpeg_test_FFMpegWrapper_allocNative(JNIEnv* env, jobject thiz, jlong size)
{
     void* buffer = malloc(size);
        jobject directBuffer = (*env)->NewDirectByteBuffer(env,buffer, size);
        return directBuffer;
}
void Java_ru_dzakhov_ffmpeg_test_FFMpegWrapper_freeNative(JNIEnv* env, jobject thiz, jobject globalRef)
{
    void *buffer = (*env)->GetDirectBufferAddress(env, globalRef);
        free(buffer);
}