1. RK3568 MPP硬解码技术背景
RK3568作为瑞芯微新一代中高端处理器，其内置的VPU（Video Processing Unit）通过MPP（Media Process Platform）软件框架提供了强大的视频编解码能力。在实际项目中，我们经常需要处理网络视频流（如RTSP协议传输的H.264/H.265流），这时就需要FFmpeg与MPP的协同工作。
MPP的硬解码优势主要体现在三个方面：首先，它能显著降低CPU负载，实测在1080p30解码场景下，CPU占用率可从软解的60%降至5%以下；其次，它支持更丰富的编码格式，包括H.265/HEVC、VP9等现代编码标准；最后，其低延迟特性特别适合实时视频处理场景。我曾在一个智能监控项目中，通过MPP硬解码将端到端延迟控制在150ms以内。
2. FFmpeg拉流模块实现
2.1 流媒体协议处理
FFmpeg的网络模块已经内置了RTSP/RTMP等常见协议的支持，但实际使用中需要注意几个关键点。下面是一个典型的初始化代码示例：
AVFormatContext *fmt_ctx = NULL; AVDictionary *opts = NULL; // 设置超时参数（单位微秒） av_dict_set(&opts, "stimeout", "3000000", 0); // 设置缓冲区大小 av_dict_set(&opts, "buffer_size", "1024000", 0); if (avformat_open_input(&fmt_ctx, "rtsp://example.com/stream", NULL, &opts) != 0) { // 错误处理 }我遇到过的一个典型问题是网络抖动导致的jitter buffer full错误。通过调整max_delay和reorder_queue_size参数可以有效缓解：
av_dict_set(&opts, "max_delay", "500000", 0); av_dict_set(&opts, "reorder_queue_size", "0", 0);2.2 视频流解析
成功打开流后，需要正确解析视频轨道信息。这里有个细节容易被忽略：av_find_best_stream()的最后一个参数flags需要根据实际情况设置：
int video_stream = av_find_best_stream(fmt_ctx, AVMEDIA_TYPE_VIDEO, -1, -1, NULL, AVSTREAM_PARSE_FULL_RAW);获取到视频参数后，建议检查下帧率信息，这对后续的同步处理很重要：
AVStream *stream = fmt_ctx->streams[video_stream]; float fps = av_q2d(stream->avg_frame_rate); if (isnan(fps)) { fps = 30.0; // 默认值 }3. MPP硬解码核心实现
3.1 MPP初始化流程
MPP的使用需要遵循特定的初始化顺序，以下是经过验证的可靠初始化代码：
MppCtx ctx = NULL; MppApi *mpi = NULL; // 创建MPP上下文 MPP_RET ret = mpp_create(&ctx, &mpi); if (ret != MPP_OK) { // 错误处理 } // 设置解码器为非阻塞模式 RK_U32 timeout = 0; // 0表示非阻塞 mpi->control(ctx, MPP_DEC_SET_PARSER_TIMEOUT, (MppParam)&timeout); // 初始化H.264解码器 ret = mpp_init(ctx, MPP_CTX_DEC, MPP_VIDEO_CodingAVC);在实际项目中，我发现设置MPP_DEC_SET_ENABLE_DEINTERLACE可以显著改善隔行扫描视频的质量：
RK_U32 deinterlace = 1; mpi->control(ctx, MPP_DEC_SET_ENABLE_DEINTERLACE, (MppParam)&deinterlace);3.2 数据传递机制
FFmpeg的AVPacket到MPP的数据转换需要注意内存管理：
MppPacket mpp_pkt = NULL; mpp_packet_init(&mpp_pkt, av_pkt->data, av_pkt->size); mpp_packet_set_pts(mpp_pkt, av_pkt->pts); // 送入解码队列 ret = mpi->decode_put_packet(ctx, mpp_pkt); if (ret == MPP_ERR_BUFFER_FULL) { // 处理缓冲区满的情况 }一个常见问题是忘记释放资源，正确的做法是：
mpp_packet_deinit(&mpp_pkt); // 每次使用后必须释放4. YUV输出处理
4.1 帧数据获取
获取解码后的YUV数据需要正确处理信息变更通知：
MppFrame frame = NULL; while (1) { ret = mpi->decode_get_frame(ctx, &frame); if (ret == MPP_ERR_TIMEOUT) { usleep(2000); continue; } if (mpp_frame_get_info_change(frame)) { // 处理分辨率变化 RK_U32 width = mpp_frame_get_width(frame); RK_U32 height = mpp_frame_get_height(frame); mpi->control(ctx, MPP_DEC_SET_INFO_CHANGE_READY, NULL); continue; } // 正常帧处理 break; }4.2 内存布局解析
RK3568的YUV输出通常是NV12格式（MPP_FMT_YUV420SP），其内存布局需要特别注意：
MppBuffer buf = mpp_frame_get_buffer(frame); RK_U8 *base = (RK_U8 *)mpp_buffer_get_ptr(buf); // Y分量 RK_U8 *y_data = base; // UV分量 RK_U8 *uv_data = base + h_stride * v_stride;在实际渲染时，我发现直接使用memcpy效率较低，建议使用DMA或硬件加速的拷贝方式。
5. 典型问题排查
5.1 延迟问题优化
遇到解码延迟时，可以尝试以下优化措施：
- 检查输入缓冲区设置：
MPP_DEC_SET_INTERNAL_PTS_ENABLE - 调整解码线程优先级：
#include <sched.h> struct sched_param param = {.sched_priority = 50}; sched_setscheduler(0, SCHED_FIFO, ¶m);- 监控解码耗时：
struct timespec start, end; clock_gettime(CLOCK_MONOTONIC, &start); // 解码操作 clock_gettime(CLOCK_MONOTONIC, &end); double elapsed = (end.tv_sec - start.tv_sec) + (end.tv_nsec - start.tv_nsec) / 1e9;5.2 稳定性增强
长时间运行出现异常时，建议：
- 增加心跳检测机制
- 实现解码器自动复位功能
- 添加内存泄漏检测：
// 定期检查 mpp_mem_check(MPP_MEM_DUMP_ALL);在最近的一个项目中，通过实现动态码率适应机制，成功解决了网络波动导致的卡顿问题。具体做法是根据网络状况动态调整av_read_frame()的读取间隔，同时配合MPP的MPP_DEC_SET_PARSER_FAST_MODE参数使用。
