Android设备实时音视频传输有效方案

mBuffer = malloc(toWrite);

memcpy(mBuffer,buffer,toWrite);

if(mCurrentPlayMusicStream && mSocketHasInit){

onSocketSendData(toWrite);

}

buffer = ((const char *) buffer) + toWrite;

userSize -= toWrite;

written += toWrite;

releaseBuffer(&audioBuffer);

}

if (written > 0) {

mFramesWritten += written / mFrameSize;

}

return written;

实现


前面分析了一通,我们的方案也比较明朗了,就是在framework层的AudioTrack.cpp文件中,通过socket,把音频流实时的发送出来。

另一个就是接收端,不停的接收发送出来的socket数据,这个socket数据就是实时的pcm流,接收方,在实时播放pcm流,就能实现音频的实时同步了。

关于视频流,是如何实现同步的,大家也可以猜猜?

1)AudioTrack.cpp中的代码实现

#define DEST_PORT 5046

#define DEST_IP_ADDRESS “192.168.7.6”

int mSocket;

bool mSocketHasInit;

bool mCurrentPlayMusicStream;

struct sockaddr_in mRemoteAddr;

ssize_t AudioTrack::write(const void* buffer, size_t userSize, bool blocking)

{

size_t toWrite = audioBuffer.size;

memcpy(audioBuffer.i8, buffer, toWrite);

mBuffer = malloc(toWrite);

memcpy(mBuffer,buffer,toWrite);

//我们添加的代码:把音频流实时的发送出去

if(mCurrentPlayMusicStream && mSocketHasInit){

onSocketSendData(toWrite);

}

}

int AudioTrack::onSocketSendData(uint32_t len){

assert(NULL != mBuffer);

assert(-1 != len);

if(!mSocketHasInit){

initTcpSocket();

}

unsigned int ret = send(mSocket, mBuffer,len, 0);

free(mBuffer);

return 0;

}

2) 接收端的代码处理

(我这里是用的Android设备调试,如果是linux系统,思路是同样的)

接收端的处理逻辑流程图如下:

1、设置socket监听;

2、循环监听socket端口数据;

3、接收到pcm流;

4、播放pcm流;

---------- PlayActivity.java ------------

private ServerSocket mTcpServerSocket = null;

private List mSocketList = new ArrayList<>();

private MyTcpListener mTcpListener = null;

private boolean isAccept = true;

/**

  • 设置socket监听

*/

public void startTcpService() {

Log.v(TAG,“startTcpService();”);

if(mTcpListener == null){

mTcpListener = new MyTcpListener();

}

new Thread() {

@Override

public void run() {

super.run();

try {

mTcpServerSocket = new ServerSocket();

mTcpServerSocket.setReuseAddress(true);

InetSocketAddress socketAddress = new InetSocketAddress(AndroidBoxProtocol.TCP_AUDIO_STREAM_PORT);

mTcpServerSocket.bind(socketAddress);

while (isAccept) {

Socket socket = mTcpServerSocket.accept();

mSocketList.add(socket);

//开启新线程接收socket 数据

new Thread(new TcpServerThread(socket,mTcpListener)).start();

}

} catch (Exception e) {

Log.e(“TcpServer”, “” + e.toString());

}

}

}.start();

}

/**

  • 停止socket监听

*/

private void stopTcpService(){

isAccept = false;

if(mTcpServerSocket != null){

new Thread() {

@Override

public void run() {

super.run();

try {

for(Socket socket:mSocketList) {

socket.close();

}

mTcpServerSocket.close();

自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。

深知大多数初中级安卓工程师,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!

因此收集整理了一份《2024年最新Android移动开发全套学习资料》送给大家,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友,同时减轻大家的负担。
img
img
img
img

由于文件比较大,这里只是将部分目录截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频
如果你觉得这些内容对你有帮助,可以添加下面V无偿领取!(备注Android)
img

最后为了帮助大家深刻理解Android相关知识点的原理以及面试相关知识,这里放上我搜集整理的2019-2021BATJ 面试真题解析,我把大厂面试中常被问到的技术点整理成了PDF,包知识脉络 + 诸多细节。

节省大家在网上搜索资料的时间来学习,也可以分享给身边好友一起学习。

一键领取:【Android超硬核面试资料】

《960全网最全Android开发笔记》

《379页Android开发面试宝典》

历时半年,我们整理了这份市面上最全面的安卓面试题解析大全
包含了腾讯、百度、小米、阿里、乐视、美团、58、猎豹、360、新浪、搜狐等一线互联网公司面试被问到的题目。熟悉本文中列出的知识点会大大增加通过前两轮技术面试的几率。

如何使用它?

1.可以通过目录索引直接翻看需要的知识点,查漏补缺。
2.五角星数表示面试问到的频率,代表重要推荐指数

《507页Android开发相关源码解析》

只要是程序员,不管是Java还是Android,如果不去阅读源码,只看API文档,那就只是停留于皮毛,这对我们知识体系的建立和完备以及实战技术的提升都是不利的。

真正最能锻炼能力的便是直接去阅读源码,不仅限于阅读各大系统源码,还包括各种优秀的开源库。

腾讯、字节跳动、阿里、百度等BAT大厂 2019-2021面试真题解析

存中…(img-1qbcCOUp-1710572615231)]

《507页Android开发相关源码解析》

只要是程序员,不管是Java还是Android,如果不去阅读源码,只看API文档,那就只是停留于皮毛,这对我们知识体系的建立和完备以及实战技术的提升都是不利的。

真正最能锻炼能力的便是直接去阅读源码,不仅限于阅读各大系统源码,还包括各种优秀的开源库。

[外链图片转存中…(img-YD1KEY9C-1710572615231)]

腾讯、字节跳动、阿里、百度等BAT大厂 2019-2021面试真题解析

[外链图片转存中…(img-WevBL8kq-1710572615231)]

资料太多,全部展示会影响篇幅,暂时就先列举这些部分截图,大家可以点击这里自行获取。

相关推荐

  1. Android 视频开发 - VideoView

    2024-03-16 16:24:02       36 阅读
  2. Android视频开发-AudioRecord

    2024-03-16 16:24:02       38 阅读
  3. Android视频开发-AudioTrack

    2024-03-16 16:24:02       34 阅读

最近更新

  1. docker php8.1+nginx base 镜像 dockerfile 配置

    2024-03-16 16:24:02       94 阅读
  2. Could not load dynamic library ‘cudart64_100.dll‘

    2024-03-16 16:24:02       100 阅读
  3. 在Django里面运行非项目文件

    2024-03-16 16:24:02       82 阅读
  4. Python语言-面向对象

    2024-03-16 16:24:02       91 阅读

热门阅读

  1. ReactNative

    2024-03-16 16:24:02       39 阅读
  2. qt QtMultimedia 报错

    2024-03-16 16:24:02       44 阅读
  3. P8752 [蓝桥杯 2021 省 B2] 特殊年份 Python

    2024-03-16 16:24:02       39 阅读
  4. 乐观锁与悲观锁

    2024-03-16 16:24:02       42 阅读
  5. Flink 简述

    2024-03-16 16:24:02       39 阅读
  6. python adb脚本

    2024-03-16 16:24:02       42 阅读
  7. 交叉编译代码

    2024-03-16 16:24:02       45 阅读
  8. ChatGPT升级版:如何借助ChatGPT高效撰写学术论文

    2024-03-16 16:24:02       49 阅读
  9. windows各个版本安装SSH

    2024-03-16 16:24:02       43 阅读
  10. CMake官方教程8--自定义命令和生成文件

    2024-03-16 16:24:02       38 阅读