首页/文章/webrtc

使用Web RTC实现微信一对一视频通话竟如此简单

2024-05-08
1469 字约 5 分钟
...

随着前端之路的不断探索,当今的前端时代可谓是大前端时代。当今的前端能做的事情太多太多了,这也有弊端就是前端开发人员们需要不断的学习不断的探索。希望大家可以在前端的道路上越走越远。

回到正题,今天想和大家聊一聊Web RTC相关的知识,Web RTC可以干什么?它主要是做通信相关的业务比如:视频聊天、语音聊天、直播等。

结果展示

移动端

pc端

Web RTC API

这里的API有很多,我这里就只介绍一下实现一对一视频通话所需要使用到的API。

SDP

SDP 全称 Session Description Protocol,即会话描述协议。SDP 是一份具有特殊约定格式的纯文本描述文档(类似 JSON / XML),其中包含了 WebRTC 建立连接所需的 ICE 服务器信息、音视频编码信息等。

RTCPeerConnection

它是一个构造函数,用来创建一个Web RTC链接。

const rtc = new RTCPeerconnection();

createOffer(方法)

生成一个发起方的SDP Offer

const session = await rtc.createOffer()

createAnswer(方法)

生成一个应答方的SDP Answer

const session = await rtc.createAnswer()

setLocalDescription(方法)

设置本地的SDP Local

await rtc.setLocalDescription(session)

setRemoteDescription

设置对端的SDP Remote

await rtc.setRemoteDescription(session)

addTrack

addTrack方法将媒体轨道添加到将传输给其他对等端的轨道集合中。

localStream.getTracks().forEach((track) => rtc.addTrack(track, localStream));

addIceCandidate

addIceCandidate方法将新的远程候选者添加到连接的远程描述中,该远程描述描述了连接的远程端的状态。

rtc.addIceCandidate(candidate);

onicecandidate(事件)

当完成媒体协商步骤时会执行icecandidate事件,该事件的监听器需要将更改后的描述信息传送给远端RTCPeerConnection,以更新远端的备选源。

rtc.addEventlistern('icecandidate',(event)=>{
    console.log(event.candidate)
})

ontrack(事件)

执行addTrack方法会调用onTrack事件,会返回一个event对象,其中包含了对端的媒体流。

rtc.addEventlistern('track',(event)=>{
    console.log(event.streams[0])
})

通信流程

我们需要获取不同客户端的相同的编解码方式,这个步骤我我们称之为媒体协商。

具体步骤如下:

完成了媒体协商之后就到了媒体流的发送了,这里具体步骤如下:

至此整个流程就完成了,接下来用代码的方式来实现一下整个的流程。

实现

这里html+css的部分很简单就不做过多介绍了,主要介绍一些js关键部分的逻辑,下面我会附带github地址有兴趣的可以下载查看具体代码。

获取摄像头

获取用户摄像头媒体流使用navigator.mediaDevices.getUserMedia方法


async function getUserMedia() {
  const stream = await navigator.mediaDevices.getUserMedia({
    audio: true,
    video: true,
  });
  console.log(stream);
  localVideo.srcObject = stream;
  localStream = stream;
  
  createRTCPeerConnection();
}

浏览器加载完成创建Web Socket链接。

window.addEventListener("load", () => {
  
  createWebSocket();
  
  callBtn.addEventListener("click", async (e) => {
   ....
  });
  
  closeEl.addEventListener("click", () => {
   ....
  });
  
  connectionEl.addEventListener("click", async () => {
    .....
    socket.send(JSON.stringify({ cmd: "connection", userId }));
  });
});

上方代码可以看到,当我们点击接听电话时,会发送一个connection指令发送到服务端,服务端会接收到这条信息并发送给远端用户提示该用户需要获取摄像头了。具体代码如下:

server端代码具体如下:


function connection(message, conn) {
  const user = getRemoteUser(message.userId, conn); 

  user && user.conn.sendText(JSON.stringify({ cmd: "connection" }));
}

客户端代码具体如下:


async function connection() {
  ....
  await getUserMedia();
  await createOffer();
}

接下来到了最主要的步骤就是媒体协商。上方在接听电话时会创建offer。

媒体协商

创建offer


async function createOffer() {
  const session = await rtc.createOffer();

  await rtc.setLocalDescription(session);

  socket.send(JSON.stringify({ cmd: "offer", content: session, userId }));
}

创建answer


async function createAnswer(message) {
  await rtc.setRemoteDescription(message.content);

  const session = await rtc.createAnswer();

  await rtc.setLocalDescription(session);

  socket.send(JSON.stringify({ cmd: "answer", content: session, userId }));
}

服务端收到offer和answer的处理


function offer(message, conn) {
  const user = getRemoteUser(message.userId, conn);

  user &&
    user.conn.sendText(
      JSON.stringify({ cmd: "offer", content: message.content })
    );
}


function answer(message, conn) {
  const user = getRemoteUser(message.userId, conn);

  user &&
    user.conn.sendText(
      JSON.stringify({ cmd: "answer", content: message.content })
    );
}

当媒体协商完成后会执行Web RTC的onicecandidate事件,这是我需要获取candidate来互换对方的candidate。

客户端监听icecandidate事件,发送candidate指令给服务端。

  rtc.addEventListener("icecandidate", (event) => {
    
    socket.send(
      JSON.stringify({ cmd: "candidate", candidate: event.candidate, userId })
    );
    console.log(event);
  });

服务端获取candidate,并发送给远端的用户。


function candidate(message, conn) {
  const user = getRemoteUser(message.userId, conn);
  user &&
    user.conn.sendText(
      JSON.stringify({ cmd: "candidate", candidate: message.candidate })
    );
}

远端用户获取candidate调用setCandidate发送来设置。


function candidate(message) {
  rtc.addIceCandidate(message.candidate);
}

调用ontrack事件将远端的流设置到video标签中显示。

  rtc.addEventListener("track", (event) => {
    remoteVideo.srcObject = event.streams[0];
    console.log(event);
  });

当我们通过局域网IP访问时,浏览器会拒绝我们的摄像头权限,我们需要更改浏览器配置来允许访问摄像头。

我们在Edge浏览器输入edge://flags/这个地址,找到Insecure origins,将IP地址加端口号写在输入框内并更改为已启用状态,点击重启即可。

移动端我们下载Edge浏览器修改配置也是和pc端一样的流程,这样就可以移动端和pc端之间进行通话了。

如果是Chrome的话输入chrome://flags/即可

到这里主要的逻辑就已经完成了,这里我建议对照源代码来看会更容易理解。其实逻辑不是很复杂,只要把媒体协商这一部分搞懂那么这个一对一的视频通话就会非常简单。

github地址:github.com/Yi-Wo-Zuo/W…

如果您觉得这篇文章有帮助,请点个赞吧~

分享文章

相关文章

更多文章 →
webrtc2024-10-08
什么是 WebRTC
WebRTC(Web 实时通信)是一种可以在浏览器中实现点对点(Peer to Peer)通信的技术标准和开源项目。它使得浏览器和移动应用能够进行实时语音、视频和数据交换,无需安装插件或第三方插件。WebRTC 提供了一组 API,使开发者可以轻松地构建各种实时通信应用程序,如视频会议、语音电话、文件共享等。 基本概念 WebRTC 的核心包括三个主要 API: 1. MediaStream API : 获取摄像头和麦克风的访问权限,并...
学习
webrtc2024-03-08
用 Wavesurfer.js 和 React 快速打造你的音频录播功能
背景 最近正在做一个开源的项目 ,pear rec 是一个跨平台的截图、录屏、录音、录像软件。截图功能上篇文章已经讲过了,如果没有看过的可以去看看这篇文章———— ,并且项目的框架搭建也可以参考上一篇文章,开发到现在我想要一个音乐(录音)预览、播放功能,说干就干,下面我介绍一下我的开发过程。 介绍 实现音频的录音和播放已经是许多应用程序的基础功能。这可能包括社交媒体平台,音乐创作软件,甚至是一些教育应用。在本教程中,我们将引导你如何使用...
学习
八股文2026-07-30
一、TypeScript与类型系统(20题)
1\. 在定义AI接口返回的嵌套数据结构(如多轮对话、工具调用结果)时,如何用TypeScript的泛型与条件类型实现灵活的类型推导? 场景:为“AI助手”定义统一的消息类型系统,需兼容不同模型供应商(OpenAI/Anthropic)及内部(Moonshot)的返回格式。 核心答案: 构建一个以泛型为基础、条件类型为分支的层次化类型系统。核心是利用泛型参数化“消息内容”、“工具调用”和“提供商”,再通过条件类型精确匹配不同场景下的数据...
学习
godot2026-07-27
Godot 4 常用 UI 节点详解
Godot 4 常用 UI 节点详解 在 Godot 4 中,UI 系统基于 Control(控件) 节点构建。所有 UI 节点都继承自 Control,形成一棵完整的 UI 树。与游戏引擎中常见的"Canvas + DOM"模式不同,Godot 的 UI 系统是声明式的——你在场景中搭好节点树,引擎自动完成布局计算。 一、布局系统:Container 家族 Container 是 Godot UI 的 骨架 。它决定了子节点的大小和位...
学习
cocos2026-07-22
🎯 Cocos Creator 生命周期详解
Cocos Creator 生命周期详解 一、前言 Cocos Creator 作为主流的游戏开发引擎,其组件化架构的核心就是 生命周期回调函数 。理解这些回调的触发时机、执行顺序和使用场景,是写出高质量游戏逻辑的基础。 本文基于 Cocos Creator 3.x ,系统梳理从引擎启动到场景切换、从节点创建到销毁的完整生命周期。 二、组件生命周期回调总览 Cocos Creator 的生命周期回调按触发顺序排列如下: | 回调函数 |...
学习
cocos2026-07-22
🚀 Cocos Creator 新手入门指南
一、Cocos Creator 是什么 Cocos Creator 是一款专注于 2D 和 3D 游戏开发的引擎,由 Cocos 团队开发。它的核心理念是 组件化开发 ——把游戏中的每个功能拆成独立的组件,像搭积木一样组合起来。 主要特点 : 完全免费,支持发布到 Web、iOS、Android、桌面等多平台 使用 TypeScript 编写脚本,对前端开发者非常友好 编辑器可视化操作,所见即所得 内置资源管理、动画系统、UI 系统、物...
学习

评论

请登录后发表评论

去登录
加载评论中...

目录