分享好友 前端技术首页 频道列表

移动端实现HTML5 mp3录音踩坑指南:系统播放音量变小、一些机型录音断断续续 之 MediaRecorder和AudioWorklet的终极对决

html教程  2023-02-08 14:030

H5录音见坑填坑

在2022-06-19那天,Recorder H5录音开源库(https://github.com/xiangyuecn/Recorder)群里有用户反馈手机上录音有bug,前后反馈过来几段测试过程完整录像;分析后初步发现在他那个手机上表现确实是断断续续的,从而音质非常差;此版本的Recorder采用的浏览器AudioContext.createScriptProcessorAudioWorklet 接口对getUserMedia返回的音频流进行音频采集,在线测试地址:https://xiangyuecn.gitee.io/recorder/

但用另外一个录音库 collab-project/videojs-record 录制的却没有这个问题,当时初步分析了下一,发现collab-project在手机上使用的是MediaStreamRecorder来录制webm格式音频,底层使用的是浏览器的MediaRecorder接口对getUserMedia返回的音频流进行音频采集。

更新后的Recorder录音在线测试页

采用MediaRecorder采集音频

已经知道了浏览器的MediaRecorder接口录制出来的音频不会有ScriptProcessorAudioWorklet 接口录制出来的那种断断续续现象;并且后面两个除了在移动端外,在PC端录制出来的音频也会有爆音的现象,只不过要间隔比较久才偶尔出现,对音质影响不明显,这些问题MediaRecorder统统没有!

因此很有必要使用MediaRecorder来进行录音,来获得更好的音质ScriptProcessorAudioWorklet 靠边站。

音频格式:WebM和PCM

MediaRecorder一般录制出来的是WebM格式的音视频文件,可通过MediaRecorder.isTypeSupported方法判断支持的格式:

[ //胡乱拼接一些类型 不同浏览器支持的不同
	'audio/webm; codecs=opus' //都支持的格式
	,'audio/webm; codecs=pcm' //Chrome/Safari支持
	,'audio/pcm'
	,'audio/webm; codecs=wav'
	,'audio/wav'
	,'audio/webm; codecs=ogg'
	,'audio/ogg' //FireFox支持
].forEach(v=>console.log( MediaRecorder.isTypeSupported(v) +" : "+ v ))

可以看到MediaRecorder对opus编码的WebM格式支持的最好;pcm编码的WebM在Chrome/Safari里得到了支持;wav、ogg不做参考。

Recorder只想得到浏览器采集到的PCM音频数据(易于转换成其他格式,比如mp3、wav),或者能简单的解码得到PCM也行,opus编码的WebM对我们需要实现的录音功能帮助不大;好在还有pcm编码的WebM支持,简单的从WebM容器中提取出PCM即可,目前能支持在Chrome/Safari浏览器上运行就能解决绝大部分用户终端的适配。

从WebM封装容器中提取PCM数据

MediaRecorder录制了audio/webm; codecs=pcm数据后,会根据设定的时长间隔,将音频片段通过回调传给js;好在WebM容器格式简单,很好的做到实时的提取PCM数据。

WebM格式(.webm.weba)和常见的 .mkv 视频格式都使用的:Matroska开源多媒体容器标准;Matroska封装格式官方文档:https://www.matroska.org/index.html。

学习一下Matroska文档,就很容易提取出WebM中包含的音频轨道数据了,PCM编码的WebM中的音频轨道中的数据一般为32位浮点数pcm数据。

我写了一段解析和提取WebM音频的代码,代码注释里面详细介绍了WebM格式分解过程,源代码在这里 (可以直接测试运行)。

录音的兼容性

MediaRecorder只支持在Chrome/Safari里对getUserMedia返回的音频流录制成audio/webm; codecs=pcm格式,其他浏览器FireFox不支持此编码的录制,需要降级使用 ScriptProcessorAudioWorklet 来对getUserMedia音频流的采集录制。

好在这些功能在Recorder H5录音开源库都是支持的,升级加一个MediaRecorder支持也用不了多少代码,不管是MediaRecorder还是ScriptProcessorAudioWorklet,Recorder统统实时的返回16位PCM数据;有了PCM数据后:实时转码、实时上传、语音识别、音频可视化等等功能均可实现。

所有已正常支持getUserMedia的浏览器均能录音,录音音质根据浏览器支持情况自动优先采用最佳音频采集方案;支持的包括但不限于:Chrome、Firefox、Safari、iOS 14.3+、Android WebView、腾讯Android X5内核(QQ、微信、小程序WebView)、大部分2021年后更新的Android手机自带浏览器。

困扰已久的H5录音时系统播放音量变小的问题

从Recorder开源之初就发现了这个问题,手机上只要打开了录音,同时播放音频的时候,系统声音会非常的小,甚至跑到了听筒播放,但有时又正常 毫无规律,几年一直束手无策,根本没有文档有这方面的描述或文章参考。

在本次Recorder升级支持MediaRecorder的时候,由于需要getUserMedia参数里面设置audio的采样率sampleRate,顺手就把noiseSuppression降噪、echoCancellation回声消除都默认设成了false,没想到测试的时候再也没有系统播放声音变小的现象。

降噪、回声消除这两个参数很早以前就在测试页面中提供了设置选项,不过之前默认是未配置状态,以前也经常设为false进行测试,竟然没有发现这些参数能解决系统音量变小。

最后经过反复测试,只有noiseSuppression+echoCancellation同时生效时,打开录音后再播放音频,系统音量一定会变小,很惨的是getUserMedia只要你没有配置这两个参数,默认就是同时开启的;只要你给这两参数任意一个设为false,或者都设为false,就不会影响手机系统音量。

目前Recorder已默认禁用了noiseSuppression和echoCancellation,使用原声录制(高音甜、中音准、低音沉,总之一句话就是通透 --- 陈永仁(梁朝伟 饰))。


Recorder H5录音开源库:https://github.com/xiangyuecn/Recorder

Recorder H5在线测试页:https://xiangyuecn.gitee.io/recorder/
【完】

查看更多关于【html教程】的文章

展开全文
相关推荐
反对 0
举报 0
评论 0
图文资讯
热门推荐
优选好物
更多热点专题
更多推荐文章
HTML中将背景颜色渐变 html设置背景颜色渐变
通过使用 css3 渐变可以让背景两个或多个指定的颜色之间显示平稳的过渡,由于用到css3所以需要考虑下浏览器兼容问题,例如:从左到右的线性渐变,且带有透明度的样式:#grad {background: -webkit-linear-gradient(left,rgba(255,0,0,0),rgba(255,0,0,1)); /*

0评论2023-03-08625

html5 Canvas 如何自适应屏幕大小
但是这样创建出的画布不能随着浏览器窗口大小的改变而动态的改变画布的大小。而这一点往往又非常重要, 因为我们会经常改变浏览器窗口大小,不会一直保持某个固定的大小。 html代码 canvas width="300" height="300" id="myCanvas"/canvas设置样式 * {

0评论2023-03-08811

HTML的video标签,不能下载视频代码
!-- 在线视频不能下载代码 --!DOCTYPE html html headscript src="../Demo/demo/book/JQuery/jQuery v2.2.0.js"/script/headbody div style="text-align:center;"video src="../images/PreviewVideo.mp4" width="820"controls="controls&

0评论2023-03-08596

HTML特殊字符、列表、表格总结 html特殊符号对照表
        HTML实体字符  在HTML中一些特殊的字符需要用特殊的方式才能显示出来,比如小于号、版权等,  在课堂上老师教了我们一个有点意思的:空格,在教材上字符实体是“nbsp”通过老师  的演示我们发现不同的浏览器他所显示的效果不同,有的比

0评论2023-03-08521

【JavaScript】使用document.write输出覆盖HTML问题
您只能在 HTML 输出中使用 document.write。如果您在文档加载后使用该方法,会覆盖整个文档。分析HTML输出流是指当前数据形式是HTML格式的数据,这部分数据正在被导出、传输或显示,所以称为“流”。通俗的来说就是HTML文档的加载过程,如果遇到document.writ

0评论2023-03-08815

ASP.Net MVC 控制@Html.DisplayFor日期显示格式
在做一個舊表的查詢頁時,遇到一個問題:字段在db里存儲的是DATETIME,但保存的值只有日期,沒有時間數據,比如2018/2/26 0:00:00,顯示出來比較難看,當然也可以做一個ViewModel,在字段上添加Attribute定義來更改名稱和顯示名稱,如下:[Display(Name = "建

0评论2023-03-08716

html 基础代码
title淄博汉企/title/headbody bgcolor="#00CC66" topmargin="200" leftmargin="200" bottommargin="200"a name="top"/a今天br /天气nbsp;nbsp;nbsp;nbsp;nbsp;不错br /font color="#CC0000"格式控制标签br /b 文字加粗方式1\bbr /str

0评论2023-03-08466

HTML-js 压缩上传的图片方法(默认上传的是file文件)
//压缩图片方法function compressImg(file,callback){var src;var fileSize = parseFloat(parseInt(file['size'])/1024/1024).toFixed(2);var read = new FileReader();read.readAsDataURL(file);read.onload = function (e) {var img = new Image(); img.src

0评论2023-03-08909

html中使table设置固定宽度的列不改变
在开发中发现,有时设置table列的宽度,但是当页面的宽度变时,列宽还是会变,解决方法就是设置table的table-layout属性,设置成table-layout="fixed"就可以了,关于它的其他值,大家可以查查

0评论2023-03-08732

HTML Table 拼凑表格数据并支持滚动条
1 !DOCTYPE html 2 html xmlns="http://www.w3.org/1999/xhtml" 3 head 4 meta http-equiv="Content-Type" content="text/html; charset=utf-8"/ 5 title/title 6 /head 7 body 8 div style="width:600px; height:60px; overflow:scroll;

0评论2023-03-08728

html5 中meta中 content=width=device-width注意
!DOCTYPE html        html        head        meta http-equiv="content-type" content="text/html; charset=UTF-8"        meta name="viewport" content="width=device-width, user-scalable=no, initial-scale=1.0"        sty

0评论2023-03-08540

HTML a标签 target属性作用
特殊的目标有 4 个保留的目标名称用作特殊的文档重定向操作:_blank浏览器总在一个新打开、未命名的窗口中载入目标文档。_self这个目标的值对所有没有指定目标的 a 标签是默认目标,它使得目标文档载入并显示在相同的框架或者窗口中作为源文档。这个目标是多

0评论2023-03-08328

HTML5] html和css的使用方法以及样式
第一步: 清除默认样式第二步: 划分模块第三步: 设置模块的大小以及位置第四步: 划分下一级模块html和css引入网页头像link rel="shortcut icon" href="img/...ico"css样式表的引入方式css样式表的引入方式1、外链式link href="" rel="stylesheet"2、嵌入式

0评论2023-03-08936

转载:原文http://www.cnblogs.com/gao241/p/3522143.html
shell实例手册0说明{手册制作: 雪松更新日期: 2013-12-06欢迎系统运维加入Q群: 198173206请使用"notepad++"打开此文档,"alt+0"将函数折叠后方便查阅请勿删除信息,转载请说明出处,抵制不道德行为。错误在所难免,还望指正!# shell实例手册最新下载地址:http

0评论2023-03-08722

HTML里link meta全部标签的作用
做网站建设的时候很少用到太多的标签,但是在网站运营的时候,特别是像移动互联网发展、做SEO之后我们就特别容易看到很多不常见的link标签。那么这些标签都有什么作用呢?E维科技今天来为您整理一下,欢迎其他技术大牛共同分享。HTML里link 和 meta 标签详解m

0评论2023-03-08413

MVC 自定义标签,给Html.ActionLink加上支持图片链接的功能
转载:http://blog.csdn.net/niewq/article/details/17537873Html.ActionLink只支持文字链接,现在我们利用C#的扩展方法写一个Html.ActionLinkWithImage()让其支持图片链接的功能。一、首先新建一个静态类,将命名空间在改在System.Web.Mvc下,代码如下 usin

0评论2023-03-08587

更多推荐