AudioContext技术和音乐可视化(1)

Stella981
• 阅读 776

写在最前,测试博客在这里,直接欣赏完成可视化效果。代码不日在github公开,性能目前巨烂,RadialGradient损耗巨大,优化正在提上日程。

转载注明来源。

扒掉网页上js的烦请留下js里的顶端注释谢谢。。虽然我代码是写的挺烂的。如果转发到别的地方了能注明一下作者和来源的话我会很开心的。

https://th-zxj.club 这是你从未体验过的船新版本

Intro

因为自己搭了个博客,一时兴起,就想写个动态的博客背景。毕竟用django后端渲染,前端只有jquery和bootstrap已经够low了,虽说极简风格也很棒,但是多少有点亮眼的东西才好和别人吹牛不是吗。

为了方便讲解,整个思路分为两个部分:音乐播放和背景绘制。

一、音乐播放

1.1 AudioContext

概述部分懒得自己写,参考MDN的描述。

AudioContext接口表示由音频模块连接而成的音频处理图,每个模块对应一个AudioNodeAudioContext可以控制它所包含的节点的创建,以及音频处理、解码操作的执行。做任何事情之前都要先创建AudioContext对象,因为一切都发生在这个环境之中。

1.2 浏览器支持状况

AudioContext标准目前还是草案,不过新chrome已经实现了。我使用的chrome版本如下。

版本 70.0.3538.77(正式版本) (64 位)

如果发现console报错或者其他问题请检查浏览器版本,所有支持的浏览器可以在这个链接查看。

1.3 AudioContext和音频处理图

关于AudioContext我的了解不是很深入,所以只在需要用到的部分进行概述。

首先,关于音频处理图的概念。

这个名词不甚直观,我用过虚幻,所以用虚幻的Blueprint来类比理解。音频处理图,其实是一系列音频处理的模块,连接构成一张数据结构中的“图”,从一般使用的角度来讲,一个播放音频的图,就是AudioSource -> AudioContext.destination,两个节点构成的图。其中有很多特殊的节点可以对音频进行处理,比如音频增益节点GainNode

对于音频处理的部分介绍就到这里为止,毕竟真的了解不多,不过从MDN的文档看,可用的处理节点还是非常多的,就等标准制订完成了。

1.4 加载音频文件并播放

音频文件加载使用典型的JavaScript接口FileReader实现。

一个非常简单的实例是这样

首先是html里写上input

<html>
    <body>
        <input type="file" accept="audio/*" onchange="onInputChange">
    </body>
</html>

然后在javascript里读文件内容。

function onInputChange(files){
    const reader = new FileReader();
    reader.onload = (event) => {
           // event.target.result 就是我们的文件内容了
    }
    reader.readAsArrayBuffer(files[0])
}

文件读取就是这么简单,所以回到那个问题:说了那么多,音乐到底怎么放?

答案是用AudioContextdecodeAudioData方法。

所以从上面的js里做少许修改——

// 创建一个新的 AudioContext
const ctx = new AudioContext();

function onInputChange(files){
    const reader = new FileReader();
    reader.onload = (event) => {
           // event.target.result 就是我们的文件内容了
        // 解码它
        ctx.decodeAudioData(event.target.result).then(decoded => {
            // 解码后的音频数据作为音频源
            const audioBufferSourceNode = ctx.createBufferSource();
            audioBufferSourceNode.buffer = decoded;
            // 把音源 node 和输出 node 连接,boom——
            audioBufferSourceNode.connect(ctx.destination);
            audioBufferSourceNode.start(0);
            // 收工。
        });
    }
    reader.readAsArrayBuffer(files[0])
}

1.5 分析频谱

频谱的概念我建议搜一下傅里叶变换,关于时域和频域转换的计算过程和数学原理直接略(因为不懂),至今我还只理解到时域和频域的概念以及傅里叶变换的实现接受采样返回采样数一半长的频域数据......

不班门弄斧了。

以前写python的时候用的numpy来进行傅里叶变换取得频域数据,现在在浏览器上用js着实有些难受。不过幸好,AudioContext直接支持了一个音频分析的node,叫做AudioAnalyserNode

这个Node处于音源Node和播放输出Node之间,想象一道数据流,音源Node把离散的采样数据交给Analyser,Analyser再交给输出Node。

直接看代码实例。

// 创建一个新的 AudioContext
const ctx = new AudioContext();
// 解码后的音频数据作为音频源
// 为了方便管理,将这些Node都放置在回调函数外部
const audioBufferSourceNode = ctx.createBufferSource();

// 创建音频分析Node!
const audioAnalyser = ctx.createAnalyser();
// 注意注意!这里配置傅里叶变换使用的采样窗口大小!比如说,我们要256个频域数据,那么采样就应该是512。
// 具体对应频率请自行搜傅里叶变换相关博文。
audioAnalyser.fftSize = 512;

function onInputChange(files){
    const reader = new FileReader();
    reader.onload = (event) => {
           // event.target.result 就是我们的文件内容了
        // 解码它
        ctx.decodeAudioData(event.target.result).then(decoded => {
            // 停止原先的音频源
            audioBufferSourceNode.stop();
            // 先把音频源Node和Analyser连接。
            audioBufferSourceNode.connect(audioAnalyser);
            // 然后把Analyser和destination连接。
            audioAnalyser.connect(ctx.destination);
            // 修改音频源数据
            audioBufferSourceNode.buffer = decoded;
            audioBufferSourceNode.start(0);
            // 收工。
        });
    }
    reader.readAsArrayBuffer(files[0])
}

window.requestAnimationFrame(function() {
    // 读取频域数据
    const freqData = new Uint8Array(audioAnalyser.frequencyBinCount);
    console.log(freqData);
})

频域数据是二维的,频率(数组下标)和能量(下标对应值)。悄悄补一句,数学上应该说是该频率函数图像的振幅?

其实获得了这个频域数据,继续画出我们常见的条状频域图就很容易了。参考我一朋友的博客。misuzu.moe,可以看看效果。

关于AudioContext的介绍先到此为止,等我找时间继续写。

PS:代码不保证复制粘贴就能运行,领会精神,遇到问题查查文档。MDN比我这博客详细多了。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
待兔 待兔
3个月前
手写Java HashMap源码
HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程HashMap的使用教程22
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
AssemblyScript 入门指南[每日前端夜话0xEB]
每日前端夜话0xEB每日前端夜话,陪你聊前端。每天晚上18:00准时推送。正文共:2459 字预计阅读时间:10分钟作者:DannyGuo翻译:疯狂的技术宅来源:logrocket!(https://oscimg.oschina.net/oscnet/b880277c594152a503
Stella981 Stella981
3年前
Android So动态加载 优雅实现与原理分析
背景:漫品Android客户端集成适配转换功能(基于目标识别(So库35M)和人脸识别库(5M)),导致apk体积50M左右,为优化客户端体验,决定实现So文件动态加载.!(https://oscimg.oschina.net/oscnet/00d1ff90e4b34869664fef59e3ec3fdd20b.png)点击上方“蓝字”关注我
Easter79 Easter79
3年前
TurnipBit开发板DIY呼吸的吃豆人教程实例
  转载请以链接形式注明文章来源(MicroPythonQQ技术交流群:157816561,公众号:MicroPython玩家汇)  0x00前言  吃豆人是耳熟能详的可爱形象,如今我们的TurnipBit也集成了这可爱的图形,我们这就让他来呼吸了~。  0x01效果展示  先一起看下最终的成品演示视频:  http:/
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
Stella981 Stella981
3年前
C++笔记002:VS2010报错:LINK fatal error LNK1123 转换到 COFF 期间失败文件无效或损坏
 原创笔记,转载请注明出处!点击【关注】,关注也是一种美德~错误描述:1已启动生成:项目:FirstCode,配置:DebugWin321生成启动时间为2018/2/521:00:30。1InitializeBuildStatus:1 正在
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这