detectspeechnn
描述
例子
检测音频信号中的演讲
读入一个音频信号,其中包含语音和音乐和听声音。
[audioIn, fs] = audioread (“MusicAndSpeech-16-mono-14secs.ogg”);声音(audioIn fs)
调用detectspeechnn在信号获取感兴趣的区域(roi),样本中,包含演讲。
投资回报率= detectspeechnn (audioIn fs)
投资回报率=2×21 63120 83600 150000
样本的roi转换为秒。
roiSeconds = (roi-1) / fs
roiSeconds =2×20 3.9449 5.2249 9.3749
情节与演讲的音频波形区域。
detectspeechnn (audioIn fs)
完善语言地区能源和监督
读入一个包含扬声器的音频信号重复短语“卷”。
[audioIn, fs] = audioread (“MaleVolumeUp-16-mono-6secs.ogg”);
通过调用比较发现演讲区域detectspeechnn有无能源为基础的应用程序的语音活动检测(VAD)后处理。
tiledlayout (2, 1) nexttile () detectspeechnn (audioIn fs) nexttile () detectspeechnn (fs, audioIn ApplyEnergyVAD = true)
调整后加工参数检测的演讲
读入一个音频信号。
[audioIn, fs] = audioread (“MusicAndSpeech-16-mono-14secs.ogg”);
调用detectspeechnn没有输出参数显示检测到的情节演讲区域。
detectspeechnn (audioIn fs);
修改参数用于后处理算法,看看它们是如何影响区域检测到演讲。关于VAD后处理算法的更多信息,请参阅后处理。
mergeThreshold =1.3;%秒lengthThreshold =
0.25;%秒activationThreshold =
0.5;%的概率deactivationThreshold =
0.25;%的概率applyEnergyVAD =
假;detectspeechnn (fs, audioIn MergeThreshold = MergeThreshold,…LengthThreshold = LengthThreshold,…ActivationThreshold = ActivationThreshold,…DeactivationThreshold = DeactivationThreshold)
检测在流式音频的演讲
使用detectspeechnn检测演讲流式音频信号的存在。
创建一个dsp.AudioFileReader对象播放一个音频文件进行处理。设置SamplesPerFrame属性读100 ms不重叠的块的信号。
误判率= dsp.AudioFileReader (“MaleVolumeUp-16-mono-6secs.ogg”);analysisDuration = 0.1;%秒误判率。SamplesPerFrame =地板(analysisDuration * afr.SampleRate);
的神经网络结构detectspechnn不调用之间保持状态,最好执行在分析更大量的音频信号。当你使用detectspeechnn在流的情况下,特定的应用程序需求的准确性,计算效率和延迟决定,分析时间和是否重叠分析块。
创建一个timescope对象图音频信号和探测到演讲的地方。创建一个audioDeviceWriter播放音频流。
范围= timescope (NumInputPorts = 2,…SampleRate = afr.SampleRate,…TimeSpanSource =“财产”时间间隔= 5,…YLimits = [-1.2, 1.2],…ShowLegend = true, ChannelNames = (“音频”,“发现演讲”]);adw = audioDeviceWriter (afr.SampleRate);
流循环:
从音频文件读取女士在100年的一块。
使用
detectspeechnn发现任何地区演讲的框架。使用sigroi2binmask该地区指标转换为一个二进制的面具。音频信号和检测到演讲的阴谋。
播放的音频设备的作家。
而~结束(误判率)audioIn =误判率();段= detectspeechnn (audioIn、afr.SampleRate LengthThreshold = 0.01);掩码= sigroi2binmask(段,afr.SamplesPerFrame);范围(audioIn面具)adw (audioIn);结束
输入参数
输出参数
算法
引用
[1]Ravanelli Mirco,等。SpeechBrain:通用语言工具包。2021年6月arXiv 8。arXiv.org,http://arxiv.org/abs/2106.04624
版本历史
介绍了R2023a
