异音检测方法及装置与流程
1.本发明是有关于一种音频检测技术，且特别是有关于一种异音检测方法及装置。
背景技术：
2.一般而言，对于扬声器或麦克风等与声音相关的电子产品而言，组装缺陷等问题会对其性能造成不良的影响。例如，因组装缺陷而造成电声或机械结构上的异音或振动等。组装缺陷以往是由丰富经验的听者在生产线末端进行检测。此种检测需要对扬声器施正弦对数扫频讯(log-swept sine chirps)，并且利用人的听觉检测分析其响应信号是否正常。然而，此种以人耳评估而检测出的结果会随着听者的年龄、情绪变化、听觉疲劳等主观因素而有所不同，并且容易造成听者的职业伤害。
3.此外，现有的模型仅会分类无异音信号与异音信号，并没有针对异音信号进行分类，因此无法得知待测物的缺陷问题，导致维修时间大大增加。
技术实现要素：
4.本发明提供一种异音检测方法及装置，可藉由图像辨识来检测异音信号对应的缺陷类别。
5.本发明的异音检测方法，包括：接收异音信号；将异音信号转换成时频谱图(spectrogram)；以及对时频谱图执行图像辨识，以获得异音信号对应的缺陷类别。
6.在本发明的一实施例中，上述对时频谱图执行图像辨识的步骤包括：将时频谱图输入至分类模型，以获得分别对应至多个指定标签的多个机率值，其中分类模型为神经网络模型；以及以所述机率值中的最大者对应的指定标签作为缺陷类别。
7.在本发明的一实施例中，上述在获得异音信号对应的缺陷类别之后，更包括：判断缺陷类别是否与比较结果相符合；以及倘若缺陷类别不符合比较结果，将对应的异音信号输入至训练数据集，以通过训练数据集来重新训练分类模型。
8.在本发明的一实施例中，上述在获得分别对应至多个指定标签的多个机率值之后，更包括：判断所述机率值中的最大者是否大于与其对应的信心指数；响应于所述机率值中的最大者大于与其对应的信心指数，以所述机率值中的最大者对应的指定标签作为缺陷类别；以及响应于所述机率值中的最大者未大于与其对应的信心指数，将其对应的异音信号输入至训练数据集，以通过训练数据集来重新训练分类模型。
9.在本发明的一实施例中，上述将时频谱图输入至分类模型的步骤包括：按照时频谱图的时序将时频谱图划分为多个子谱图(sub-spectrogram)，以将所述子谱图输入至分类模型。
10.在本发明的一实施例中，上述分类模型包括双向长短期记忆(bidirectional long short-term memory，blstm)层、最大池化(max pooling)层、平坦层(flatten)以及全连接(full connected)层。
11.在本发明的一实施例中，上述将异音信号转换成时频谱图的步骤包括：对异音信
号执行快速傅立叶转换，以产生时频谱图。
12.在本发明的一实施例中，上述接收异音信号的步骤包括：自声音检测模型接收异音信号。所述声音检测模型用以检测音频信号是否具有异音，并在判定音频信号具有异音时，将音频信号视为异音信号。
13.在本发明的一实施例中，自声音检测模型接收异音信号之前，更包括：通过声音检测模型自录音设备接收音频信号。其中，录音设备设置在静音箱中的待测物上或静音箱中，用以录制静音箱内所发出的声音而输出音频信号。
14.本发明的异音检测装置，包括：接收器，经配置以接收异音信号；以及处理器，耦接至接收器，经配置以：将异音信号转换成时频谱图，并对时频谱图执行图像辨识，以获得异音信号对应的缺陷类别。
15.基于上述，本揭露建立了一个深度学习(deep learning，dl)为基础的异音检测架构，通过此架构来对各项故障的异音信号进行分类，藉以降低机台回流重测的数量，以及机台修复时有相关资讯可以参考可加速维修进度。
附图说明
16.图1是依照本发明一实施例的异音检测装置的方块图。
17.图2是依照本发明一实施例的检测待测物的系统示意图。
18.图3是依照本发明一实施例的异音检测方法的流程图。
19.图4a及图4b是依照本发明一实施例的异音信号的时频谱图的示意图。
20.图5是依照本发明一实施例的分类模型的架构图。
21.附图符号说明：
22.100:异音检测装置；
23.110:处理器；
24.120:储存器；
25.121:数据库；
26.122:分类模型；
27.130:接收器；
28.210:静音箱；
29.211:扬声器；
30.212:录音设备；
31.220:声音检测模型；
32.505:双向长短期记忆层；
33.510:最大池化层；
34.515:平坦层；
35.520:全连接层；
36.525-1～525-m:标签；
37.im:时频谱图；
38.n:异音信号；
39.s305～s315:异音检测方法的步骤；
40.t:待测物。
具体实施方式
41.本发明的部份实施例接下来将会配合附图来详细描述，以下的描述所引用的元件符号，当不同附图出现相同的元件符号将视为相同或相似的元件。这些实施例只是本发明的一部份，并未揭示所有本发明的可实施方式。更确切的说，这些实施例只是本发明的专利申请范围中的方法与装置的范例。
42.图1是依照本发明一实施例的异音检测装置的方块图。请参照图1，异音检测装置100包括处理器110、储存器120以及接收器130。处理器110耦接至储存器120以及接收器130。异音检测装置100用以分析所接收的异音信号n，藉此来获得异音信号n对应的缺陷类别。在一实施例中，异音检测装置100中可设置一声音检测模型，所述声音检测模型为软体或模组，藉此来判断音频信号是否正常或异常，其中判定为异常的音频信号即异音信号。
43.储存器120中包括数据库121以及分类模型122。数据库121中储存了训练数据集。训练数据集包括事先收集的多个已知缺陷类别(作为比较结果)的异音音频。利用这些已知的异音音频来训练分类模型122。在此，分类模型122例如为包括多个层的神经网络(neural network，nn)模型，利用深度学习来训练此神经网络模型。深度学习的概念是通过大量已知数据告知神经网络模型输入与输出之间的关系，藉此来调整神经网络模型中的权重(weight)、误差(bias)等参数。
44.处理器110例如是中央处理单元(central processing unit，cpu)、图形处理单元(graphics processing unit，gpu)，或是其他可程序化的微处理器(microprocessor)、数字信号处理器(digital signal processor，dsp)、可程序化控制器、特殊应用集成电路(application specific integrated circuits，asic)、可编程逻辑器件(programmable logic device，pld)或其他类似装置。
45.储存器120例如是任意型式的固定式或可移动式随机存取存储器、只读存储器、闪存、安全数码卡、硬盘或其他类似装置或这些装置的组合。储存器120中储存有多个程序码片段，而上述程序码片段在被安装后，由处理器110来执行，藉此来执行异音检测方法。
46.接收器130例如为通信端口，用以连接至网络卡介面或传输线等，以接收异音信号n。
47.图2是依照本发明一实施例的检测待测物的系统示意图。请参照图2，此系统包括静音箱210、声音检测模型220以及分类模型122。在一实施例中，声音检测模型220可设置在异音检测装置100内，在其他实施例中，声音检测模型220可设置在与异音检测装置100不同的装置中。在静音箱210内设置有待测物t、扬声器211(例如为喇叭)以及录音设备212(例如为麦克风)。声音检测模型220自录音设备212接收音频信号，并判断音频信号为正常或异常，而将判定为异常的音频信号作为所述异音信号。录音设备212用以录制静音箱210内所发出的声音而输出音频信号。
48.待测物t放置在静音箱210内进行测试，可避免受到环境的干扰。静音箱210例如可通过有线或无线的传输方式与声音检测模型220进行传输。例如，声音检测模型220利用有线或无线的传输方式将测试信号传送至静音箱210的扬声器211，以通过扬声器211来播放测试信号，并且通过静音箱210的录音设备212录制静音箱210内所发出的声音而输出音频
ratio)。图4a与图4b所示为不同缺陷类别造成的异音信号的时频谱图。
56.之后，在步骤s315中，通过分类模型122对时频谱图执行图像辨识，以获得异音信号n对应的缺陷类别。即，将时频谱图输入至分类模型122，以获得分别对应至多个指定标签的多个机率值。并且，以所述机率值中的最大者对应的指定标签作为缺陷类别。例如，在训练分类模型122的阶段，训练数据集中包括的已知缺陷类别的数量为6种，则分类模型122最终输出的指定标签为6个。在检测阶段，便可通过分类模型122来获得分别对应至6个指定标签的6个机率值。这6个机率值相加后的总合等于1。在这6个机率值中取出最高的1个机率值，此最高机率值对应的指定标签即是最终获得的缺陷类别。
57.分类模型122还可进一步加入人耳听觉权重，藉此调整所输出的指定标签的对应的机率值，让输出结果较贴近人耳所判断结果。
58.另外，为了进一步验证分类模型122，在将异音信号n传送至分类模型122进行分类的同时，亦将异音信号n提供给相关工程师来进行人工分类而获得一比较结果。故，可将自分类模型122所获得的缺陷类别与比较结果相比。倘若两者不符，则将此笔异音信号n及所述比较结果输入至训练数据集，以通过训练数据集来重新训练分类模型122。
59.另外，还可根据各指定标签来设定其对应的信心指数。在获得最高机率值之后，进一步将最高机率值与其对应的信心指数进行比较。倘若最高机率值未大于其对应的信心指数，代表其对应的缺陷类别并非是现有的6个标签其中一者。故，将此异音信号n传送给相关的工程师，由其进行人工识别，以获得此异音信号n对应的缺陷类别，并将此异音信号n及其对应的缺陷类别(尚未存在于训练数据集中)新增(输入)至训练数据集，以重新训练分类模型122。
60.图5是依照本发明一实施例的分类模型的架构图。请参照图5，分类模型122包括双向长短期记忆(bidirectional long short-term memory，blstm)层505、最大池化层510、平坦层515以及全连接层520。
61.处理器110在接收异音信号n之后，将异音信号n转换为时频谱图im。接着，按照时频谱图im的时序将时频谱图im划分为多个子谱图。例如，由低频至高频将时频谱图im划分为多个子谱图f1～ft，将这些子谱图f1～ft输入至双向长短期记忆层505。
62.双向长短期记忆层505根据下列公式来获得特征数据：
[0063][0064][0065][0066]
双向长短期记忆层505分别通过两个长短期记忆(long short-term memory，lstm)模型将子谱图ft(t＝1～t)通过向前(forward)顺序以及向后(backward)顺序计算而获得特征数据及特征数据之后，基于特征数据及特征数据获得特征数据
[0067]
之后，将在双向长短期记忆层505上所取出的特征数据通过最大池化层510来简化特征数据藉此取得更重要的特征资讯。最大池化层510在每一次池化窗口上会计算输出，然后根据池化窗口中的数值取最大值。最大池化层510根据下列公式计
算：
[0068][0069]
平坦层515用以将最大池化层510输出的特征数据摊平。例如，将多维的特征数据转变为一维的矩阵。最后，将平坦化的特征数据输入至全连接层520，经过权重的计算之后，获得时频谱图im对应至多个标签525-1～525-m的机率值。在此，标签525-1～525-m的机率值相加后等于1。在此，标签525-1～525-m分别具有对应的信心指数t1～tm。在获得标签525-1～525-m各自的机率值之后，取出最高机率值。假设标签525-1的机率值最高，则进一步判断标签525-1的机率值是否高于其对应的信心指数t1。倘若标签525-1的机率值高于其对应的信心指数t1，则异音信号n的缺陷类别即为标签525-1。倘若标签525-1的机率值未高于其对应的信心指数t1，则将此异音信号n传送给相关的工程师，由其进行人工识别，以获得此异音信号n对应的缺陷类别，并将此异音信号n及其对应的缺陷类别(尚未存在于训练数据集中)新增(输入)至训练数据集，以重新训练分类模型122。
[0070]
综上所述，上述实施例中针对异音信号来进行分类，可缩短维修时间，并且可提供比人耳主观判定更为精确的缺陷检测，更可以降低相关的职业伤害。另外，通过分类模型可直接对异音信号进行分析为哪一类失败项目，进而让测试失败的设备一次就整修完成，经过分析之后知道时常故障的元件和机构进而改进提高良率。
技术特征：
1.一种异音检测方法，其特征在于，包括：接收一异音信号；将所述异音信号转换成一时频谱图；以及对所述时频谱图执行一图像辨识，以获得所述异音信号对应的一缺陷类别。2.根据权利要求1所述的异音检测方法，其特征在于，对所述时频谱图执行所述图像辨识的步骤包括：将所述时频谱图输入至一分类模型，以获得分别对应至多个指定标签的多个机率值，其中所述分类模型为一神经网络模型；以及以所述多个机率值中的最大者对应的指定标签作为所述缺陷类别。3.根据权利要求2所述的异音检测方法，其特征在于，在获得所述异音信号对应的所述缺陷类别之后，更包括：判断所述缺陷类别是否与一比较结果相符合；以及倘若所述缺陷类别不符合所述比较结果，将所述异音信号输入至一训练数据集，以通过所述训练数据集来重新训练所述分类模型。4.根据权利要求2所述的异音检测方法，其特征在于，在获得分别对应至所述多个指定标签的所述多个机率值之后，更包括：判断所述多个机率值中的最大者是否大于与其对应的一信心指数；响应于所述多个机率值中的最大者大于与其对应的所述信心指数，以所述多个机率值中的最大者对应的指定标签作为所述缺陷类别；以及响应于所述多个机率值中的最大者未大于与其对应的所述信心指数，将所述异音信号输入至一训练数据集，以通过所述训练数据集来重新训练所述分类模型。5.根据权利要求2所述的异音检测方法，其特征在于，将所述时频谱图输入至所述分类模型的步骤包括：按照所述时频谱图的时序将所述时频谱图划分为多个子谱图，以将所述多个子谱图输入至所述分类模型。6.根据权利要求2所述的异音检测方法，其特征在于，所述分类模型包括一双向长短期记忆层、一最大池化层、一平坦层以及一全连接层。7.根据权利要求1所述的异音检测方法，其特征在于，将所述异音信号转换成所述时频谱图的步骤包括：对所述异音信号执行快速傅立叶转换，以产生所述时频谱图。8.根据权利要求1所述的异音检测方法，其特征在于，接收所述异音信号的步骤包括：自一声音检测模型接收所述异音信号，其中，所述声音检测模型用以检测一音频信号是否具有异音，并在判定所述音频信号具有异音时，将所述音频信号视为所述异音信号。9.根据权利要求8所述的异音检测方法，其特征在于，自所述声音检测模型接收所述异音信号的步骤之前，更包括：通过所述声音检测模型自一录音设备接收一音频信号，其中，所述录音设备设置在一静音箱中的一待测物上或所述静音箱中，用以录制所述静音箱内所发出的声音而输出所述音频信号。
10.一种异音检测装置，其特征在于，包括：一接收器，经配置以接收一异音信号；以及一处理器，耦接至所述接收器，经配置以：将所述异音信号转换成一时频谱图，并对所述时频谱图执行一图像辨识，以获得所述异音信号对应的一缺陷类别。11.根据权利要求10所述的异音检测装置，其特征在于，所述处理器经配置以：将所述时频谱图输入至一分类模型，以获得分别对应至多个指定标签的多个机率值，其中所述分类模型为一神经网络模型；以及以所述多个机率值中的最大者对应的指定标签作为所述缺陷类别。12.根据权利要求11所述的异音检测装置，其特征在于，所述处理器经配置以：判断所述缺陷类别是否与一比较结果相符合；倘若所述缺陷类别不符合所述比较结果，将所述异音信号输入至一训练数据集，以通过所述训练数据集来重新训练所述分类模型。13.根据权利要求11所述的异音检测装置，其特征在于，所述处理器经配置以：判断所述多个机率值中的最大者是否大于与其对应的一信心指数；响应于所述多个机率值中的最大者大于与其对应的所述信心指数，以所述多个机率值中的最大者对应的指定标签作为所述缺陷类别；以及响应于所述多个机率值中的最大者未大于与其对应的所述信心指数，将所述异音信号输入至一训练数据集，以通过所述训练数据集来重新训练所述分类模型。14.根据权利要求11所述的异音检测装置，其特征在于，所述处理器经配置以：按照所述时频谱图的时序将所述时频谱图划分为多个子谱图，以将所述多个子谱图输入至所述分类模型。15.根据权利要求11所述的异音检测装置，其特征在于，所述分类模型包括一双向长短期记忆层、一最大池化层、一平坦层以及一连接层。16.根据权利要求11所述的异音检测装置，其特征在于，所述处理器经配置以：对所述异音信号执行快速傅立叶转换，以产生所述时频谱图。17.根据权利要求11所述的异音检测装置，其特征在于，所述接收器经配置以：自一声音检测模型接收所述异音信号，其中，所述声音检测模型用以检测一音频信号是否具有异音，并在判定所述音频信号具有异音时，将所述音频信号视为所述异音信号。18.根据权利要求17所述的异音检测装置，其特征在于，更包括：所述声音检测模型，所述声音检测模型自一录音设备接收一音频信号，其中，所述录音设备设置在一静音箱中的一待测物上或所述静音箱中，用以录制所述静音箱内所发出的声音而输出所述音频信号。
技术总结
本文涉及一种异音检测方法及装置。首先，接收异音信号。接着，将异音信号转换成时频谱图。之后，对时频谱图执行图像辨识，以获得异音信号对应的缺陷类别。本文可以借由图像辨识来检测异音信号对应的缺陷类别。检测异音信号对应的缺陷类别。检测异音信号对应的缺陷类别。
