本文作者:kaifamei

一种音频数据处理方法、装置、设备及可读存储介质与流程

更新时间:2025-12-26 06:53:49 0条评论

一种音频数据处理方法、装置、设备及可读存储介质与流程



1.本技术涉及计算机技术领域,尤其涉及一种音频数据处理方法、装置、设备以及可读存储介质。


背景技术:



2.目前,使用移动终端的某个用户(例如,用户a)可以通过系统通话模式与其他用户(例如,用户b)进行系统语音通话,比如,用户a可以在电话通话场景下通过前述系统通话模式与用户b进行系统通话(即打电话)。
3.所以,当该用户a通过移动终端运行某个游戏应用(例如,游戏应用x),且与用户b进行系统通话(即打电话)时,该游戏应用x的应用层往往需要共用该移动终端的终端系统层的系统通话模式。基于此,当该移动终端无差别的开启该系统通话模式下的语音前置信号处理方案中的各个信号处理单元(即各个语音优化组件)时,该应用层与终端系统层均会通过同一功能类型的信号处理单元(即具有相同功能的语音优化组件)对采集到的该用户a的声音进行语音优化,以至于存在具有相同功能的语音优化组件的重复运行的现象,进而会增加系统的开销,还会因为多次重复处理而造成音质损伤等问题,以至于降低了语音优化效果。


技术实现要素:



4.本技术实施例提供一种音频数据处理方法、装置、设备以及可读存储介质,可以提升游戏场景下的语音优化效果。
5.本技术实施例一方面提供了一种音频数据处理方法,包括:
6.在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;其中,第一前置信号处理策略中包括第一优化组件;
7.根据信号处理结果,在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,或控制开启和关闭第一前置信号处理策略中的第一优化组件;
8.其中,在应用层中,第一前置信号处理策略中开启的第一优化组件不同于在第二前置语音处理策略中开启的第二优化组件;第一前置信号处理策略中开启的第一优化组件与第二前置语音处理策略中关闭的语音优化组件具备同一优化功能,且第二前置信号处理策略中开启的第二优化组件与第一前置语音处理策略中关闭的第一优化组件具备同一优化功能;
9.获取业务应用对应的第一用户在游戏语音模式下的上行语音数据,基于第一前置信号处理策略中开启的第一优化组件和第二前置信号处理策略中开启的第二优化组件,对游戏语音模式下的上行语音数据进行语音优化。
10.本技术实施例一方面提供了一种音频数据处理装置,包括:
11.处理结果获取模块,用于在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;
12.组件控制模块,用于根据信号处理结果,在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,或控制开启和关闭第一前置信号处理策略中的第一优化组件;
13.其中,在应用层中,第一前置信号处理策略中开启的第一优化组件不同于在第二前置语音处理策略中开启的第二优化组件;第一前置信号处理策略中开启的第一优化组件与第二前置语音处理策略中关闭的语音优化组件具备同一优化功能,且第二前置信号处理策略中开启的第二优化组件与第一前置语音处理策略中关闭的第一优化组件具备同一优化功能;
14.语音优化模块,用于获取业务应用对应的第一用户在游戏语音模式下的上行语音数据,基于第一前置信号处理策略中开启的第一优化组件和第二前置信号处理策略中开启的第二优化组件,对游戏语音模式下的上行语音数据进行语音优化。
15.其中,装置还包括:
16.资源包获取模块,用于在第一用户访问业务应用时,获取用于加载业务应用的系统资源包,对系统资源包进行解析处理,得到业务应用的系统资源数据;
17.初始化模块,用于对系统资源数据进行初始化处理,基于初始化处理后的系统资源数据将业务应用的业务模式初始配置为系统媒体模式。
18.其中,装置还包括:
19.应用界面输出模块,用于基于初始化处理后的系统资源数据输出业务应用的应用显示界面;应用显示界面中包含用于指示第一用户发起语音交互业务的语音控件;
20.语音开启模块,用于响应第一用户针对语音控件的语音开启操作,检测业务应用的应用类型;
21.游戏模式切换模块,用于在检测到业务应用的应用类型为游戏类型时,生成与游戏类型相关联的第一语音通话指令,基于第一语音通话指令将业务应用的业务模式由系统媒体模式切换为游戏语音模式。
22.可选的,其中,装置还包括:
23.通话模式切换模块,用于在检测到业务应用的应用类型为非游戏类型时,生成与游戏类型相关联的第二语音通话指令,基于第二语音通话指令将业务应用的业务模式由系统媒体模式切换为系统通话模式;
24.通话请求发送模块,用于在基于系统通话模式将语音交互业务的通话类型确定为系统通话类型时,通过业务应用向第二用户发送系统通话类型对应的系统通话请求;第二用户为第一用户在业务应用中所选择的请求进行系统通话的用户;
25.通信信道建立模块,用于在第二用户响应系统通话请求时,建立第一用户与第二用户之间的系统通信信道,基于系统通信信道进行系统通话。
26.其中,处理结果获取模块包括:
27.音质指标获取单元,用于在游戏语音模式下,获取业务应用的音质指标,根据业务应用的音质指标,配置业务应用的音质参数;
28.终端类型查单元,用于获取业务应用所属终端的终端类型,在与业务应用相关联的测试列表中查与终端类型相匹配的测试类型;
29.测试结果获取单元,用于若在测试列表中查到与终端类型相匹配的测试类型,
则基于音质参数从测试列表中获取采用第一前置信号处理策略所得到的第一测试处理结果,且获取采用第二前置信号处理策略所得到的第二测试处理结果;第一前置信号处理策略为业务应用的应用层内的前置信号处理策略;第二前置信号处理策略为测试终端类型所对应的系统终端内的前置信号处理策略;
30.最优策略确定单元,用于基于第一测试处理结果和第二测试处理结果,从第一前置信号处理策略和第二前置信号处理策略中确定与音质参数相关联的最优信号处理策略,将确定出的最优信号处理策略作为与第一前置信号处理策略相关联的信号处理结果。
31.其中,第一前置信号处理策略中的第一优化组件的语音优化算法包括:用于在应用层进行回声消除的第一回声消除算法、用于在应用层进行噪声抑制的第一噪声抑制算法、和用于在应用层进行增益调整的第一增益控制算法;第二前置信号处理策略中的第二优化组件的语音优化算法包括:用于在终端系统层进行回声消除的第二回声消除算法、用于在终端系统层进行噪声抑制的第二噪声抑制算法、和用于在终端系统层进行增益调整的第二增益控制算法。
32.其中,最优确定单元包括:
33.第一选取子单元,用于从第一测试处理结果中获取第一回声消除算法所对应的第一回声消除结果,从第二测试处理结果中获取第二回声消除算法所对应的第二回声消除结果,基于第一回声消除结果和第二回声消除结果,从第一回声消除算法和第二回声消除算法中选取最优回声消除算法,将最优回声消除算法作为与音质参数相关联的第一最优信号处理策略;
34.第二选取子单元,用于从第一测试处理结果中获取第一噪声抑制算法所对应的第一噪声抑制结果,从第二测试处理结果中获取第二噪声抑制算法所对应的第二噪声抑制结果,基于第一噪声抑制结果和第二噪声抑制结果,从第一噪声抑制算法和第二噪声抑制算法中选取最优噪声抑制算法,将最优噪声抑制算法作为与音质参数相关联的第二最优信号处理策略;
35.第三选取子单元,用于从第一测试处理结果中获取第一增益控制算法所对应的第一增益控制结果,从第二测试处理结果中获取第二增益控制算法所对应的第二增益控制结果,基于第一增益控制结果和第二增益控制结果,从第一增益控制算法和第二增益控制算法中选取最优增益控制算法,将最优增益控制算法作为与音质参数相关联的第三最优信号处理策略;
36.最优策略确定子单元,用于将第一最优信号处理策略、第二最优信号处理策略和第三最优信号处理策略,确定为与第一前置信号处理策略相关联的信号处理结果。
37.其中,第一选取子单元,具体用于从第一测试处理结果中获取第一回声消除算法所对应的第一回声消除结果,从第二测试处理结果中获取第二回声消除算法所对应的第二回声消除结果;
38.第一选取子单元,还具体用于将第一回声消除结果对应的优化质量与第二回声消除结果对应的优化质量进行第一比较,得到第一比较结果;
39.第一选取子单元,还具体用于若第一比较结果指示第一回声消除结果对应的优化质量优于第二回声消除结果对应的优化质量,则将第一前置信号处理策略中的第一回声消除算法作为与音质参数相关联的第一最优信号处理策略;
40.可选的,第一选取子单元,还具体用于若第一比较结果指示第二回声消除结果对应的优化质量优于第一回声消除结果对应的优化质量,则将第二前置信号处理策略中的第二回声消除算法作为与音质参数相关联的第一最优信号处理策略。
41.其中,第二选取子单元,具体用于从第一测试处理结果中获取第一噪声抑制算法所对应的第一噪声抑制结果,从第二测试处理结果中获取第二噪声抑制算法所对应的第二噪声抑制结果;
42.第二选取子单元,还具体用于将第一噪声抑制结果对应的优化质量与第二噪声抑制结果对应的优化质量进行第二比较,得到第二比较结果;
43.第二选取子单元,还具体用于若第二比较结果指示第一噪声抑制结果对应的优化质量优于第二噪声抑制结果对应的优化质量,则将第一前置信号处理策略中的第一噪声抑制算法作为与音质参数相关联的第二最优信号处理策略;
44.可选的,第二选取子单元,还具体用于若第二比较结果指示第二噪声抑制结果对应的优化质量优于第一噪声抑制结果对应的优化质量,则将第二前置信号处理策略中的第二噪声抑制算法作为与音质参数相关联的第二最优信号处理策略。
45.其中,第三选取子单元,具体用于从第一测试处理结果中获取第一增益控制算法所对应的第一增益控制结果,从第二测试处理结果中获取第二增益控制算法所对应的第二增益控制结果;
46.第三选取子单元,还具体用于将第一增益控制结果对应的优化质量与第二增益控制结果对应的优化质量进行第三比较,得到第三比较结果;
47.第三选取子单元,还具体用于若第三比较结果指示第一增益控制结果对应的优化质量优于第二增益控制结果对应的优化质量,则将第一前置信号处理策略中的第一增益控制算法作为与音质参数相关联的第三最优信号处理策略;
48.可选的,第三选取子单元,还具体用于若第三比较结果指示第二增益控制结果对应的优化质量优于第一增益控制结果对应的优化质量,则将第一前置信号处理策略中的第二增益控制算法作为与音质参数相关联的第三最优信号处理策略。
49.可选的,其中,处理结果获取模块还包括:
50.优化结果获取单元,用于若在测试列表中未查到与终端类型相匹配的测试类型,则在游戏语音模式下通过麦克风获取到第一用户的上行语音数据时,通过第一前置信号处理策略对上行语音数据进行语音优化,得到第一语音优化结果,且通过第二前置信号处理策略对上行语音数据进行语音优化,得到第二语音优化结果;
51.处理结果确定单元,用于基于第一语音优化结果和第二语音优化结果,从第一前置信号处理策略和第二前置信号处理策略中确定与音质参数相关联的最优信号处理策略,将确定出的最优信号处理策略作为与第一前置信号处理策略相关联的信号处理结果。
52.其中,组件控制模块包括:
53.协同机制启动单元,用于根据信号处理结果启动应用层与业务应用所属终端的终端系统层之间的协同机制;
54.组件控制单元,基于协同机制在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件;
55.第一组件开启单元,用于在应用层中,将第二前置信号处理策略中关闭的第二优
化组件作为第一协同组件,且在第一前置信号处理策略中开启与第一协同组件具有相同优化功能的第一优化组件;
56.第二组件开启单元,用于在应用层中,将第二前置信号处理策略中开启的第二优化组件作为第二协同组件,且在第一前置信号处理策略中关闭与第二协同组件具有相同优化功能的第一优化组件。
57.其中,第一前置信号处理策略中的第一优化组件至少包括:第一回声消除组件、第一噪声抑制组件和第一增益控制组件;第二前置信号处理策略中的第二优化组件至少包括:第二回声消除组件、第二噪声抑制组件和第二增益控制组件;第一回声消除组件和第二回声消除组件均用于进行回声消除;第一噪声抑制组件和第二噪声抑制组件均用于进行噪声抑制;第一增益控制组件和第二增益控制组件均用于进行增益调整。
58.其中,装置还包括:
59.目标结果确定模块,用于将语音优化后的上行语音数据作为上行语音数据对应的目标语音优化结果;
60.目标结果发送模块,用于将目标语音优化结果发送给与第一用户相关联的第三用户对应的终端,以使第三用户对应的终端在游戏语音模式下通过扬声器播放语音优化后的上行语音数据;第一用户与第三用户均为游戏语音模式下处于同一游戏阵营中的游戏用户。
61.其中,装置还包括:
62.语音关闭模块,用于响应第一用户针对语音控件的语音关闭操作,将业务应用的业务模式由游戏语音模式切换回系统媒体模式。
63.本技术实施例一方面提供了一种计算机设备,包括:处理器和存储器;
64.处理器与存储器相连,其中,存储器用于存储计算机程序,计算机程序被处理器执行时,使得该计算机设备执行本技术实施例提供的方法。
65.本技术实施例一方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有该处理器的算计设备执行本技术实施例提供的方法。
66.本技术实施例一方面提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行本技术实施例提供的方法。
67.在本技术实施例中,计算机设备(例如,移动终端)可以在游戏语音模式下,根据信号处理结果,在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件(即第二前置信号处理策略中的语音优化组件),或控制开启和关闭第一前置信号处理策略中的第一优化组件(即第一前置信号处理策略中的语音优化组件);其中,可以理解的是,在应用层中,第一前置信号处理策略中开启的第一优化组件不同于在第二前置语音处理策略中开启的第二优化组件;第一前置信号处理策略中开启的第一优化组件与第二前置语音处理策略中关闭的语音优化组件具备同一优化功能,且第二前置信号处理策略中开启的第二优化组件与第一前置语音处理策略中关闭的第一优化组件具备同一优化功能。由此可见,本技术实施例提出可以根据前述信号处理结果(即具有相同功能的语音优化组件
分别对应的算法对比结果),在应用层控制开启或者关闭终端系统层中的一个或者多个语音优化组件,从而可以让具有同一优化功能的语音优化组件要么是运行在游戏应用层,要么是运行在终端系统层,这样,可以从根源上减少上行语音数据的音质损伤。可以理解的是,这里将不对终端系统层中所开启或者关闭的第二优化组件的数量和类型进行限定。进一步的,计算机设备在获取到第一用户在游戏语音模式下的上行语音数据时,则可以快速基于具有不同功能的第一优化组件和第二优化组件,对游戏语音模式下的上行语音数据进行语音优化,进而可以在降低音质损伤的情况下,提升游戏场景下的语音优化效果。
附图说明
68.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
69.图1是本技术实施例提供的一种网络架构的结构示意图;
70.图2是本技术实施例提供的一种在游戏场景下进行语音交互的场景示意图;
71.图3是本技术实施例提供的一种音频数据处理方法的流程示意图;
72.图4是本技术实施例提供的一种测试列表的场景示意图;
73.图5是本技术实施例提供的一种确定与音质参数相关联的最优信号处理策略的场景示意图;
74.图6是本技术实施例提供的一种控制语音前置信号处理方案中各语音优化组件开启和关闭的场景示意图;
75.图7是本技术实施例提供的一种音频数据处理方法的示意图;
76.图8是本技术实施例提供的一种资源配置界面的场景示意图;
77.图9是本技术实施例提供的一种用于提供不同类型语言双讲服务的流程示意图;
78.图10是本技术实施例提供的一种音频数据处理装置的结构示意图;
79.图11是本技术实施例提供的一种计算机设备的结构示意图。
具体实施方式
80.下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
81.进一步的,请参见图1,图1是本技术实施例提供的一种网络架构的结构示意图。如图1所示,该网络架构可以包括业务服务器2000和用户终端集。
82.其中,用户终端集可以包括一个或者多个用户终端,这里将不对用户终端的数量进行限制。如图1所示,这里的多个用户终端具体可以包括用户终端3000a、用户终端3000b、用户终端3000c、...、用户终端3000n。如图1所示,用户终端3000a、...、用户终端3000b可以分别与业务服务器2000进行网络连接,以便于该用户终端集中的每个用户终端可以通过该网络连接与业务服务器2000之间进行数据交互。
83.其中,如图1所示的业务服务器2000可以是独立的物理服务器,也可以是多个物理服务器所构成的服务器集或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
84.其中,为便于理解,本技术实施例可以在图1所示的用户终端集中选择一个用户终端(例如,用户a所使用的用户终端)作为目标用户终端,例如,本技术实施例可以将图1所示的用户终端3000a作为目标用户终端,该目标用户终端中可以集成有具备音频数据处理功能(例如,音频数据采集和播放功能)的业务应用。其中,业务应用具体可以包括娱乐客户端(例如,游戏客户端)、社交客户端、办公客户端、直播客户端等具有音频数据采集和播放功能的应用客户端。其中,目标用户终端(例如,用户终端3000a)具体可以包括:智能手机、平板电脑、笔记本电脑、可穿戴设备等携带音频数据处理功能的移动终端。其中,本技术实施例可以将娱乐客户端(例如,游戏客户端)对应的应用类型统称为游戏类型,并可以将社交客户端(例如,qq、等客户端)、办公客户端(例如,企业客户端)、直播客户端等分别对应的应用类型统称为非游戏类型。
85.其中,可以理解的是,对于运行有上述业务应用的用户终端(例如,前述目标用户终端)而言,可以根据业务应用的应用类型的不同,自适应地选择不同的业务模式,以在不同业务场景下进行不同类型的语音交互业务。
86.其中,这里的业务模式具体可以包括系统媒体模式、系统通话模式和游戏语音模式。应当理解,目标用户终端可以在用户(即第一用户)不需要语音双讲需求(即不需要进信息语音交互)的情况下,默认将该业务应用的业务模式配置为系统媒体模式。可选的,该目标用户终端还可以在用户(即第一用户)需要语音双讲需求(即需要语音交互)的情况下,智能识别需要进行语音交互的业务应用的应用类型,进而可以根据业务应用的应用类型的不同,自适应地选择不同的业务模式。
87.其中,系统媒体模式可以用于指示目标用户终端为当前用户(即第一用户)播放音乐或者视频节目的音频数据。其中,系统通话模式可以用于指示目标用户终端在非游戏场景下通过该系统通话模式使当前用户(即第一用户)与另一个用户(即第二用户,该第二用户可以为第一用户在业务应用中所选择的请求进行系统通话的用户)进行系统通话。其中,游戏语音模式可以用于指示目标用户终端在游戏场景下提供一种全新的语音交互服务,比如,在游戏语音模式下,该用户(即第一用户)可以直接与另一个用户(比如,第三用户,该第三用户可以为在游戏语音模式下与第一用户处于同一游戏阵营中的游戏用户)进行游戏语音通话。
88.其中,可以理解的是,目标用户终端可以在该游戏语音模式下启动应用层与终端系统层之间的协同机制,进而可以根据该协调机制自适应的根据算法对比结果(即信号处理结果),从应用层的语音优化组件和终端系统层的语音优化组件中选择开启一个具有同一优化功能的语音优化组件。这样,当应用层与终端系统层按照前述协同机制进行协同工作时,可以在该游戏场景下对实时采集到的当前用户(即上述第一用户)的上下语音数据进行实时人声处理,以提升上行语音数据的语音优化效果,进而可以提升游戏用户之间的语音交互体验。
89.为便于理解,进一步的,请参见图2,图2是本技术实施例提供的一种在游戏场景下
进行语音交互的场景示意图。其中,可以理解的是,在游戏场景下,如图2所示的用户终端10a中的业务应用的应用类型可以为上述游戏类型。此时,该用户终端10a可以将该业务应用的业务模式由系统媒体模式切换为游戏语音模式,以便于图2所示的用户1(即上述第一用户)可以在该游戏语音模式下与图2所示的用户2(即上述第三用户)进行游戏语音通话。
90.其中,可以理解的是,图2所示的用户终端10a可以为上述具备音频数据处理功能的目标用户终端。可以理解的是,当图2所示的用户1需要通过该用户终端10a,向图2所示的用户2所对应的用户终端20a进行语音交互时,可以预先在该用户终端10a中对采集到的用户1的声音进行语音优化,以便于可以将语音优化后的用户1的声音作为上行语音数据对应的目标语音优化结果,以发送至用户2对应的用户终端20a,进而可以在用户终端20a中通过图2所示的扬声器播放该语音优化后的用户1的声音。其中,可以理解的是,本技术实施例可以将由用户终端10a的麦克风(即图2所示的应用显示界面100a中的语音控件)所采集到的用户1的声音统称为语音上行信号,即可以将由麦克风采集到的声音信号进行频谱分析后所得到的音频帧统称为上行语音数据。另外,可以理解的是,本技术实施例还可以将由用户终端20a的扬声器(即图2所示的应用显示界面200a中的播放控件)所播放的语音优化后的用户1的声音统称为语音下行信号,即可以将传递到扬声器进行播放的声音信号的音频帧称之为下行语音数据,同理,对于用户终端10a的扬声器所播放的语音优化后的其他用户(例如,用户2)的声音也可以统称为语音下行信号。
91.其中,可以理解的是,在游戏场景下,如图2所示的用户终端10a在通过麦克风实时采集到用户1的声音(即上述语音上行信号)之后,可以得到该语音上行信号对应的上行语音数据,进而可以通过上述业务应用的应用层和终端系统层所共同协商得到的最优信号处理策略,例如,可以根据共同协商出的在应用层中开启的第一优化组件和在终端系统中开启的第二优化组件,对该用户1的上行语音数据进行语音优化。注意,这里的第二优化组件不同于第一优化组件;另外,应用层中开启的第一优化组件(即第一前置信号处理策略中开启的第一优化组件)与第二前置语音处理策略中关闭的第二优化组件具备同一优化功能,且终端系统中开启的第二优化组件与前述第一前置语音处理策略中关闭的第一优化组件具备同一优化功能。应当理解,本技术实施例可以将第一前置信号处理策略中的语音优化组件统称为第一优化组件,并将第二前置信号处理策略中的语音优化组件统称为第二优化组件。这样,通过应用层和终端系统层之间的协同机制,可以有效地确保具有同一优化功能的语音优化组件要么运行在应用层,要么运行在系统终端层,从而可以有效地避免具有同一优化功能的语音优化组件被重复运行的问题。
92.其中,这里的进行语音优化主要包括但不限于进行回声消除(acoustic echo cancellation,aec),进行噪声抑制(noise suppression,ns),进行自动增益控制(auto gain control,agc)。
93.其中,在进行回声消除(aec)的过程中,回声主要是指说话者(例如,前述用户1)通过自己通信设备(例如,前述用户终端10a)发送给其他人(例如,前述用户2)的语音又重新又回到自己的听筒里的现象。本技术实施例所涉及的回声消除主要是指目标用户终端(例如,前述用户终端10a)通过一定的算法装置(例如,回声消除组件)来消除这种回声的处理方案。
94.其中,在进行噪声抑制(ns)的过程中,噪声主要是指由目标用户终端(例如,前述
用户终端10a)采集到的除说话人(例如,前述用户1)之外其他物体所发出的声音信号,基于此,本技术实施例所涉及的噪声抑制主要是指用于目标用户终端(例如,前述用户终端10a)通过一定的算法装置(例如,噪声抑制组件)来消除这种噪声的处理方案。
95.其中,在进行自动增益控制(agc)的过程中,目标用户终端(例如,前述用户终端10a)可以通过一定的算法装置(例如,增益控制组件),智能根据人对声音的听觉感知范围对语音信号能量进行调整,以使得语音信号能更好地被感知的处理方案。
96.其中,应当理解,若用户终端10a通过算法比对结果选择在应用层中开启第一前置信号处理策略中的第一优化组件11(例如,回声抑制组件),则需要同步在终端系统层中关闭与该第一优化组件11(例如,回声抑制组件)具有相同优化功能的第二优化组件21,该第二优化组件21可以为由应用层所控制关闭的终端系统层内的第二前置信号处理策略中的回声抑制组件。这意味着在本技术实施例中,目标用户终端在通过麦克风实时采集到该游戏场景下的用户1的声音(即第一用户的上下语音数据)时,只需要在应用层或者终端系统层中运行一个具有相同优化功能的语音优化组件,进而可以确保具有相同优化功能的语音优化组件的功能运行一次,从而可以在根源上解决具有相同优化功能的语音优化组件的功能重复运行所造成的计算资源浪费的问题。
97.其中,可以理解的是,如图2所示,当用户1(这里主要是指某个游戏用户,例如,游戏用户a)在图2所示的应用显示界面100a选择开启图2所示的语音控件(即处于关闭状态的语音控件时,该用户终端10a中运行的业务应用的业务模式可以为系统媒体模式)时,该用户1所使用终端(例如,图2所示的用户终端10a)可以确定出运行在该用户终端10a中的业务应用的应用类型,进而可以将该业务应用的业务模式由系统媒体模式切换为游戏语音模式,以使该用户终端10a可以在该游戏语音模式下,实时采集并优化由该用户1的声音,以得到图2所示的语音优化后的用户1的声音。进一步的,该用户终端10a可以将语音优化后的用户1的声音广播至该用户1所在阵营中的其他队友(例如,用户2,该用户2可以为与该用户1位于同一阵营中的其他游戏用户)。这样,当同一阵营中的其他队友(例如,用户2)所使用的终端(例如,图2所示的用户终端20a)在开启图2所示的播放控件(例如,在开启游戏场景下的扬声器)时,可以播放接收到的该语音优化后的用户1的声音。
98.可选的,若上述用户终端10a检测到上述业务应用的应用类型属于非游戏类型(例如,社交类型),则该用户终端10a(即上述目标用户终端)可以智能将该业务应用的业务模式由系统媒体模式切换为系统通话模式,以在该系统通话模式下执行第二类语音通话业务,该第二类语音通话业务可以为非游戏场景下的系统通话类型所对应的语音交互业务。比如,在社交场景下,可以允许图2所示的用户1向图2所示的用户2发送系统通话类型对应的系统通话请求,进而可以在图2所示的用户2所对应的终端(即上述用户终端20a)响应该系统通话请求(比如,该用户2确认接收用户1的来电请求)时,建立该用户1与用户2之间的系统通信信道,以通过该系统通信信道进行系统通话。
99.其中,目标用户终端(例如,图2所示的用户终端10a)通过上述应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,以及对该第一用户的上行语音数据进行语音优化的具体实现方式,可以参见下述图3-图9所对应实施例。
100.进一步地,请参见图3,图3是本技术实施例提供的一种音频数据处理方法的流程示意图。该方法可以由用户终端(例如,上述目标用户终端,该目标用户终端可以为上述图2
所对应实施例中的用户终端10a)执行,也可以由业务服务器(如,上述图1所示的业务服务器2000)执行,还可以由用户终端和业务服务器共同执行。为便于理解,本实施例以该方法由用户终端执行为例进行说明。其中,该音频数据处理方法至少可以包括以下步骤s101-步骤s103:
101.步骤s101,在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;
102.具体的,目标用户终端可以在游戏语音模式下,获取业务应用的音质指标,进而可以根据业务应用的音质指标,配置业务应用的音质参数(这里的音质参数可以包括但不限于语音采样率和语音声道数);进一步的,目标用户终端获取业务应用所属终端的终端类型,在与业务应用相关联的测试列表中查与终端类型相匹配的测试类型;若在测试列表中查到与终端类型相匹配的测试类型,则目标用户终端可以基于音质参数从测试列表中获取采用第一前置信号处理策略所得到的第一测试处理结果,且获取采用第二前置信号处理策略所得到的第二测试处理结果;其中,第一前置信号处理策略为业务应用的应用层内的前置信号处理策略;第二前置信号处理策略为测试终端类型所对应的系统终端内的前置信号处理策略;进一步的,目标用户终端可以基于第一测试处理结果和第二测试处理结果,从第一前置信号处理策略和第二前置信号处理策略中确定与音质参数相关联的最优信号处理策略,并可以将确定出的最优信号处理策略作为与第一前置信号处理策略相关联的信号处理结果。
103.其中,可以理解的是,目标用户终端在执行步骤s101之前,还可以预先在该目标用户终端中加载该业务应用的系统资源包,进而可以在对系统资源包进行解析处理之后,得到该业务应用的系统资源数据,这样,当目标用户终端对该系统资源数据进行初始化处理之后,可以根据初始化处理后的系统资源数据将该业务应用的业务模式初始配置为系统媒体模式。应当理解,本技术实施例可以在完成系统资源数据的初始化处理之后,默认进入该系统媒体模式,以便于可以在该系统媒体模式下,根据初始化处理后的系统资源数据输出业务应用的应用显示界面,以在该应用显示界面中输出该业务应用的多媒体数据(例如,视频帧数据以及音频帧数据等)。可以理解的是,该应用显示界面中可以包含用于指示第一用户发起语音交互业务的语音控件,这样,当第一用户需要与其他用户进行语音交互时,则可以选择触发当前处于关闭状态的语音控件,以使该目标用户终端可以响应第一用户针对该语音控件执行的语音开启操作,进而可以自动检测发起语音交互业务的业务应用的应用类型。
104.可以理解的是,若目标用户终端确定发起该语音交互业务的业务应用的应用类型属于游戏类型,则该目标用户终端可以确定当前的业务场景为游戏场景,进而可以在该游戏场景中生成与该游戏类型相关联的第一语音通话指令,并可以基于第一语音通话指令将该目标用户终端中所运行的业务应用的业务模式由系统媒体模式切换为游戏语音模式,以便于后续可以在该游戏语音模式下,执行上述第一类语音通话业务。其中,可以理解的是,该目标用户终端可以在该游戏语音模式下,根据该业务应用的音质指标,细化一些与上述语音双讲需求相关联的音质参数。比如,该目标用户终端可以允许上述第一用户(即使用该目标用户终端的用户)在该游戏语音模式下,设置该目标用户终端对应的语音采样率和语音声道数。
105.可选的,可以理解的是,若该目标用户终端确定当前发起该语音交互业务的业务应用的应用类型属于非游戏类型,则该目标用户终端可以确定出当前的业务场景为非游戏场景,进而可以在该非游戏场景中生成与该非游戏类型相关联的第二语音通话指令,并可以基于第二语音通话指令将该目标用户终端中所运行的业务应用的业务模式由系统媒体模式切换为系统语音模式,进而可以在系统语音模式下与其他用户(例如,上述第二用户)进行语音交互,以执行上述第二类语音通话业务。
106.由此可见,本技术实施例所提供的游戏语音模式与系统语音模式均为上述语音双讲场景下用于提供不同类型语音通话服务的两种业务模式。这样,目标用户终端通过判断发起该语音通话业务的业务应用的应用类型,可以在应用类型为游戏类型时,智能地进入上述游戏语音模式,以执行上述第一类语音通话业务;可选的,该目标用户终端还可以在应用类型为非游戏类型时,智能地进入上述系统语音模式,以执行上述第二类语音通话业务。
107.其中,可以理解的是,在本技术实施例所涉及的目标用户终端可以包括但不限于具备上述语音数据处理功能的移动终端。所以,本技术实施例所涉及的设置目标用户终端对应的语音采样率,主要可以包括设置终端的上行采样率和下行采样率。此外,本技术实施例所涉及的设置目标用户终端的语音声道数主要是指设置语音的通道数目,例如,可以根据目标用户终端的音质指标,将通道数目设置为双声道。
108.应当理解,这里的语音采样率(例如,上行采样率和下行采样率)可以为目标用户终端的录音组件在单位采样周期内对声音信号进行采样的采样次数。该语音采用率可以包括但不限于4khz,8khz和48khz。应当理解,语音采样率的取值大小可以用于反映录音组件所能够还原出的用户声音的真实度和自然度。
109.比如,在该游戏语音模式下,第一用户可以通过该目标用户终端中的语音交互系统所提供的语音双讲服务进行语音交互。即该目标用户终端中的麦克风在用于采集到该第一用户的声音信号(即可以用于采集第一用户的声音)时,可以在该游戏语音模式下,根据上述上行采样率对该第一用户的声音信号进行频谱分析,以采样得到该第一用户在该游戏语音模式下的上行语音数据。此时,目标用户终端可以对该上行语音数据进行语音优化,进而可以将语音优化后的第一用户的声音信号(即上述语音优化后的第一用户的声音)发送给其他通信对端(例如,上述第三用户所对应的终端),以在其他通信对端中通过各自的扬声器播放该上述语音优化后的第一用户的声音。同理,该目标用户终端还可以用于接收其他通信对端所传输来的语音优化后的第三用户的声音信号,进而可以在按照上述下行采用率对该语音优化后的第三用户的声音信号进行频谱分析之后,可以得到用于传递至该目标用户终端的扬声器的下行语音数据,这样,当通过该目标用户终端的扬声器播放该下行语音数据时,可以尽可能准确地为该第一用户还原出语音优化后的第三用户的声音。
110.其中,为便于理解,进一步的,请参见图4,图4是本技术实施例提供的一种测试列表的场景示意图。其中,测试列表301a中的终端测试类型可以为一个或者多个测试终端所对应的测试类型。可以理解的是,这里的终端测试类型可以包含但不限于一个或者多个品牌的机型;可选的,这里的终端测试类型还可以包含这些机型所对应的终端环境系统的系统类型以及系统版本等。
111.其中,可以理解的是,业务应用对应的开发人员在研发出具有上述游戏语音模式的业务应用时,可以预先将该业务应用集成安装在各个用于进行测试的已知机型所对应的
测试终端中,以在这些已知机型所对应的测试终端中分别使用多种前置信号处理策略(比如,上述应用层内的第一前置信号处理策略和上述终端系统层内的第二前置信号处理策略)进行性能测试,以测试得到同一已知机型(即同一测试类型)在特定音质参数下的应用层的中的各语音优化组件的优化性能,和终端系统层中的对应功能的语音优化组件的优化性能。
112.其中,为便于理解,这里以终端测试类型为单个品牌的机型为例,该品牌下的n(这里的n为正整数)个机型可以为图4所示的测试类型t1、

、测试类型t2。比如,测试类型t1可以为品牌a的机型1,测试类型t2可以为品牌a的机型2,以此类推,测试类型tn可以为品牌a的机型n。
113.其中,可以理解的是,为测试应用层中的各语音测试组件和终端系统层中的各语音测试组件在同一机型的不同音质参数下的优化性能,开发人员可以在设定音质参数为音质参数d1(例如,上行语音采样率为8khz,下行语音采样率为8khz,左声道等单声道数量)的情况下,使用应用层中的第一前置信号处理策略和终端系统层内的第二前置信号处理策略,测试得到该机型为测试类型t1的测试终端在该音质参数d1时的语音测试效果。
114.比如,在进行性能测试的过程中,通过使用上述应用层中的各语音优化组件(例如,用于进行回声消除的第一回声消除组件、用于进行噪声抑制的第一噪声抑制组件和用于进行增益调整的第一增益控制组件等第一优化组件)对上行语音数据(例如,用于进行性能测试的上行语音数据r1)进行测试优化所得到的测试处理结果可以为图4所示的与音质参数d1相关联的应用层的测试处理结果。此外,通过使用上述终端系统层中的各语音优化组件(例如,用于进行回声消除的第二回声消除组件、用于进行噪声抑制的第二噪声抑制组件和用于进行增益调整的第一增益控制组件等第二优化组件)对同一上行语音数据r1进行测试优化所得到的测试处理结果,可以为图4所示的与音质参数d1相关联的终端系统层的测试处理结果。
115.其中,为便于理解,本技术实施例可以假设应用层中的第一回声消除组件所对应的测试处理结果可以为图4所示的第一测试结果31a;此时,在终端系统层中的与前述第一回声消除组件具有相同优化功能的语音优化组件可以为上述第二回声消除组件,如图4所示,使用该第二回声消除组件对上行语音数据r1进行回声消除后所得到的测试处理结果可以为图4所示的第二测试结果31b。
116.又比如,应用层中的第一噪声抑制组件所对应的测试处理结果可以为图4所示的第一测试结果32a;此时,在终端系统层中的与前述第一噪声抑制组件具有相同优化功能的语音优化组件可以为上述第二噪声抑制组件,如图4所示,使用该第二噪声抑制组件对上行语音数据r1进行噪声抑制后所得到的测试处理结果可以为图4所示的第二测试结果32b。
117.又比如,应用层中的第一增益控制组件所对应的测试处理结果可以为图4所示的第一测试结果33a。此时,在终端系统层中的与前述第一增益控制组件具有相同优化功能的语音优化组件可以为上述第二增益控制组件,如图4所示,使用该第二噪声抑制组件对上行语音数据r1进行增益调整后所得到的测试处理结果可以为图4所示的第二测试结果33b。
118.此外,以此类推,如图4所示,开发人员还可以在设定音质参数为音质参数d2(例如,上行语音采样率为8khz,下行语音采样率为16khz,左声道等单声道数量)的情况下,使用应用层中的第一前置信号处理策略和终端系统层内的第二前置信号处理策略,测试得到
该机型为测试类型tn的另一测试终端在该音质参数d2时的语音测试效果。
119.比如,在进行另一性能测试的过程中,通过使用上述应用层中的各语音优化组件(例如,用于进行回声消除的第一回声消除组件、用于进行噪声抑制的第一噪声抑制组件和用于进行增益调整的第一增益控制组件等第一优化组件)对另一上行语音数据(例如,用于进行性能测试的上行语音数据r2)进行测试优化所得到的测试处理结果可以为图4所示的与音质参数d2相关联的应用层的测试处理结果。此外,通过使用上述终端系统层中的各语音优化组件(例如,用于进行回声消除的第二回声消除组件、用于进行噪声抑制的第二噪声抑制组件和用于进行增益调整的第一增益控制组件等第二优化组件)对同一上行语音数据r2进行测试优化所得到的测试处理结果,可以为图4所示的与音质参数d2相关联的终端系统层的测试处理结果。
120.同理,为便于理解,本技术实施例可以假设应用层中的第一回声消除组件所对应的测试处理结果可以为图4所示的第一测试结果34a;此时,在终端系统层中的与前述第一回声消除组件具有相同优化功能的语音优化组件可以为上述第二回声消除组件,如图4所示,使用该第二回声消除组件对上行语音数据r2进行回声消除后所得到的测试处理结果可以为图4所示的第二测试结果34b。
121.同理,应用层中的第一噪声抑制组件所对应的测试处理结果可以为图4所示的第一测试结果35a;此时,在终端系统层中的与前述第一噪声抑制组件具有相同优化功能的语音优化组件可以为上述第二噪声抑制组件,如图4所示,使用该第二噪声抑制组件对上行语音数据r1进行噪声抑制后所得到的测试处理结果可以为图4所示的第二测试结果35b。
122.同理,应用层中的第一增益控制组件所对应的测试处理结果可以为图4所示的第一测试结果36a。此时,在终端系统层中的与前述第一增益控制组件具有相同优化功能的语音优化组件可以为上述第二增益控制组件,如图4所示,使用该第二增益控制件对上行语音数据r2进行增益调整后所得到的测试处理结果可以为图4所示的第二测试结果36b。
123.综上所述,当目标用户终端在对应用层中的第一优化组件和终端系统层中的具有同一优化功能的第二优化组件进行性能测试之后,可以预先测试得到各已知机型在不同音质参数下的测试处理结果。然后,开发人员可以将按照上述测试终端类型、音质参数、应用层的测试处理结果和终端系统层的测试处理结果,构建得到上述图4的测试列表301a。这样,当第一用户在上述游戏语音模型下需要与其他用户进行上述语音交互业务时,可以智能根据该业务应用当前所属终端(即上述目标用户终端)的终端类型,快速在该测试列表301中查与该终端类型相匹配的测试类型。比如,该目标用户终端可以基于当前用户(即上述第一用户)根据业务应用的音质指标所设置的音质参数(例如,该第一用户设置的音质参数为上述音质参数d1),快速从该测试列表301中获取采用上述第一前置信号处理策略所得到的第一测试处理结果和采用上述第二前置信号处理策略所得到的第二测试处理结果。可以理解的是,此时,目标用户终端可以在将具有相同优化功能的语音优化组件的测试结果进行比较之后,根据具有相同优化功能的语音优化组件的语音测试效果快速从上述第一前置信号处理策略和第二前置信号处理策略中,判断出当前终端类型(即当前机型)在特定音质参数下的各优化功能所对应的最优信号处理策略,进而可以将确定出的最优信号处理策略作为与第一前置信号处理策略相关联的信号处理结果,以便于后续可以继续执行下述步骤s102。
124.比如,在第一用户(即当前用户)根据音质指标所设置的音质参数为上述图4所示的音质参数d1的情况下,这里的第一测试处理结果具体可以包含上述第一回声消除组件(即应用层中的aec组件)所对应的第一测试结果31a、上述第一噪声抑制组件(即应用层中的ns组件)所对应的第一测试结果32a、和上述第一增益控制组件(应用层中的即agc组件)所对应的第一测试结果33a。其中,这里的第二测试处理结果具体可以包含上述第二回声消除组件(即终端系统层中的aec组件)所对应的第二测试结果31b、上述第二噪声抑制组件(即终端系统层中的ns组件)所对应的第二测试结果32b、和上述第二增益控制组件(即终端系统层中的agc组件)所对应的第二测试结果33b。
125.同理,在第一用户根据音质指标所设置的音质参数为上述图4所示的其他音质参数(例如,上述音质参数d2)的情况下,同样可以从上述测试列表301a中快速得到采用第一前置信号处理策略所得到的第一测试处理结果和采用第二前置信号处理策略所得到的第二测试处理结果。这里将不对与其他音质参数相关联的第一测试处理结果、和与其他音质参数相关联的第二测试处理结果进行一一列举。
126.步骤s102,根据信号处理结果,在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,或控制开启和关闭第一前置信号处理策略中的第一优化组件;
127.其中,在应用层中,第一前置信号处理策略中开启的第一优化组件不同于在第二前置语音处理策略中开启的第二优化组件;第一前置信号处理策略中开启的第一优化组件与第二前置语音处理策略中关闭的语音优化组件具备同一优化功能,且第二前置信号处理策略中开启的第二优化组件与第一前置语音处理策略中关闭的第一优化组件具备同一优化功能;
128.具体的,目标用户终端可以根据前述信号处理结果,启动应用层与业务应用所属终端的终端系统层之间的协同机制,进而可以基于协同机制在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件;进一步的,目标用户终端可以在应用层中,将第二前置信号处理策略中关闭的第二优化组件作为第一协同组件,且在第一前置信号处理策略中开启与第一协同组件具有相同优化功能的第一优化组件;进一步的,目标用户终端可以在应用层中,将第二前置信号处理策略中开启的第二优化组件作为第二协同组件,且在第一前置信号处理策略中关闭与第二协同组件具有相同优化功能的第一优化组件。
129.其中,可以理解的是,上述第一前置信号处理策略中的第一优化组件的语音优化算法可以包括:用于在应用层进行回声消除的第一回声消除算法(该第一回声消除算法对应的第一优化组件为上述第一回声消除组件)、用于在应用层进行噪声抑制的第一噪声抑制算法(该第一噪声抑制算法对应的第一优化组件为上述第一噪声抑制组件)、和用于在应用层进行增益调整的第一增益控制算法(该第一增益控制算法对应的第一优化组件为上述第一增益控制组件);同理,上述第二前置信号处理策略中的第二优化组件的语音优化算法可以包括:用于在终端系统层进行回声消除的第二回声消除算法(该第二回声消除算法对应的第二优化组件为上述第二回声消除组件)、用于在终端系统层进行噪声抑制的第二噪声抑制算法(该第二噪声抑制算法对应的第二优化组件为上述第二噪声抑制组件)、和用于在终端系统层进行增益调整的第二增益控制算法(该第二增益控制算法对应的第二优化组
件为上述第二增益控制组件)。
130.此时,目标用户终端所获取到的信号处理结果可以是由下述步骤所得到的:从第一测试处理结果中获取第一回声消除算法所对应的第一回声消除结果,并从第二测试处理结果中获取第二回声消除算法所对应的第二回声消除结果,进而可以基于第一回声消除结果和第二回声消除结果,从第一回声消除算法和第二回声消除算法中选取最优回声消除算法,从而可以将最优回声消除算法作为与音质参数相关联的第一最优信号处理策略;进一步的,目标用户终端还可以从第一测试处理结果中获取第一噪声抑制算法所对应的第一噪声抑制结果,并从第二测试处理结果中获取第二噪声抑制算法所对应的第二噪声抑制结果,进而可以基于第一噪声抑制结果和第二噪声抑制结果,从第一噪声抑制算法和第二噪声抑制算法中选取最优噪声抑制算法,从而可以将最优噪声抑制算法作为与音质参数相关联的第二最优信号处理策略;进一步的,目标用户终端可以从第一测试处理结果中获取第一增益控制算法所对应的第一增益控制结果,并从第二测试处理结果中获取第二增益控制算法所对应的第二增益控制结果,进而可以基于第一增益控制结果和第二增益控制结果,从第一增益控制算法和第二增益控制算法中选取最优增益控制算法,进而可以将最优增益控制算法作为与音质参数相关联的第三最优信号处理策略;进一步的,目标用户终端可以将第一最优信号处理策略、第二最优信号处理策略和第三最优信号处理策略,确定为与第一前置信号处理策略相关联的信号处理结果。
131.为便于理解,进一步的,请参见图5,图5是本技术实施例提供的一种确定与音质参数相关联的最优信号处理策略的场景示意图。其中,如图5所示的第一测试处理结果401a可以为上述图4所对应实施例中的与音质参数d1相关联的应用层的测试处理结果(即与音质参数d1相关联的第一测试处理结果)。其中,该第一测试处理结果401a中的测试结果41a可以为上述图4所对应实施例中的第一测试结果31a,即图5所示的测试结果41a可以为从第一测试处理结果401a中获取到的第一回声消除算法对应的第一回声消除结果。其中,该第一测试处理结果401a中的测试结果42a可以为上述图4所对应实施例中的第一测试结果32a,即图5所示的测试结果42a可以为从第一测试处理结果401a中获取到的第一噪声抑制算法对应的第一噪声抑制结果。其中,该第一测试处理结果401a中的测试结果43a可以为上述图4所对应实施例中的第一测试结果33a,即图5所示的测试结果43a可以为从第一测试处理结果401a中获取到的第一增益控制算法对应的第一增益控制结果。
132.其中,如图5所示的第二测试处理结果401b可以为上述图4所对应实施例中的与音质参数d1相关联的终端系统层的测试处理结果(即与音质参数d1相关联的第二测试处理结果)。其中,该第二测试处理结果401b中的测试结果41b可以为上述图4所对应实施例中的第二测试结果31b,即图5所示的测试结果41b可以为从第二测试处理结果401b中获取到的第二回声消除算法对应的第二回声消除结果。其中,该第二测试处理结果401b中的测试结果42b可以为上述图4所对应实施例中的第二测试结果32b,即图5所示的测试结果42b可以为从第二测试处理结果401b中获取到的第二噪声抑制算法对应的第二噪声抑制结果。其中,该第二测试处理结果401b中的测试结果43b可以为上述图4所对应实施例中的第二测试结果33b,即图5所示的测试结果43b可以为从第二测试处理结果401b中获取到的第二增益控制算法对应的第二增益控制结果。
133.其中,可以理解的是,该目标用户终端根据第一回声消除结果(例如,上述图5所示
的测试结果41a)和第二回声消除结果(例如,上述图5所示的测试结果41b),确定出第一最优信号处理策略的具体过程可以描述为:目标用户终端可以从第一测试处理结果中获取第一回声消除算法所对应的第一回声消除结果,并从第二测试处理结果中获取第二回声消除算法所对应的第二回声消除结果;进一步的,目标用户终端可以将第一回声消除结果对应的优化质量与第二回声消除结果对应的优化质量进行第一比较,以得到第一比较结果。其中,可以理解的是,如图5所示,目标用户终端可以根据测试结果41a和测试结果41b确定出具有同一优化功能的第一优化组件和第二优化组件的语音测试效果。比如,通过比较上述应用层中的第一回声消除组件在应用层的语音测试效果v11和上述终端系统层中的第二回声消除组件在终端系统层的语音测试效果v12,可以判断测试结果41a是否优于测试结果41b。这样,若图5所示的第一比较结果指示测试结果41a优于测试结果41b,则表明前述第一回声消除结果对应的优化质量优于前述第二回声消除结果对应的优化质量,进而可以将第一前置信号处理策略中的第一回声消除算法作为与音质参数相关联的第一最优信号处理策略;反之,若图5所示的第一比较结果指示测试结果41b优于测试结果41a,则表明第二回声消除结果对应的优化质量优于第一回声消除结果对应的优化质量,进而可以将第二前置信号处理策略中的第二回声消除算法作为与音质参数相关联的第一最优信号处理策略。可选的,应当理解,若测试结果41a与测试结果41b相同,则可以将第一前置信号处理策略中的第一回声消除算法或者第二前置信号处理策略中的第二回声消除算法作为第一最优信号处理策略。
134.其中,可以理解的是,该目标用户终端根据第一噪声抑制结果(例如,上述图5所示的测试结果42a)和第二噪声抑制结果(例如,上述图5所示的测试结果42b),确定出第二最优信号处理策略的具体过程可以描述为:目标用户终端可以从第一测试处理结果中获取第一噪声抑制算法所对应的第一噪声抑制结果,并从第二测试处理结果中获取第二噪声抑制算法所对应的第二噪声抑制结果;进一步的,目标用户终端可以将第一噪声抑制结果对应的优化质量与第二噪声抑制结果对应的优化质量进行第二比较,得到第二比较结果。其中,可以理解的是,如图5所示,目标用户终端可以根据测试结果42a和测试结果42b确定出具有同一优化功能的各语音优化组件的语音测试效果。比如,通过比较上述应用层中的第一噪声抑制组件在应用层的语音测试效果v21和上述终端系统层中的第二噪声抑制组件在终端系统层的语音测试效果v22,可以判断该测试结果42a是否优于测试结果42b;这样,若图5所示的第二比较结果指示测试结果42a优于测试结果42b,则表明前述第一噪声抑制结果对应的优化质量优于前述第二噪声抑制结果对应的优化质量,进而可以将第一前置信号处理策略中的第一噪声抑制算法作为与音质参数相关联的第二最优信号处理策略;反之,若图5所示的第二比较结果指示测试结果42b优于测试结果42a,则表明第二噪声抑制结果对应的优化质量优于第一噪声抑制结果对应的优化质量,则该目标用户终端可以将第二前置信号处理策略中的第二噪声抑制算法作为与音质参数相关联的第二最优信号处理策略。同理,可选的,若测试结果42a与测试结果42b相同,则可以将第一前置信号处理策略中的第一噪声抑制算法或者第二前置信号处理策略中的第二噪声抑制算法作为第二最优信号处理策略。
135.其中,可以理解的是,该目标用户终端根据第一增益控制结果(例如,上述图5所示的测试结果43a)和第二增益控制结果(例如,上述图5所示的测试结果43b),确定出第三最优信号处理策略的具体过程可以描述为:目标用户终端可以从第一测试处理结果中获取第
一增益控制算法所对应的第一增益控制结果,从第二测试处理结果中获取第二增益控制算法所对应的第二增益控制结果;进一步的,目标用户终端可以将第一增益控制结果对应的优化质量与第二增益控制结果对应的优化质量进行第三比较,得到第三比较结果。其中,可以理解的是,如图5所示,目标用户终端可以根据测试结果43a和测试结果43b确定出具有同一优化功能的各语音优化组件的语音测试效果。比如,通过比较上述应用层中的第一增益控制组件在应用层的语音测试效果v31和上述终端系统层中的第二增益控制组件在终端系统层的语音测试效果v32,可以判断测试结果43a是否优于测试结果43b;这样,若图5所示的第三比较结果指示测试结果43a优于测试结果43b,则表明前述第一增益控制结果对应的优化质量优于前述第二增益控制结果对应的优化质量,进而可以将第一前置信号处理策略中的第一增益控制算法作为与音质参数相关联的第三最优信号处理策略;反之,若图5所示的第二比较结果指示测试结果43b优于测试结果43a,则表明第二增益控制结果对应的优化质量优于第一增益控制结果对应的优化质量,进而可以将第一前置信号处理策略中的第二增益控制算法作为与音质参数相关联的第三最优信号处理策略。同理,可选的,若测试结果43a与测试结果43b相同,则可以将第一前置信号处理策略中的第一增益控制算法或者第二前置信号处理策略中的第二增益控制算法作为第三最优信号处理策略。
136.可选的,可以理解的是,若目标用户终端在测试列表(例如,上述测试列表301a)中未查到与当前的终端类型相匹配的测试类型,则该目标用户终端可以确定当前的终端类型属于新的机型,从而可以在游戏语音模式下通过麦克风获取到第一用户的上行语音数据(例如,上述语音数据r3)时,进一步通过第一前置信号处理策略对上行语音数据(例如,上述语音数据r3)进行语音优化(即进行实时语音优化),以实时得到第一语音优化结果,且可以通过第二前置信号处理策略对上行语音数据(例如,上述语音数据r3)进行语音优化(即进行实时语音优化),以实时得到第二语音优化结果;进一步的,该目标用户终端可以基于第一语音优化结果和第二语音优化结果,从第一前置信号处理策略和第二前置信号处理策略中确定出与音质参数相关联的最优信号处理策略,进而可以将确定出的最优信号处理策略作为与第一前置信号处理策略相关联的信号处理结果。
137.其中,可以理解的是,该目标用户终端在确定自己的机型不属于新的机型的情况下,则可以在上述游戏场景下通过应用层中的各语音优化控件对实时获取到的该第一用户的上述语音数据进行实时语音优化,进而可以得到应用层中的各语音优化控件对应的第一语音优化结果。同理,该目标用户终端还可以在上述游戏场景下通过终端系统层中的各语音优化控件对实时获取到的该第一用户的上述语音数据进行实时语音优化,进而可以得到终端系统层中的各语音优化控件对应的第二语音优化结果。其中,该目标用户终端将具有同一优化功能的语音优化组件的语音优化效果进行比较的具体实现方式,可以参见上述对具有同一优化功能的语音优化组件的语音测试效果的描述,这里将不再继续进行赘述。
138.其中,第一前置信号处理策略中的第一优化组件至少可以包括:上述第一回声消除组件、上述第一噪声抑制组件和上述第一增益控制组件;第二前置信号处理策略中的第二优化组件至少可以包括:上述第二回声消除组件、上述第二噪声抑制组件和上述第二增益控制组件;其中,第一回声消除组件和第二回声消除组件均可以用于进行回声消除;第一噪声抑制组件和第二噪声抑制组件均可以用于进行噪声抑制;第一增益控制组件和第二增益控制组件均可以用于进行增益调整。
139.为避免具有相同优化功能的语音优化组件在应用层和终端系统层中重复运行,本技术实施例提出可以在游戏语音模式下,提供相应开关供前述应用层控制前置信号处理方案中的各个部分(即各个语音优化组件)的开启和关闭,以确保具有相同优化功能的语音优化组件要么运行在应用层,要么运行在终端系统层,这样,可以在游戏场景下的实时语音优化(即实时人声优化)过程中,能够降低整个人声优化流程的性能消耗,进而可以提示游戏场景下的语音交互体验,此外,本技术实施例还可以在该游戏语音模式下,可以避免终端系统资源(例如,cpu的计算资源)的浪费,从而可以有效地节省终端的耗电量。
140.为便于理解,进一步的,请参见图6,图6是本技术实施例提供的一种控制语音前置信号处理方案中各语音优化组件开启和关闭的场景示意图。应当理解,这里的语音前置信号处理方案可以为上述目标用户终端为提升上行语音数据的清晰性,响度等而做的相关处理,比如,相关处理可以包括回声消除,噪声抑制,自动增益等。为便于理解,这里以语音前置信号处理方案包括上述第一前置信号处理策略和上述第二前置信号处理策略为例,以阐述在应用层中控制语音前置信号处理方案中的各语音优化组件的开启和关闭的具体过程。
141.其中,如图6所示的应用层601a可以为上述业务应用的应用层,该应用层601a所对应的语音前置信号处理方案可以为上述第一前置信号处理策略,这样,该第一前置信号处理策略中的第一优化组件至少包括:图6所示的语音优化组件61a、语音优化组件62a、语音优化组件63a。应当理解,其中,图6所示的语音优化组件61a可以为上述用于进行回声消除的第一回声消除组件;同理,图6所示的语音优化组件62a可以为上述用于进行噪声抑制的第一噪声抑制组件;同理,图6所示的语音优化组件63a可以为上述用于进行增益调整的第一增益控制组件。
142.其中,如图6所示的终端系统层602a可以为上述业务应用所属终端(即上述目标用户终端)的底层系统层,该终端系统层602a所对应的语音前置信号处理方案可以为上述第二前置信号处理策略,这样,该第二前置信号处理策略中的第二优化组件至少包括:图6所示的语音优化组件61b、语音优化组件62b、语音优化组件63b。应当理解,其中,图6所示的语音优化组件61b可以为上述用于进行回声消除的第二回声消除组件;同理,图6所示的语音优化组件62b可以为上述用于进行噪声抑制的第二噪声抑制组件;同理,图6所示的语音优化组件63b可以为上述用于进行增益调整的第二增益控制组件。
143.应当理解,为避免具有相同功能的各语音优化组件的重复运行,本技术实施例提出可以在图6所示的应用层601a中提供相应的开关,帮助该应用层601a控制图6所示的终端系统层602a中的各语音优化组件的开启和关闭。
144.比如,图6所示的应用层601a中的开关k11可以用于控制图6所示的语音优化组件61a,应用层中的开关k12可以用于控制图6所示的终端系统层602a中的语音优化组件61b。可以理解的是,由于图6所示的应用层601a中的语音优化组件61a与图6所示的终端系统层602a中的语音优化组件61b具有相同的优化功能,所以,该目标用户终端可以根据应用层601a与终端系统层602a之间的协同机制(也可以称之为协商机制),选择是否在该应用层601a中控制开启(或者关闭)终端系统层602a内的第二前置信号处理策略中的语音优化组件61b。比如,如图6所示,目标用户终端可以在应用层601a中控制开启第一前置信号处理策略中的语音优化组件61a,即该目标用户终端可以生成用于控制业务开关64a关闭开关k11,且断开开关k12的第一控制指令,此时,该第一控制指令可以用于指示该目标用户终端将第
二前置信号处理策略中关闭的第二优化组件(例如,图6的语音优化组件61b)作为第一协同组件,并可以在第一前置信号处理策略中开启与该第一协同组件具有相同优化功能的第一优化组件(例如,图6所示的语音优化组件61a)。
145.同理,应用层601a中的开关k21可以用于控制图6所示的语音优化组件62a,应用层中的开关k22可以用于控制图6所示的终端系统层602a中的语音优化组件62b。可以理解的是,由于图6所示的应用层601a中的语音优化组件62a与图6所示的终端系统层602a中的语音优化组件62b具有相同的优化功能,所以,该目标用户终端可以根据应用层601a与终端系统层602a之间的协同机制(也可以称之为协商机制),选择是否在该应用层601a中控制开启(或者关闭)终端系统层602a内的第二前置信号处理策略中的语音优化组件62b。比如,如图6所示,目标用户终端可以在应用层601a中控制开启第二前置信号处理策略的语音优化组件62a,即该目标用户终端可以生成用于控制业务开关64b关闭开关k22,且断开开关k21的第二控制指令,此时,该第二控制指令可以用于指示该目标用户终端将第二前置信号处理策略中开启的第二优化组件(例如,图6的语音优化组件62b)作为第二协同组件,并可以在第一前置信号处理策略中关闭与该第二协同组件具有相同优化功能的第一优化组件(例如,图6所示的语音优化组件62a)。
146.同理,应用层601a中的开关k31可以用于控制图6所示的语音优化组件63a,应用层中的开关k32可以用于控制图6所示的终端系统层602a中的语音优化组件63b。可以理解的是,由于图6所示的应用层601a中的语音优化组件63a与图6所示的终端系统层602a中的语音优化组件63b具有相同的优化功能,所以,该目标用户终端可以根据应用层601a与终端系统层602a之间的协同机制(也可以称之为协商机制),选择是否在该应用层601a中控制开启(或者关闭)终端系统层602a内的第二前置信号处理策略中的语音优化组件63b。其中,该目标用户终端可以生成用于控制业务开关64c关闭开关k31,且断开开关k32的第三控制指令的具体实现方式可以参见对上述第一控制指令的描述,这里将不再继续进行赘述。此时,目标用户终端将第二前置信号处理策略中关闭的第二优化组件(例如,图6的语音优化组件63b)作为新的第一协同组件,并可以在第一前置信号处理策略中开启与该新的第一协同组件具有相同优化功能的第一优化组件(例如,图6所示的语音优化组件63a)。
147.步骤s103,获取业务应用对应的第一用户在游戏语音模式下的上行语音数据,基于第一前置信号处理策略中开启的第一优化组件和第二前置信号处理策略中开启的第二优化组件,对游戏语音模式下的上行语音数据进行语音优化。
148.应当理解,该目标用户终端可以进一步基于上述第一前置信号处理策略中开启的第一优化组件和上述第二前置信号处理策略中开启的第二优化组件,对该游戏场景下实时采集到的第一用户的上行语音数据进行语音优化,以确保当前录入至该目标用户终端的上行语音数据的清晰度和响度,这样,当该目标用户终端在该游戏语音模式下,可以将具有较高清晰度和响度的第一用户的声音传递至通信对端(即上述第三用户所对应的终端),这样,由该通信对端的扬声器所播放的下行语音数据可以为语音优化处理后的第一用户的声音。
149.在本技术实施例中,计算机设备(例如,用作移动终端的目标用户终端)可以在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;其中,可以理解的是,该第一前置信号处理策略中的每个第一优化组件与第二前置信号
处理策略中的对应第二优化组件具有相同的优化功能。所以,在后续游戏实时语音的人声处理(即上行语音数据的语音优化)过程中,可以在该游戏语音模式下有效地解决具有同一功能的语音优化组件的重复运行的现象。比如,本技术实施例提出可以根据前述信号处理结果(即具有相同功能的语音优化组件所对应的算法对比结果),在应用层控制开启或者关闭终端系统层中的一个或者多个第二优化组件,从而可以让具有同一功能的语音优化组件要么是运行在游戏应用层,要么是运行在终端系统层,这样,可以从根源上减少上行语音数据的音质损伤。可以理解的是,这里将不对终端系统层中所开启或者关闭的第二优化组件的数量和类型进行限定。进一步的,计算机设备在获取到第一用户在游戏语音模式下的上行语音数据时,则可以快速基于开启的第一优化组件和开启的第二优化组件,协同对采集到的上行语音数据进行语音优化,进而可以在降低音质损伤的情况下,提升游戏场景下的语音优化效果。
150.进一步地,请参见图7,图7是本技术实施例提供的一种音频数据处理方法的示意图。如图7所示,方法可以由用户终端(例如,目标用户终端,该目标用户终端可以为上述图1所示的用户终端3000a)执行,该方法具体可以包含以下步骤:
151.步骤s201,在第一用户访问业务应用时,获取用于加载业务应用的系统资源包,对系统资源包进行解析处理,得到业务应用的系统资源数据;
152.步骤s202,对系统资源数据进行初始化处理,基于初始化处理后的系统资源数据将业务应用的业务模式初始配置为系统媒体模式。
153.其中,为便于理解,进一步的,请参见图8,图8是本技术实施例提供的一种资源配置界面的场景示意图。可以理解的是,在游戏场景下,如图8所示的游戏用户a可以为上述图2所对应实施例中的用户1。
154.如图8所示,当该游戏用户a在该目标用户终端中启动图8所示的业务应用时,可以从图8所示的业务服务器上获取用于加载该业务应用的系统资源包,进而可以通过该目标用户终端中的编码器对获取到的系统资源包进行解析处理,以得到该业务应用的系统资源数据。进一步的,该目标用户终端还可以用于对该系统资源数据进行初始化处理,进而可以基于初始化处理后的系统资源数据输出图8的资源配置界面,如图8所示,该资源配置界面可以用于动态输出初始化处理后的系统资源数据中的多媒体数据,这里的多媒体数据可以包括但不限于图8所示的图像帧和音频帧。可以理解的是,本技术实施例可以基于初始化处理后的系统资源数据将该业务应用的业务模式初始配置为系统媒体模式,以便于可以在图8所示的资源配置界面中通过扬声器播放图8所示的媒体音频数据(即前述音频帧数据和视频帧数据)。可以理解的是,该目标用户终端还可以在完成系统配置之后,可以执行下述步骤s103,进而可以将该业务应用的显示界面由图8所示的资源配置界面800a切换为包括语音控件的应用显示界面。这样,当该游戏用户a在应用显示界面中触发该处于关闭状态的语音控件时,可以将该业务应用的业务模式由当前的系统媒体模式切换为上述游戏语音模式,以在该游戏语音模式下进行语音交互。
155.步骤s203,基于初始化处理后的系统资源数据输出业务应用的应用显示界面;
156.其中,应用显示界面中包含用于指示第一用户发起语音交互业务的语音控件。
157.步骤s204,响应第一用户针对语音控件的语音开启操作,检测业务应用的应用类型;
158.步骤s205,在检测到业务应用的应用类型为游戏类型时,生成与游戏类型相关联的第一语音通话指令,进而可以基于第一语音通话指令将业务应用的业务模式由系统媒体模式切换为游戏语音模式。
159.可选的,目标用户终端在执行完上述步骤s204之后,还可以在检测到业务应用的应用类型为游戏类型时,直接将业务应用的业务模式由系统媒体模式切换为游戏语音模式。
160.步骤s206,在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;
161.步骤s207,根据信号处理结果,在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,或控制开启和关闭第一前置信号处理策略中的第一优化组件;
162.其中,应当理解,目标用户终端在应用层中根据算法对比结果控制开启和关闭第一前置信号处理策略中的第一优化组件的具体实现方式,可以参见上述图3所对应实施例中,对控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件的具体过程的描述,这里将不再继续进行赘述。
163.步骤s208,获取业务应用对应的第一用户在游戏语音模式下的上行语音数据,基于第一前置信号处理策略中开启的第一优化组件和第二前置信号处理策略中开启的第二优化组件,对游戏语音模式下的上行语音数据进行语音优化。
164.其中,步骤s205-步骤s208的具体实现方式,可以参见上述图3所对应实施例中对步骤s101-步骤s104的描述,这里将不再继续进行赘述。
165.步骤s209,将语音优化后的上行语音数据作为上行语音数据对应的目标语音优化结果;
166.步骤s210,将目标语音优化结果发送给与第一用户相关联的第三用户对应的终端,以使第三用户对应的终端在游戏语音模式下通过扬声器播放语音优化后的上行语音数据;第一用户与第三用户均为游戏语音模式下处于同一游戏阵营中的游戏用户。
167.可选的,可以理解的是,当计算机设备在执行完上述步骤s204之后,若目标用户终端检测到当前运行的业务应用的应用类型属于非游戏类型时,还可以跳转执行下述步骤s211-步骤s213,以在系统通话模式下使得上述第一用户可以和其他用户(例如,第二用户)进行系统通话。
168.步骤s211,在检测到业务应用的应用类型为非游戏类型时,生成与游戏类型相关联的第二语音通话指令,基于第二语音通话指令将业务应用的业务模式由系统媒体模式切换为系统通话模式;
169.步骤s212,在基于系统通话模式将语音交互业务的通话类型确定为系统通话类型时,通过业务应用向第二用户发送系统通话类型对应的系统通话请求;
170.其中,第二用户为第一用户在业务应用中所选择的请求进行系统通话的用户;
171.步骤s213,在第二用户响应系统通话请求时,建立第一用户与第二用户之间的系统通信信道,基于系统通信信道进行系统通话。
172.为便于理解,进一步的,请参见图9,图9是本技术实施例提供的一种用于提供不同类型语言双讲服务的流程示意图。其中,如图9所示,当第一用户在该目标用户终端中启动
上述业务应用之后,可以执行图9所示的步骤s1,以进行系统资源初始化,比如,该目标用户终端可以对上述解析得到的系统资源数据进行初始化处理,进而可以根据初始化处理后的系统资源数据执行图9所示的步骤s2,以使该目标用户终端默认进入系统媒体模式,具体的,目标用户终端可以将业务应用的业务模式初始配置为系统媒体模式。进一步的,当第一用户需要与其他用户进行语音交互时,可以执行图9所示的步骤s3,以在该目标用户终端的应用层发起语音通话。此时,该目标用户终端可以执行图9所示的步骤s4,以判断发起该语音通话的业务应用的应用类型,如果业务应用的应用类型是游戏类型,则可以执行图9所示的步骤s5,以进入游戏语音模式,即第一用户可以在该系统通话模式下与其他用户(例如,上述第三用户)进行游戏场景下的语音通话。否则,如图9所示,则可以执行图9所示的步骤s11,以进入系统通话模式,即第一用户可以在该系统通话模式下与其他用户(例如,上述第二用户)进行非游戏场景下的系统通话。
173.如图9所示,该目标用户终端在执行完步骤s5之后,还可以进一步执行步骤s6,以在该目标用户终端中设置终端的语音采样率(例如,设置图9所示的上行、下行采用率,以确保采样率)和声道数(以保证上行,下行的语音质量),这里的语音采用率和声道数可以为上述音质参数。进一步的,如图9所示,目标用户终端可以进一步执行步骤s7,即目标用户终端可以根据上述算法比对效果,开启应用层的语音前置语音处理算法,且关闭终端系统层的前置语音处理算法;可选的,目标用户终端还可以在开启终端系统层的前置语音处理算法的同时,关闭应用层的语音前置语音处理算法。这样,可以确保该目标用户终端中具有相同优化功能的语音优化组件要么工作在应用层,要么工作在终端系统层,即本技术实施例可以尽可能地确保在应用层的第一优化组件和终端系统层的具有相同优化功能的第二优化组件之间,同时只有一份语音优化组件的语音处理算法在工作,这样,可以最大程度地降低耗电量,且可以提供最优的语音音质效果。
174.进一步的,如图9所示,当第一用户在游戏场景下与其他用户执行图9所示的步骤s8时,可以在该游戏语音场景下进行多端之间的游戏语音通话,即在游戏语音通话的过程中,该目标用户终端可以通过上述协商确定的第一优化组件和第二优化组件对实时采集到的第一用户的上行语音数据进行优化处理,进而可以将优化处理后的第一用户的声音发送给其他用户。进一步的,可以理解的是,当第一用户不需要向同一阵营中的其他游戏用户发送优化处理后的语音时,可以在游戏场景下执行图9所示的步骤s9,比如,该目标用户终端可以响应该第一用户针对上述语音控件的语音关闭操作,进而可以将业务应用的业务模式由前述游戏语音模式切换回图9所示的系统媒体模式。应当理解,本技术实施例还可以在游戏场景下,通过该系统媒体模式播放其他用户所对应的终端所传输来的优化处理后的其他用户的声音,比如,目标用户终端对应的第一用户可以在该系统媒体模式下听到优化处理后的其他用户(即上述第三用户)的声音。此时,该第一用户可以在关闭语音控件的情况下,无需继续该第一用户的上行语音数据进行语音优化,即该第一用户此时可以无需对向游戏场景下的其他用户发送优化处理后的第一用户的声音。
175.应当理解,如图9所示,当第一用户运行完上述业务应用中的游戏之后,可以执行图9所示的步骤s10,以退出当前的游戏系统,此时,该目标用户终端可以释放相关的系统资源数据。
176.其中,可以理解的是,当第一用户在该目标用户终端中听音乐时,该目标用户终端
可以工作在上述系统媒体模式,当第一用户在该目标用户终端中进行电话通话时,该目标用户终端可以工作在上述系统通话模式;可选的,当第一用户在该目标用户终端中进行游戏语音时,该目标用户终端可以工作在上述游戏语音模式。应当理解,本技术实施例所涉及的语音交互系统可以包含以下两个模块,一个模块为目标用户终端内的游戏语音模式,它可以与前述系统通话模式,系统媒体模式并行存在与目标用户终端中。可以理解的是,在该游戏语音模式下,基于该目标用户终端的音质指标所配置的语音上行、下行语音采样率,通道数之间互不影响。另一个模块是运行在应用层的前置信号处理方案,比如,目标用户终端可以根据终端系统层的语音处理效果智能调整应用层的前置信号处理方案。这样,通过两个模块的协同工作,可以使得该目标用户终端在游戏场景下提升游戏用户之间的语音交互体验。
177.在本技术实施例中,计算机设备(例如,目标用户终端)在检测到业务应用的应用类型为游戏类型时,进入游戏语音模式,进而可以在游戏语音模式下,自适应地根据前述信号处理结果(即具有相同功能的语音优化组件所对应的算法对比结果),在应用层控制开启或者关闭终端系统层中的一个或者多个第二优化组件,从而可以让具有同一优化功能的语音优化组件要么是运行在游戏应用层,要么是运行在终端系统层,这样,可以从根源上减少上行语音数据的音质损伤。可以理解的是,这里将不对终端系统层中所开启或者关闭的第二优化组件的数量和类型进行限定。进一步的,计算机设备(例如,目标用户终端)还可以在获取到第一用户在游戏语音模式下的上行语音数据时,快速基于开启的第一优化组件和开启的第二优化组件,对游戏语音模式下的上行语音数据进行语音优化,进而可以在降低音质损伤的情况下,提升游戏场景下的语音优化效果。可选的,本技术实施例还可以在检测到业务应用的应用类型为非游戏类型时,进入系统语音模式,进而可以在系统语音模式下使得该第一用户可以与其他用户进行系统通话。
178.进一步地,请参见图10,图10是本技术实施例提供的一种音频数据处理装置的结构示意图。其中,该音频数据处理装置1可以包括:处理结果获取模块12,组件控制模块13和语音优化模块14。可选的,该音频数据处理装置还可以包括:资源包获取模块15,初始化模块16,应用界面输出模块17,语音开启模块18,游戏模式切换模块11,通话模式切换模块19,通话请求发送模块20,通信信道建立模块21,目标结果确定模块22,目标结果发送模块23,语音关闭模块24。
179.处理结果获取模块12,用于在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;其中,第一前置信号处理策略中包括第一优化组件;
180.其中,处理结果获取模块12包括:音质指标获取单元121,终端类型查单元122,测试结果获取单元123,最优策略确定单元124,优化结果获取单元125和处理结果确定单元126;
181.音质指标获取单元121,用于在游戏语音模式下,获取业务应用的音质指标,根据业务应用的音质指标,配置业务应用的音质参数;
182.终端类型查单元122,用于获取业务应用所属终端的终端类型,在与业务应用相关联的测试列表中查与终端类型相匹配的测试类型;
183.测试结果获取单元123,用于若在测试列表中查到与终端类型相匹配的测试类
型,则基于音质参数从测试列表中获取采用第一前置信号处理策略所得到的第一测试处理结果,且获取采用第二前置信号处理策略所得到的第二测试处理结果;第一前置信号处理策略为业务应用的应用层内的前置信号处理策略;第二前置信号处理策略为测试终端类型所对应的系统终端内的前置信号处理策略;
184.最优策略确定单元124,用于基于第一测试处理结果和第二测试处理结果,从第一前置信号处理策略和第二前置信号处理策略中确定与音质参数相关联的最优信号处理策略,将确定出的最优信号处理策略作为与第一前置信号处理策略相关联的信号处理结果。
185.其中,第一前置信号处理策略中的第一优化组件的语音优化算法包括:用于在应用层进行回声消除的第一回声消除算法、用于在应用层进行噪声抑制的第一噪声抑制算法、和用于在应用层进行增益调整的第一增益控制算法;第二前置信号处理策略中的第二优化组件的语音优化算法包括:用于在终端系统层进行回声消除的第二回声消除算法、用于在终端系统层进行噪声抑制的第二噪声抑制算法、和用于在终端系统层进行增益调整的第二增益控制算法。
186.其中,最优确定单元124包括:第一选取子单元1241,第二选取子单元1242,第三选取子单元1243和最优策略确定子单元1244;
187.第一选取子单元1241,用于从第一测试处理结果中获取第一回声消除算法所对应的第一回声消除结果,从第二测试处理结果中获取第二回声消除算法所对应的第二回声消除结果,基于第一回声消除结果和第二回声消除结果,从第一回声消除算法和第二回声消除算法中选取最优回声消除算法,将最优回声消除算法作为与音质参数相关联的第一最优信号处理策略;
188.其中,第一选取子单元1241,具体用于从第一测试处理结果中获取第一回声消除算法所对应的第一回声消除结果,从第二测试处理结果中获取第二回声消除算法所对应的第二回声消除结果;
189.第一选取子单元1241,还具体用于将第一回声消除结果对应的优化质量与第二回声消除结果对应的优化质量进行第一比较,得到第一比较结果;
190.第一选取子单元1241,还具体用于若第一比较结果指示第一回声消除结果对应的优化质量优于第二回声消除结果对应的优化质量,则将第一前置信号处理策略中的第一回声消除算法作为与音质参数相关联的第一最优信号处理策略;
191.可选的,第一选取子单元1241,还具体用于若第一比较结果指示第二回声消除结果对应的优化质量优于第一回声消除结果对应的优化质量,则将第二前置信号处理策略中的第二回声消除算法作为与音质参数相关联的第一最优信号处理策略。
192.第二选取子单元1242,用于从第一测试处理结果中获取第一噪声抑制算法所对应的第一噪声抑制结果,从第二测试处理结果中获取第二噪声抑制算法所对应的第二噪声抑制结果,基于第一噪声抑制结果和第二噪声抑制结果,从第一噪声抑制算法和第二噪声抑制算法中选取最优噪声抑制算法,将最优噪声抑制算法作为与音质参数相关联的第二最优信号处理策略;
193.其中,第二选取子单元1242,具体用于从第一测试处理结果中获取第一噪声抑制算法所对应的第一噪声抑制结果,从第二测试处理结果中获取第二噪声抑制算法所对应的第二噪声抑制结果;
194.第二选取子单元1242,还具体用于将第一噪声抑制结果对应的优化质量与第二噪声抑制结果对应的优化质量进行第二比较,得到第二比较结果;
195.第二选取子单元1242,还具体用于若第二比较结果指示第一噪声抑制结果对应的优化质量优于第二噪声抑制结果对应的优化质量,则将第一前置信号处理策略中的第一噪声抑制算法作为与音质参数相关联的第二最优信号处理策略;
196.可选的,第二选取子单元1242,还具体用于若第二比较结果指示第二噪声抑制结果对应的优化质量优于第一噪声抑制结果对应的优化质量,则将第二前置信号处理策略中的第二噪声抑制算法作为与音质参数相关联的第二最优信号处理策略。
197.第三选取子单元1243,用于从第一测试处理结果中获取第一增益控制算法所对应的第一增益控制结果,从第二测试处理结果中获取第二增益控制算法所对应的第二增益控制结果,基于第一增益控制结果和第二增益控制结果,从第一增益控制算法和第二增益控制算法中选取最优增益控制算法,将最优增益控制算法作为与音质参数相关联的第三最优信号处理策略;
198.其中,第三选取子单元1243,具体用于从第一测试处理结果中获取第一增益控制算法所对应的第一增益控制结果,从第二测试处理结果中获取第二增益控制算法所对应的第二增益控制结果;
199.第三选取子单元1243,还具体用于将第一增益控制结果对应的优化质量与第二增益控制结果对应的优化质量进行第三比较,得到第三比较结果;
200.第三选取子单元1243,还具体用于若第三比较结果指示第一增益控制结果对应的优化质量优于第二增益控制结果对应的优化质量,则将第一前置信号处理策略中的第一增益控制算法作为与音质参数相关联的第三最优信号处理策略;
201.可选的,第三选取子单元1243,还具体用于若第三比较结果指示第二增益控制结果对应的优化质量优于第一增益控制结果对应的优化质量,则将第一前置信号处理策略中的第二增益控制算法作为与音质参数相关联的第三最优信号处理策略。
202.最优策略确定子单元1244,用于将第一最优信号处理策略、第二最优信号处理策略和第三最优信号处理策略,确定为与第一前置信号处理策略相关联的信号处理结果。
203.其中,第一选取子单元1241,第二选取子单元1242,第三选取子单元1243和最优策略确定子单元1244的具体实现方式,可以参见上述对确定信号处理结果的具体实施方式的描述,这里将不再继续进行赘述。
204.可选的,优化结果获取单元125,用于若在测试列表中未查到与终端类型相匹配的测试类型,则在游戏语音模式下通过麦克风获取到第一用户的上行语音数据时,通过第一前置信号处理策略对上行语音数据进行语音优化,得到第一语音优化结果,且通过第二前置信号处理策略对上行语音数据进行语音优化,得到第二语音优化结果;
205.处理结果确定单元126,用于基于第一语音优化结果和第二语音优化结果,从第一前置信号处理策略和第二前置信号处理策略中确定与音质参数相关联的最优信号处理策略,将确定出的最优信号处理策略作为与第一前置信号处理策略相关联的信号处理结果。
206.其中,音质指标获取单元121,终端类型查单元122,测试结果获取单元123,最优策略确定单元124,优化结果获取单元125和处理结果确定单元126的具体实现方式可以参见上述图3所对应实施例中对步骤s101和步骤s102的描述,这里将不再继续进行赘述。
207.组件控制模块13,用于根据信号处理结果,在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,或控制开启和关闭第一前置信号处理策略中的第一优化组件;
208.其中,在应用层中,第一前置信号处理策略中开启的第一优化组件不同于在第二前置语音处理策略中开启的第二优化组件;第一前置信号处理策略中开启的第一优化组件与第二前置语音处理策略中关闭的语音优化组件具备同一优化功能,且第二前置信号处理策略中开启的第二优化组件与第一前置语音处理策略中关闭的第一优化组件具备同一优化功能;
209.其中,组件控制模块13包括:协同机制启动单元131,组件控制单元132,第一组件开启单元133和第二组件开启单元134;
210.协同机制启动单元131,用于根据信号处理结果启动应用层与业务应用所属终端的终端系统层之间的协同机制;
211.组件控制单元132,基于协同机制在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件;
212.第一组件开启单元133,用于在应用层中,将第二前置信号处理策略中关闭的第二优化组件作为第一协同组件,且在第一前置信号处理策略中开启与第一协同组件具有相同优化功能的第一优化组件;
213.第二组件开启单元134,用于在应用层中,将第二前置信号处理策略中开启的第二优化组件作为第二协同组件,且在第一前置信号处理策略中关闭与第二协同组件具有相同优化功能的第一优化组件。
214.其中,协同机制启动单元131,组件控制单元132,第一组件开启单元133和第二组件开启单元134的具体实现方式,可以参见上述图3所对应实施例中对步骤s102的描述,这里将不再继续进行赘述。
215.语音优化模块14,用于获取业务应用对应的第一用户在游戏语音模式下的上行语音数据,基于第一前置信号处理策略中开启的第一优化组件和第二前置信号处理策略中开启的第二优化组件,对游戏语音模式下的上行语音数据进行语音优化。
216.其中,第一前置信号处理策略中的第一优化组件至少包括:第一回声消除组件、第一噪声抑制组件和第一增益控制组件;第二前置信号处理策略中的第二优化组件至少包括:第二回声消除组件、第二噪声抑制组件和第二增益控制组件;第一回声消除组件和第二回声消除组件均用于进行回声消除;第一噪声抑制组件和第二噪声抑制组件均用于进行噪声抑制;第一增益控制组件和第二增益控制组件均用于进行增益调整。
217.可选的,资源包获取模块15,用于在第一用户访问业务应用时,获取用于加载业务应用的系统资源包,对系统资源包进行解析处理,得到业务应用的系统资源数据;
218.初始化模块16,用于对系统资源数据进行初始化处理,基于初始化处理后的系统资源数据将业务应用的业务模式初始配置为系统媒体模式。
219.应用界面输出模块17,用于基于初始化处理后的系统资源数据输出业务应用的应用显示界面;应用显示界面中包含用于指示第一用户发起语音交互业务的语音控件;
220.语音开启模块18,用于响应第一用户针对语音控件的语音开启操作,检测业务应用的应用类型;
221.可以理解的是,该语音开启模块18可以在检测到该业务应用的应用类型为游戏类型时,通知游戏模式切换模块11在检测到业务应用的应用类型为游戏类型时,生成与游戏类型相关联的第一语音通话指令,基于第一语音通话指令将业务应用的业务模式由系统媒体模式切换为游戏语音模式。
222.可选的,该语音开启模块18还可以在检测到该业务应用的应用类型为非游戏类型(例如,社交类型)时,通知通话模式切换模块19在检测到业务应用的应用类型为非游戏类型时,生成与游戏类型相关联的第二语音通话指令,基于第二语音通话指令将业务应用的业务模式由系统媒体模式切换为系统通话模式。
223.通话请求发送模块20,用于在基于系统通话模式将语音交互业务的通话类型确定为系统通话类型时,通过业务应用向第二用户发送系统通话类型对应的系统通话请求;第二用户为第一用户在业务应用中所选择的请求进行系统通话的用户;
224.通信信道建立模块21,用于在第二用户响应系统通话请求时,建立第一用户与第二用户之间的系统通信信道,基于系统通信信道进行系统通话。
225.可选的,目标结果确定模块22,用于将语音优化后的上行语音数据作为上行语音数据对应的目标语音优化结果;
226.目标结果发送模块23,用于将目标语音优化结果发送给与第一用户相关联的第三用户对应的终端,以使第三用户对应的终端在游戏语音模式下通过扬声器播放语音优化后的上行语音数据;第一用户与第三用户均为游戏语音模式下处于同一游戏阵营中的游戏用户。
227.可选的,语音关闭模块24,用于响应第一用户针对语音控件的语音关闭操作,将业务应用的业务模式由游戏语音模式切换回系统媒体模式。
228.其中,处理结果获取模块12,组件控制模块13和语音优化模块14的具体实现方式,可以参见上述图3所对应实施例中步骤101-步骤s103的描述,这里将不再进行赘述。进一步的,资源包获取模块15,初始化模块16,应用界面输出模块17,语音开启模块18,游戏模式切换模块11,通话模式切换模块19,通话请求发送模块20,通信信道建立模块21,目标结果确定模块22,目标结果发送模块23,语音关闭模块24的具体实现方式,可以参见上述图7所对应实施例中步骤201-步骤s213的描述,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
229.进一步地,请参见图11,图11是本技术实施例提供的一种计算机设备的结构示意图。如图11所示,该计算机设备1000可以为用户终端,该用户终端可以为上述目标用户终端。此时。该计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,该计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(display)、键盘(keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器,也可以是非不稳定的存储器(non-volatile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图11所示,作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及设备控制应用程序。
230.其中,该计算机设备1000中的网络接口1004还可以提供网络通讯功能,且可选用户接口1003还可以包括显示屏(display)、键盘(keyboard)。在图11所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为用户提供输入的接口;而处理器1001可以用于调用存储器1005中存储的设备控制应用程序,以执行前文图3或者图7所对应实施例中对该音频数据处理方法的描述,也可执行前文图10所对应实施例中对该音频数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
231.此外,这里需要指出的是:本技术实施例还提供了一种计算机存储介质,且计算机存储介质中存储有前文提及的音频数据处理装置1所执行的计算机程序,且计算机程序包括程序指令,当处理器执行程序指令时,能够执行前文图3或图7所对应实施例中对音频数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本技术所涉及的计算机存储介质实施例中未披露的技术细节,请参照本技术方法实施例的描述。
232.可以理解的是,本技术实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行前文图3或图7所对应实施例中对音频数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本技术所涉及的计算机存储介质实施例中未披露的技术细节,请参照本技术方法实施例的描述。
233.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory,rom)或随机存储记忆体(random access memory,ram)等。
234.以上所揭露的仅为本技术较佳实施例而已,当然不能以此来限定本技术之权利范围,因此依本技术权利要求所作的等同变化,仍属本技术所涵盖的范围。

技术特征:


1.一种音频数据处理方法,其特征在于,包括:在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;其中,所述第一前置信号处理策略中包括第一优化组件;根据所述信号处理结果,在所述应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,或控制开启和关闭所述第一前置信号处理策略中的第一优化组件;其中,在所述应用层中,所述第一前置信号处理策略中开启的第一优化组件,不同于在所述第二前置语音处理策略中开启的第二优化组件;所述第一前置信号处理策略中开启的第一优化组件与所述第二前置语音处理策略中关闭的第二优化组件具备同一优化功能,且所述第二前置语音处理策略中开启的第二优化组件与所述第一前置语音处理策略中关闭的第一优化组件具备同一优化功能;获取所述业务应用对应的第一用户在游戏语音模式下的上行语音数据,基于所述第一前置信号处理策略中开启的第一优化组件和所述第二前置信号处理策略中开启的第二优化组件,对所述游戏语音模式下的上行语音数据进行语音优化。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:在所述第一用户访问所述业务应用时,获取用于加载所述业务应用的系统资源包,对所述系统资源包进行解析处理,得到所述业务应用的系统资源数据;对所述系统资源数据进行初始化处理,基于初始化处理后的系统资源数据将所述业务应用的业务模式初始配置为所述系统媒体模式。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:基于所述初始化处理后的系统资源数据输出所述业务应用的应用显示界面;所述应用显示界面中包含用于指示所述第一用户发起语音交互业务的语音控件;响应所述第一用户针对所述语音控件的语音开启操作,检测所述业务应用的应用类型;在检测到所述业务应用的应用类型为游戏类型时,生成与所述游戏类型相关联的第一语音通话指令,基于所述第一语音通话指令将所述业务应用的业务模式由所述系统媒体模式切换为游戏语音模式。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:在检测到所述业务应用的应用类型为非游戏类型时,生成与所述游戏类型相关联的第二语音通话指令,基于所述第二语音通话指令将所述业务应用的业务模式由所述系统媒体模式切换为系统通话模式;在基于所述系统通话模式将所述语音交互业务的通话类型确定为系统通话类型时,通过所述业务应用向第二用户发送所述系统通话类型对应的系统通话请求;所述第二用户为所述第一用户在所述业务应用中所选择的请求进行系统通话的用户;在所述第二用户响应所述系统通话请求时,建立所述第一用户与所述第二用户之间的系统通信信道,基于所述系统通信信道进行系统通话。5.根据权利要求1所述的方法,其特征在于,所述在所述游戏语音模式下,获取与所述业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果,包括:在所述游戏语音模式下,获取所述业务应用的音质指标,根据所述业务应用的音质指
标,配置所述业务应用的音质参数;获取所述业务应用所属终端的终端类型,在与所述业务应用相关联的测试列表中查与所述终端类型相匹配的测试类型;若在所述测试列表中查到与所述终端类型相匹配的测试类型,则基于所述音质参数从所述测试列表中获取采用第一前置信号处理策略所得到的第一测试处理结果,且获取采用第二前置信号处理策略所得到的第二测试处理结果;所述第一前置信号处理策略为所述业务应用的应用层内的前置信号处理策略;所述第二前置信号处理策略为所述测试终端类型所对应的系统终端内的前置信号处理策略;基于所述第一测试处理结果和所述第二测试处理结果,从所述第一前置信号处理策略和所述第二前置信号处理策略中确定与所述音质参数相关联的最优信号处理策略,将确定出的最优信号处理策略作为与所述第一前置信号处理策略相关联的信号处理结果。6.根据权利要求5所述的方法,其特征在于,所述第一前置信号处理策略中的第一优化组件的语音优化算法包括:用于在所述应用层进行回声消除的第一回声消除算法、用于在所述应用层进行噪声抑制的第一噪声抑制算法、和用于在所述应用层进行增益调整的第一增益控制算法;所述第二前置信号处理策略中的第二优化组件的语音优化算法包括:用于在所述终端系统层进行回声消除的第二回声消除算法、用于在所述终端系统层进行噪声抑制的第二噪声抑制算法、和用于在所述终端系统层进行增益调整的第二增益控制算法。7.根据权利要求6所述的方法,其特征在于,所述基于所述第一测试处理结果和所述第二测试处理结果,从所述第一前置信号处理策略和所述第二前置信号处理策略中确定与所述音质参数相关联的最优信号处理策略,将确定出的最优信号处理策略作为与所述第一前置信号处理策略相关联的信号处理结果,包括:从所述第一测试处理结果中获取所述第一回声消除算法所对应的第一回声消除结果,从所述第二测试处理结果中获取所述第二回声消除算法所对应的第二回声消除结果,基于所述第一回声消除结果和所述第二回声消除结果,从所述第一回声消除算法和所述第二回声消除算法中选取最优回声消除算法,将所述最优回声消除算法作为与所述音质参数相关联的第一最优信号处理策略;从所述第一测试处理结果中获取所述第一噪声抑制算法所对应的第一噪声抑制结果,从所述第二测试处理结果中获取所述第二噪声抑制算法所对应的第二噪声抑制结果,基于所述第一噪声抑制结果和所述第二噪声抑制结果,从所述第一噪声抑制算法和所述第二噪声抑制算法中选取最优噪声抑制算法,将所述最优噪声抑制算法作为与所述音质参数相关联的第二最优信号处理策略;从所述第一测试处理结果中获取所述第一增益控制算法所对应的第一增益控制结果,从所述第二测试处理结果中获取所述第二增益控制算法所对应的第二增益控制结果,基于所述第一增益控制结果和所述第二增益控制结果,从所述第一增益控制算法和所述第二增益控制算法中选取最优增益控制算法,将所述最优增益控制算法作为与所述音质参数相关联的第三最优信号处理策略;将所述第一最优信号处理策略、第二最优信号处理策略和第三最优信号处理策略,确定为与所述第一前置信号处理策略相关联的信号处理结果。8.根据权利要求7所述的方法,其特征在于,所述从所述第一测试处理结果中获取所述
第一回声消除算法所对应的第一回声消除结果,从所述第二测试处理结果中获取所述第二回声消除算法所对应的第二回声消除结果,基于所述第一回声消除结果和所述第二回声消除结果,从所述第一回声消除算法和所述第二回声消除算法中选取最优回声消除算法,将所述最优回声消除算法作为与所述音质参数相关联的第一最优信号处理策略,包括:从所述第一测试处理结果中获取所述第一回声消除算法所对应的第一回声消除结果,从所述第二测试处理结果中获取所述第二回声消除算法所对应的第二回声消除结果;将所述第一回声消除结果对应的优化质量与所述第二回声消除结果对应的优化质量进行第一比较,得到第一比较结果;若所述第一比较结果指示所述第一回声消除结果对应的优化质量优于所述第二回声消除结果对应的优化质量,则将所述第一前置信号处理策略中的所述第一回声消除算法作为与所述音质参数相关联的第一最优信号处理策略;若所述第一比较结果指示所述第二回声消除结果对应的优化质量优于所述第一回声消除结果对应的优化质量,则将所述第二前置信号处理策略中的所述第二回声消除算法作为与所述音质参数相关联的第一最优信号处理策略。9.根据权利要求7所述的方法,其特征在于,所述从所述第一测试处理结果中获取所述第一噪声抑制算法所对应的第一噪声抑制结果,从所述第二测试处理结果中获取所述第二噪声抑制算法所对应的第二噪声抑制结果,基于所述第一噪声抑制结果和所述第二噪声抑制结果,从所述第一噪声抑制算法和所述第二噪声抑制算法中选取最优噪声抑制算法,将所述最优噪声抑制算法作为与所述音质参数相关联的第二最优信号处理策略,包括:从所述第一测试处理结果中获取所述第一噪声抑制算法所对应的第一噪声抑制结果,从所述第二测试处理结果中获取所述第二噪声抑制算法所对应的第二噪声抑制结果;将所述第一噪声抑制结果对应的优化质量与所述第二噪声抑制结果对应的优化质量进行第二比较,得到第二比较结果;若所述第二比较结果指示所述第一噪声抑制结果对应的优化质量优于所述第二噪声抑制结果对应的优化质量,则将所述第一前置信号处理策略中的所述第一噪声抑制算法作为与所述音质参数相关联的第二最优信号处理策略;若所述第二比较结果指示所述第二噪声抑制结果对应的优化质量优于所述第一噪声抑制结果对应的优化质量,则将所述第二前置信号处理策略中的所述第二噪声抑制算法作为与所述音质参数相关联的第二最优信号处理策略。10.根据权利要求7所述的方法,其特征在于,所述从所述第一测试处理结果中获取所述第一增益控制算法所对应的第一增益控制结果,从所述第二测试处理结果中获取所述第二增益控制算法所对应的第二增益控制结果,基于所述第一增益控制结果和所述第二增益控制结果,从所述第一增益控制算法和所述第二增益控制算法中选取最优增益控制算法,将所述最优增益控制算法作为与所述音质参数相关联的第三最优信号处理策略,包括:从所述第一测试处理结果中获取所述第一增益控制算法所对应的第一增益控制结果,从所述第二测试处理结果中获取所述第二增益控制算法所对应的第二增益控制结果;将所述第一增益控制结果对应的优化质量与所述第二增益控制结果对应的优化质量进行第三比较,得到第三比较结果;若所述第三比较结果指示所述第一增益控制结果对应的优化质量优于所述第二增益
控制结果对应的优化质量,则将所述第一前置信号处理策略中的所述第一增益控制算法作为与所述音质参数相关联的第三最优信号处理策略;若所述第三比较结果指示所述第二增益控制结果对应的优化质量优于所述第一增益控制结果对应的优化质量,则将所述第一前置信号处理策略中的所述第二增益控制算法作为与所述音质参数相关联的第三最优信号处理策略。11.根据权利要求5所述的方法,其特征在于,所述方法还包括:若在所述测试列表中未查到与所述终端类型相匹配的测试类型,则在游戏语音模式下通过麦克风获取到所述第一用户的上行语音数据时,通过所述第一前置信号处理策略对所述上行语音数据进行语音优化,得到第一语音优化结果,且通过所述第二前置信号处理策略对所述上行语音数据进行语音优化,得到第二语音优化结果;基于所述第一语音优化结果和所述第二语音优化结果,从所述第一前置信号处理策略和所述第二前置信号处理策略中确定与所述音质参数相关联的最优信号处理策略,将确定出的最优信号处理策略作为与所述第一前置信号处理策略相关联的信号处理结果。12.根据权利要求1所述的方法,其特征在于,所述根据所述信号处理结果,在所述应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,包括:根据所述信号处理结果启动所述应用层与所述业务应用所属终端的终端系统层之间的协同机制;基于所述协同机制在所述应用层控制开启和关闭所述终端系统层内的第二前置信号处理策略中的第二优化组件;在所述应用层中,将所述第二前置信号处理策略中关闭的第二优化组件作为第一协同组件,且在所述第一前置信号处理策略中开启与所述第一协同组件具有相同优化功能的第一优化组件;在所述应用层中,将所述第二前置信号处理策略中开启的第二优化组件作为第二协同组件,且在所述第一前置信号处理策略中关闭与所述第二协同组件具有相同优化功能的第一优化组件。13.根据权利要求12所述的方法,其特征在于,所述第一前置信号处理策略中的第一优化组件至少包括:第一回声消除组件、第一噪声抑制组件和第一增益控制组件;所述第二前置信号处理策略中的第二优化组件至少包括:第二回声消除组件、第二噪声抑制组件和第二增益控制组件;所述第一回声消除组件和所述第二回声消除组件均用于进行回声消除;所述第一噪声抑制组件和所述第二噪声抑制组件均用于进行噪声抑制;所述第一增益控制组件和所述第二增益控制组件均用于进行增益调整。14.根据权利要求1-13任一项所述的方法,其特征在于,所述方法还包括:将语音优化后的上行语音数据作为所述上行语音数据对应的目标语音优化结果;将所述目标语音优化结果发送给与所述第一用户相关联的第三用户对应的终端,以使所述第三用户对应的终端在所述游戏语音模式下通过扬声器播放所述语音优化后的上行语音数据;所述第一用户与所述第三用户均为所述游戏语音模式下处于同一游戏阵营中的游戏用户。15.根据权利要求3所述的方法,其特征在于,所述方法还包括:响应所述第一用户针对所述语音控件的语音关闭操作,将所述业务应用的业务模式由
所述游戏语音模式切换回所述系统媒体模式。16.一种音频数据处理装置,其特征在于,包括:处理结果获取模块,用于在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;其中,所述第一前置信号处理策略中包括第一优化组件;组件控制模块,用于根据所述信号处理结果,在所述应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,或控制开启和关闭所述第一前置信号处理策略中的第一优化组件;其中,在所述应用层中,所述第一前置信号处理策略中开启的第一优化组件,不同于在所述第二前置语音处理策略中开启的第二优化组件;所述第一前置信号处理策略中开启的第一优化组件与所述第二前置语音处理策略中关闭的第二优化组件具备同一优化功能,且所述第二前置语音处理策略中开启的第二优化组件与所述第一前置语音处理策略中关闭的第一优化组件具备同一优化功能;语音优化模块,用于获取所述业务应用对应的第一用户在游戏语音模式下的上行语音数据,基于所述第一前置信号处理策略中开启的第一优化组件和所述第二前置信号处理策略中开启的第二优化组件,对所述游戏语音模式下的上行语音数据进行语音优化。17.一种计算机设备,其特征在于,包括:处理器和存储器;所述处理器与存储器相连,其中,所述存储器用于存储计算机程序,所述处理器用于调用所述计算机程序,以使得所述计算机设备执行权利要求1-15任一项所述的方法。18.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,该计算机程序适于由处理器加载并执行,以使得具有所述处理器的计算机设备执行权利要求1-15任一项所述的方法。

技术总结


本申请实施例公开了一种音频数据处理方法、装置、设备及可读存储介质,该方法包括:在游戏语音模式下,获取与业务应用的应用层内的第一前置信号处理策略相关联的信号处理结果;根据信号处理结果,在应用层控制开启和关闭终端系统层内的第二前置信号处理策略中的第二优化组件,或控制开启和关闭第一前置信号处理策略中的第二优化组件;其中,开启的第二优化组件与关闭的第一优化组件具有同一优化功能,且开启的第一优化组件与关闭的第二优化组件具有同一优化功能;在获取到第一用户在游戏语音模式下的上行语音数据,基于开启的第一优化组件和开启的第二优化组件对上行语音数据进行语音优化。采用本申请,可以提升游戏场景下的语音优化效果。的语音优化效果。的语音优化效果。


技术研发人员:

曹木勇

受保护的技术使用者:

腾讯科技(深圳)有限公司

技术研发日:

2021.01.22

技术公布日:

2022/7/29


文章投稿或转载声明

本文链接:http://www.wtabcd.cn/zhuanli/patent-1-16461-0.html

来源:专利查询检索下载-实用文体写作网版权所有,转载请保留出处。本站文章发布于 2022-12-05 12:12:22

发表评论

验证码:
用户名: 密码: 匿名发表
评论列表 (有 条评论
2人围观
参与讨论