信号处理方法、信号处理装置及程序与流程
1.本发明涉及一种信号处理方法、信号处理装置及程序。
2.本技术基于2020年5月11日在美国申请的63/022，591号而要求优先权，在此引用其内容。
背景技术：
3.存在想要通过网络将远程之间连接而进行在线音乐课程、远程会议这样的需求。可以想到利用“skype”(注册商标)等提供在线通话服务的已有的应用程序(下面，称为通话应用)，使影像和声音联动，从而进行在线音乐课程等。
4.在进行在线音乐课程等以声音作为主体的交流的情况下，要求抑制延迟并且进行特别高品质的声音的传送。另一方面，针对影像，声音和影像同步即可，不要求那么高清的画质。例如，在专利文献1公开了抑制延迟并且扩展音乐会话(music session)的参加人数的技术。在专利文献2公开了高品质且实时地实现在线演奏的技术。在专利文献3公开了使多个图像同步的技术。
5.专利文献1：日本特开2015－138040号公报
6.专利文献2：美国专利第10182093号说明书
7.专利文献3：日本特开2008－193561号公报
技术实现要素：
8.但是，已有的通话应用的内部规格通常没有被公开，处于黑盒子化。因此，即使想要对已有的通话应用使用专利文献1－3所公开的技术，通常也较困难。
9.由于在市场上已经存在多个通话应用，因此还可以想到选择适于音乐课程的应用。“skype”(注册商标)等通用的通话应用广泛普及，大部分人习惯了如上所述的通用的通话应用的操作，因此导入较顺利。但是，对于如上所述的通用的通话应用，声音、图像的传送状态根据频带的状况而变动，并不是一定传送高品质的声音的应用。与此相对，存在能够一边极力抑制传送延迟一边将彼此的演奏以高品质的声音进行传送的音响专用的会话应用。但是，专门用于音响传送而很少用于通常的通话，因此一般人不习惯应用的操作，导入困难。另外，由于仅有音响而没有影像，因此不适合于课程(lesson)。
10.即，在已有的通话应用、会话应用中，不存在对于想要从此开始音乐学习的初学者而言容易导入且能够对高品质的声音进行传送的技术。因此，存在难以利用于在线音乐课程的问题。
11.本发明就是鉴于如上所述的情况而提出的。其目的在于，提供能够利用通常普及的通话应用而对高品质的声音进行传送的信号处理方法、信号处理装置及程序。
12.为了解决上述课题，本发明的信号处理方法是拾音到同一声源的第1音响信号及第2音响信号的信号处理方法，在该信号处理方法中，第1接收部接收经由第1传送路而传送的所述第1音响信号，第2接收部接收经由传送所涉及的延迟时间比所述第1传送路大的第2
传送路而传送的所述第2音响信号，延迟量计算部对所述第1音响信号和所述第2音响信号的相对的延迟量即传送延迟量进行计算，延迟量附加部基于所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。
13.另外，本发明的信号处理装置是进行拾音到同一声源的第1音响信号及第2音响信号的信号处理的信号处理装置，该信号处理装置具有：第1接收部，其接收经由第1传送路而传送的所述第1音响信号；第2接收部，其接收经由传送所涉及的延迟时间比所述第1传送路大的第2传送路而传送的所述第2音响信号；延迟量计算部，其对所述第1音响信号和所述第2音响信号的相对的延迟量即传送延迟量进行计算；以及延迟量附加部，其基于所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。
14.另外，本发明的程序用于使进行拾音到同一声源的第1音响信号及第2音响信号的信号处理的信号处理装置的计算机执行如下步骤：第1接收步骤，接收经由第1传送路而传送的所述第1音响信号；第2接收步骤，接收经由传送所涉及的延迟时间比所述第1传送路大的第2传送路而传送的所述第2音响信号；延迟量计算步骤，对所述第1音响信号和所述第2音响信号的相对的延迟量即传送延迟量进行计算；以及延迟量附加步骤，其基于所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。
15.发明的效果
16.如以上说明所述，根据本发明，能够利用通常普及的通话应用而对高品质的声音进行传送。
附图说明
17.图1是表示第1实施方式所涉及的传送系统1的结构例的框图。
18.图2是说明由第1实施方式所涉及的控制部23进行的处理的图。
19.图3是表示第1实施方式所涉及的传送系统1的处理流程的时序图。
20.图4是表示第2实施方式所涉及的传送系统1a的结构例的框图。
21.图5是表示第2实施方式所涉及的传送系统1a的处理流程的时序图。
具体实施方式
22.下面，参照附图对实施方式涉及的传送系统进行说明。
23.(第1实施方式)
24.图1是表示第1实施方式所涉及的传送系统1的结构例的框图。传送系统1例如具有发送侧终端10、接收侧终端20、传声器30和扬声器40。发送侧终端10和接收侧终端20例如经由互联网等通用的通信线路以可通信的方式连接。
25.传送系统1例如在进行在线音乐课程等以远程方式进行的音乐交流时应用。在该情况下，在传送系统1中，发送侧终端10和接收侧终端20彼此相互传送音响信号。在以下说明中，以从发送侧终端10向接收侧终端20传送音响信号x(t)的情况为例进行说明。对于从接收侧终端20向发送侧终端10传送音响信号的情况也能够应用相同的方法。
26.在本实施方式中，在发送侧终端10及接收侧终端20这两者安装有会话应用和通话应用这2个应用。会话应用(下面，称为专用应用)是音响专用的会话应用。在专用应用中，能够一边极力抑制因传送引起的延迟一边对高品质的声音进行传送。通话应用(下面，称为通
用应用)是如skype(注册商标)这样通常广泛普及的通用的通话应用。但是，在通用应用中，传送状态根据频带的状况而变动，不是能传送高品质的声音的应用。
27.发送侧终端10使用会话应用和通话应用这两者，将拾音到同一声源的音响信号x(t)发送至接收侧终端20。接收侧终端20接收从会话应用和通话应用各自传送来的音响信号x(t)。
28.具体而言，接收侧终端20接收经由专用应用而传送来的音响信号x(t)(下面，称为接收音响信号xn(t))。另外，接收经由通用应用而传送来的音响信号x(t)(下面，称为接收音响信号xs(t))。
29.在这里，在专用应用中进行经由传送路nd的传送。在通用应用中，进行经由传送路sd的传送。在传送路nd和sd中，通常传送的路径是不同的。因此，在接收侧终端20，以相互不同的定时(timing)对接收音响信号xn(t)和接收音响信号xs(t)进行接收。
30.在这里，在专用应用中能进行极力抑制了延迟的传送，因此与接收音响信号xs(t)相比较，接收音响信号xn(t)以更小的延迟被接收侧终端20接收。在该情况下，接收音响信号xn(t)是“第1音响信号”的一个例子。传送路nd是“第1传送路”的一个例子。另外，接收音响信号xs(t)是“第2音响信号”的一个例子。传送路sd是“第2传送路”的一个例子。
31.接收侧终端20将在不同的定时接收到的二个音响信号同步地输出。接收侧终端20对二个音响信号的相对的传送延迟量进行计算。在以下说明中，将传送延迟量简记作延迟量。
32.接收侧终端20使用计算出的延迟量τ，生成使延迟较小侧的音响信号即接收音响信号xn(t)以延迟量τ延迟后的接收音响信号xn(t－τ)。而且，接收侧终端20取代接收音响信号xs(t)而将接收音响信号xn(t－τ)输出至扬声器40。由此，能够与通用应用在接收侧输出声音的定时相匹配地输出高品质的音响。因此，能够使得经由通用应用的通话以高品质的声音进行。
33.发送侧终端10是发送者侧的计算机装置，例如是智能手机、个人计算机、移动电话、平板终端、可佩戴终端等。发送侧终端10例如具有通信部11、存储部12、控制部13和输入输出部14。
34.通信部11与接收侧终端20进行通信。例如，通信部11按照专用应用的控制而将音响信号x(t)发送至接收侧终端20。另外，通信部11按照通用应用的控制而将音响信号x(t)发送至接收侧终端20。
35.存储部12由存储介质例如hdd(hard disk drive)、闪存、eeprom(electrically erasable programmable read only memory)、ram(random access read/write memory)、rom(read only memory)或者上述存储介质的任意组合构成。存储部12对用于执行发送侧终端10的各种处理的程序、及在进行各种处理时利用的暂时性数据进行存储。
36.控制部13通过由发送侧终端10具有的作为硬件的cpu(central processing unit)、gpu(graphics processing unit)等processing unit(处理单元)执行在存储部12存储的程序，从而实现其功能。
37.控制部13例如具有专用应用130、通用应用131和装置控制部132。专用应用130是实现通用应用的功能的功能部，将从传声器30取得的音响信号x(t)传送至预先设定的通信目标的装置(这里，接收侧终端20)。通用应用131是实现通用应用的功能的功能部，将从传
声器30取得的音响信号x(t)传送至预先设定的通信目标的装置(这里，接收侧终端20)。装置控制部132对发送侧终端10综合进行控制。例如，装置控制部132将从传声器30输入的音响信号x(t)输出至专用应用130及通用应用131。另外，装置控制部132通过将从专用应用130及通用应用131输出的用于建立与通信目标的装置之间的通信的控制信号输出至通信部11，从而发送至接收侧终端20。
38.输入输出部14是对与连接于发送侧终端10的外部设备之间的信号的输入输出进行中介的功能部。这里，向输入输出部14输入由传声器30拾音到的音响信号x(t)。
39.接收侧终端20是接收者侧的计算机装置，例如是智能手机、个人计算机、移动电话、平板终端、可佩戴终端等。这里，接收侧终端20具有与发送侧终端10同等的结构。在以下的说明中，仅对接收侧终端20的功能中的与发送侧终端10不同的功能进行说明，有时针对与发送侧终端10同等的功能省略详细的说明。
40.接收侧终端20例如具有通信部21、存储部22、控制部23和输入输出部24。通信部21与发送侧终端10进行通信。例如，通信部21从发送侧终端10对接收音响信号xn(t)进行接收。通信部21从发送侧终端10对接收音响信号xs(t)进行接收。
41.存储部22由存储介质例如hdd、闪存、eeprom、ram、rom、或者上述存储介质的任意组合构成。存储部22对用于执行接收侧终端20的各种处理的程序及在进行各种处理时利用的暂时性数据进行存储。
42.控制部23通过由接收侧终端20具有的作为硬件的cpu、gpu等processing unit(处理单元)执行在存储部22存储的程序，从而实现其功能。
43.输入输出部24是对与连接于接收侧终端20的外部设备之间的信号的输入输出进行中介的功能部。这里，输入输出部24将接收音响信号xn(t－τ)输出至扬声器40。
44.控制部23例如具有延迟推定部230、滞延部231、装置控制部232、专用应用233和通用应用234。延迟推定部230是“延迟量计算部”的一个例子。滞延部231是“延迟量附加部”的一个例子。装置控制部232对接收侧终端20综合进行控制。专用应用233是与专用应用130同等的功能部。通用应用234是与通用应用131同等的功能部。
45.图2是说明控制部23进行的处理的图。延迟推定部230取得接收音响信号xn(t)、接收音响信号xs(t)而对两个信号的相对的延迟量τ进行计算。延迟推定部230将计算出的延迟量τ输出至滞延部231。
46.滞延部231使用从延迟推定部230取得的延迟量τ生成使接收音响信号xn(t)延迟后的接收音响信号xn(t－τ)，输出所生成的接收音响信号xn(t－τ)。
47.在这里，说明延迟推定部230对延迟量进行计算的具体方法。延迟推定部230例如将接收音响信号xn(t)的与恒定的时间区间(例如，1秒钟)相当的量进行缓存。即，延迟推定部230依次对由通信部21接收到的接收音响信号xn(t)进行存储，将与恒定的时间区间相当的信号暂时存储于例如存储部22。
48.另外，延迟推定部230例如将接收音响信号xs(t)的与恒定的时间区间(例如，1秒钟)相当的量进行缓存。即，延迟推定部230依次对由通信部21接收到的接收音响信号xs(t)进行存储，将与恒定的时间区间相当的信号暂时存储于例如存储部22。
49.延迟推定部230取得已缓存的一定的时间区间t的接收音响信号xn(t)和接收音响信号xs(t)之间的相互相关值。例如，延迟推定部230使用以下的(1)式对相互相关值r进行
计算。在(1)式中，r(n)表示将延迟量设为n的情况下的相互相关值。t表示一定的时间区间。t表示时间。
50.[式1]
[0051][0052]
例如，延迟推定部230一边对n进行变更一边对相互相关值r(n)进行计算。延迟推定部230将计算出的相互相关值r(n)中的绝对值|r(n)|成为最大的延迟量n设为接收音响信号xn(t)和接收音响信号xs(t)之间的相对的延迟量。
[0053]
另外，延迟推定部230可以如以下的(2)式所示，将相互相关值r
′
(n)的权重和设为相互相关值r(n)。这里的相互相关值r
′
(n)是在最近(例如，前一个的时间区间)得到的相互相关值。在(2)式中，r
′
(n)表示最近的相互相关值且将延迟量设为n的情况下的相互相关值。t表示一定的时间区间。t表示时间。
[0054]
[式2]
[0055][0056]
在这里，由传送路nd、传送路sd引起的延迟量不是始终取恒定的值，通常根据频带的状况、收发的信号的卷积程度等而时时刻刻变动。因此，即使使用所计算出的延迟量使接收音响信号xn(t)延迟，也有可能逐渐地接收音响信号xn(t)和接收音响信号xs(t)之间的同步发生偏离。
[0057]
作为其对策，延迟推定部230适当对延迟量进行更新。例如，延迟推定部230在每次规定的计算定时到来时对延迟量进行计算。延迟推定部230将计算出的延迟量作为例如延迟量n(1)、n(2)、
…
、n(n)而存储于存储部22。延迟量n的自变量(1，2，
…
，n)表示计算定时。延迟推定部230将在各计算定时k(k＝1～n)得到的延迟量n(k)设为该时刻的延迟量。由此，即使在传送所涉及的延迟量时时刻刻变化的情况下，也能够输出追随于该变化的接收音响信号xn(t)。
[0058]
此外，计算定时可以任意设定。例如，也可以在每次接收到接收音响信号xn(t)或接收音响信号xs(t)时对延迟量进行计算。或者，可以针对进行缓存的每个时间区间t(或者1/2t、1/4t等)而使得计算定时到来，也可以随机地使得计算定时到来。
[0059]
在上述中，将在每次计算出延迟量时以该计算出的延迟量使接收音响信号xn(t)延迟的情况为例进行了说明，但并不限定于此。例如，滞延部231也可以基于由延迟推定部230计算出的延迟量，对是否以该计算出的延迟量使接收音响信号xn(t)延迟、即是否将延迟量更新进行判定。
[0060]
例如，滞延部231取得预先在存储部22等存储的基准的延迟量即基准值nf。滞延部231使用所取得的基准值nf、计算出的延迟量n(k)，对是否以该计算出的延迟量n(k)将接收音响信号xn(t)的延迟量更新进行判定。滞延部231例如在基准值nf和延迟量n(k)的差值的绝对值|nf－n(k)|为规定的阈值(后述的容许范围)以上的情况下，判定为将延迟量更新。滞延部231在绝对值|nf－n(k)|小于规定的阈值的情况下，判定为不更新延迟量。或者，滞延部231在绝对值|nf－n(k)|小于规定的阈值的情况下，也可以将延迟量设为基准值nf。
[0061]
换言之，滞延部231在延迟量n(k)大于(基准值nf+容许范围)、或者小于(基准值nf－容许范围)的情况下，判定为将延迟量更新。滞延部231在延迟量n(k)小于(基准值nf+容许范围)且大于(基准值nf－容许范围)时，判定为不更新延迟量。在该情况下，(基准值nf+容许范围)是“第1阈值”的一个例子。由此，能够仅在计算的延迟量n(k)相对于当前设定的值超过容许范围的情况下，将延迟量更新。因此，能够抑制微小的延迟量的变化而减少音响性不适感的发生并且追随着实际的延迟量的变化。
[0062]
在上述中，将基准值nf是固定值的情况为例进行了说明。但是，并不限定于此。也可以将基准值nf设为可变值。延迟推定部230例如可以将基准值nf设为在各计算定时计算出的延迟量n(1)、n(2)、
…
、n(n)的平均。平均可以是直至计算定时1～n为止的简单加法平均值，也可以是加权平均值。或者，也可以是最近的移动平均。关于最近的移动平均，在最新的延迟量是n(n)的情况下，是延迟量n(n)和最近的多个延迟量(例如，计算定时n－1、n－2的延迟量n(n－1)、n(n－2))的平均值。
[0063]
另外，滞延部231在使延迟量更新(变化)的情况下，可以将该变化设得平滑，也可以使其阶段性地变化。例如，滞延部231在对延迟量进行更新时，首先，将当前的延迟量、更新后的延迟量之间的差值作为变化量进行计算。滞延部231基于计算出的变化量，使得变化速度(每单位时间的变化量)不超过规定的阈值。由此，滞延部231能够逐渐地使延迟量变化，能够抑制断音、跳音等的发生。
[0064]
此外，在上述中，以延迟推定部230将相互相关值的绝对值|r(n)|成为峰值(最大值)的情况下的延迟量n设为接收音响信号xn(t)和接收音响信号xs(t)之间的相对的延迟量的情况为例进行了说明。
[0065]
但是，在传送了接近无声的音响信号的情况下等，接收到的音响信号与不是无声的情况相比较，整体的信号振幅变小。在该情况下，可以考虑取在相互相关值r(n)上不出现凸出的峰值，不依赖于延迟量n的值而相同的相互相关值。在如上所述的情况下，相互相关值r(n)成为最大的n的值作为实际的延迟量而无法信頼的可能性高。
[0066]
作为其对策，延迟推定部230在相互相关值r(n)的峰值小于规定的阈值的情况下，判定为不将对应的延迟量n作为实际的延迟量进行采用。即，延迟推定部230在相互相关值r(n)的峰值为规定的阈值以上的情况下，将对应的延迟量n作为实际的延迟量进行采用。由此，延迟推定部230能够高精度地对延迟量进行计算。
[0067]
另外，有时由于某种理由，经由传送路sd或者传送路nd的任一者的传送路的信号传送被切断。在如上所述的情况下，使用相互相关值r(n)计算出的延迟量无法信赖。作为其对策，延迟推定部230对传送路是否被切断进行判定，在判定为任一者的传送路已被切断的情况下，不进行相互相关值r(n)的计算。
[0068]
例如，延迟推定部230对已缓存的接收音响信号xs(t)及接收音响信号xn(t)各自的功率(最大电平)进行计算。这里的功率是表示已缓存的信号的强度的指标。功率例如可以是已缓存的信号的信号振幅的绝对值之和，也可以是已缓存的信号中的、信号振幅的绝对值成为最大的信号的信号振幅值。
[0069]
延迟推定部230在计算出的接收音响信号xs(t)及接收音响信号xn(t)各自的功率中的一者超过规定的阈值、另一者小于该阈值的情况下，判定为小于阈值的一者的传送路被切断。这里的阈值是“第2阈值”的一个例子。
[0070]
具体而言，延迟推定部230在接收音响信号xn(t)的功率小于阈值、接收音响信号xs(t)的功率为阈值以上的情况下，判定为不进行相互相关值r(n)的计算，不对延迟量进行计算。另外，延迟推定部230在接收音响信号xn(t)的功率为阈值以上、接收音响信号xs(t)的功率小于阈值的情况下，判定为不进行相互相关值r(n)的计算，不对延迟量进行计算。
[0071]
此外，延迟推定部230在判定为经由传送路sd或者传送路nd的任一者的传送路的信号传送已被切断的情况下，也可以对未被切断的一者的音响信号进行播放。具体而言，延迟推定部230在接收音响信号xn(t)的功率小于阈值、接收音响信号xs(t)的功率为阈值以上的情况下，将接收音响信号xs(t)经由输入输出部24而输出至扬声器40。另外，延迟推定部230在接收音响信号xn(t)的功率为阈值以上、接收音响信号xs(t)的功率小于阈值的情况下，将接收音响信号xn(t－τ)经由输入输出部24而输出至扬声器40。这里的延迟量τ是当前设定的延迟量。由此，延迟推定部230即使在一者的传送路被切断的情况下，也能够继续进行声音的播放。
[0072]
图3是表示第1实施方式的传送系统1的处理流程的时序图。发送侧终端10从传声器30取得音响信号x(t)(步骤s10)。发送侧终端10通过专用应用及通用应用各自将音响信号x(t)发送至接收侧终端20(步骤s11)。经由专用应用的音响信号x(t)经过传送路nd而作为接收音响信号xn(t)到达接收侧终端20。经由通用应用的音响信号x(t)经过传送路sd而作为接收音响信号xs(t)到达接收侧终端20。
[0073]
接收侧终端20对接收音响信号xn(t)进行接收(步骤s12)。接收侧终端20对接收音响信号xs(t)进行接收(步骤s13)。接收侧终端20使用接收到的接收音响信号xn(t)和接收音响信号xs(t)，对延迟量τ进行推定(计算)(步骤s14)。接收侧终端20使用推定出的延迟量τ使接收音响信号xn(t)延迟，将延迟后的接收音响信号xn(t－τ)输出至扬声器40(步骤s16)。
[0074]
如以上说明的那样，由第1实施方式的传送系统1实现的传送方法是拾音到同一声源即音响信号x(t)的接收音响信号xn(t)及接收音响信号xs(t)的传送方法。传送方法是“信号处理方法”的一个例子。接收音响信号xn(t)是“第1音响信号”的一个例子。接收音响信号xs(t)是“第2音响信号”的一个例子。
[0075]
在由传送系统1实现的传送方法中，通信部21对经由传送路nd而传送的接收音响信号xn(t)进行接收。通信部21是“第1接收部”的一个例子。传送路nd是“第1传送路”的一个例子。通信部21对经由传送路sd而传送的接收音响信号xs(t)进行接收。通信部21是“第2接收部”的一个例子。传送路sd是传送所涉及的延迟时间比传送路nd大的传送路，是“第2传送路”的一个例子。延迟推定部230对接收音响信号xn(t)和接收音响信号xs(t)之间的相对的延迟量τ进行计算。延迟推定部230是“延迟量计算部”的一个例子。延迟量τ是“传送延迟量”的一个例子。滞延部231基于计算出的延迟量τ使接收音响信号xn(t)延迟，输出该延迟后的接收音响信号xn(t－τ)。
[0076]
如上所述，在第1实施方式的传送系统1中，能够在使从通用应用输出的声音同步的定时输出高品质的音响。因此，能够利用通常普及的通话应用而对高品质的声音进行传送。
[0077]
另外，在由第1实施方式的传送系统1实现的传送方法中，延迟推定部230在每次规定的计算定时k到来时，对延迟量τ进行计算。滞延部231每次计算出延迟量τ时，通过本次计
算出的延迟量τ使接收音响信号xn(t)延迟。滞延部231输出该延迟后的接收音响信号xn(t－τ)。由此，在由实施方式的传送系统1实现的传送方法中，即使在延迟量时时刻刻变化的情况下也能够追随该变化，能够持续输出与接收音响信号xs(t)同步的接收音响信号xn(t)。
[0078]
另外，在由第1实施方式的传送系统1实现的传送方法中，滞延部231在每次计算出延迟量时，对本次计算出的延迟量τ是否为阈值(第1阈值)以上进行判定。滞延部231在本次计算出的延迟量τ为阈值以上的情况下，通过本次计算出的延迟量τ使接收音响信号xn(t)延迟。滞延部231输出该延迟后的接收音响信号xn(t－τ)。由此，能够在延迟量发生了大变化时追随着该变化。
[0079]
另外，在由第1实施方式的传送系统1实现的传送方法中，滞延部231在每次计算出延迟量τ时，对本次计算出的延迟量τ是否为阈值(第1阈值)以上进行判定。滞延部231在本次计算出的延迟量τ不是阈值以上的情况下，通过规定的延迟量(例如，基准值nf)使接收音响信号xn(t)延迟。滞延部231输出该延迟后的接收音响信号xn(t－nf)。由此，能够抑制微小的延迟量的变化而减少音响性不适感的发生。
[0080]
另外，在由第1实施方式的传送系统1实现的传送方法中，阈值(第1阈值)是在每次规定的计算定时k到来时计算出的延迟量n(k)的平均。由此，与至今为止的延迟量的平均相比，在本次计算出的延迟量存在大的变化的情况下追随该变化，在本次计算出的延迟量与至今为止的延迟量为相同程度的情况下，作为微小的变化而能够将延迟量维持现状。因此，能够起到与上述效果相同的效果。
[0081]
另外，在由第1实施方式的传送系统1实现的传送方法中，滞延部231在每次计算出延迟量τ时，基于上一次计算出的延迟量和本次计算出的延迟量，阶段性地使接收音响信号xn(t)延迟。由此，能够逐渐地使延迟量变化，能够抑制断音、跳音等的发生。
[0082]
另外，在由第1实施方式的传送系统1实现的传送方法中，延迟推定部230对在规定的时间区间t接收到的接收音响信号xn(t)的时序变化和接收音响信号xs(t)的时序变化之间的相互相关值r(n)成为最大的延迟量n进行计算。延迟推定部230在该计算出的延迟量为阈值(第2阈值)以上的情况下，将该计算出的延迟量n设为延迟量τ。由此，能够使得在无声的状态持续的情况等无法信赖计算出的延迟量的情况下，不会应用上述无法信赖的延迟量。
[0083]
另外，在由第1实施方式的传送系统1实现的传送方法中，延迟推定部230在计算出的延迟量为阈值(第2阈值)以上的情况下，将该计算出的延迟量n设为延迟量τ。延迟推定部230在计算出的延迟量小于阈值(第2阈值)的情况下，不将该计算出的延迟量n设为延迟量τ。由此，能够使得在无声的状态持续的情况等无法信赖计算出的延迟量的情况下，不会应用上述无法信赖的延迟量。
[0084]
另外，在由第1实施方式的传送系统1实现的传送方法中，延迟推定部230在规定的时间区间t接收到的接收音响信号xn(t)的最大电平为阈值(第2阈值)以上、接收音响信号xs(t)的最大电平小于阈值(第2阈值)的情况下，不对延迟量进行计算。延迟推定部230在规定的时间区间t接收到的接收音响信号xn(t)的最大电平小于阈值(第2阈值)、接收音响信号xs(t)的最大电平为阈值(第2阈值)以上的情况下，不对延迟量进行计算。由此，能够使得在一者的传送路已中断的情况等无法信赖计算出的延迟量的情况下，不会应用上述无法信
赖的延迟量。
[0085]
(第2实施方式)
[0086]
接下来，对第2实施方式进行说明。在本实施方式中，对于在通用应用中与音响信号x(t)一起发送影像信号y(t)这一点，与上述实施方式不同。
[0087]
图4是表示第2实施方式所涉及的传送系统1a的结构例的框图。在传送系统1a中，在发送侧终端10连接有照相机50。另外，在传送系统1中，在接收侧终端20连接有显示器60。
[0088]
发送侧终端10经由输入输出部14从传声器30取得音响信号x(t)。另外，发送侧终端10经由输入输出部14从照相机50取得影像信号y(t)。发送侧终端10通过专用应用130将经由专用应用的音响信号x(t)发送至接收侧终端20。另外，发送侧终端10通过通用应用131将经由通用应用的音响信号x(t)和影像信号y(t)发送至接收侧终端20。
[0089]
接收侧终端20经由传送路nd对接收音响信号xn(t)进行接收。另外，接收侧终端20经由传送路sd对接收音响信号xs(t)及接收影像信号ys(t)进行接收。接收音响信号xn(t)通过延迟推定部230，对接收音响信号xn(t)和接收音响信号xs(t)之间的相对的延迟量τ进行计算。接收侧终端20将以计算出的延迟量τ延迟后的接收音响信号xn(t－τ)经由输入输出部24输出至扬声器40。接收侧终端20将接收影像信号ys(t)经由输入输出部24输出至显示器60。
[0090]
图5是表示第2实施方式所涉及的传送系统1a的处理流程的时序图。发送侧终端10从传声器30取得音响信号x(t)，并且从照相机50取得影像信号y(t)(步骤s20)。发送侧终端10通过专用应用将音响信号x(t)发送至接收侧终端20，并且通过通用应用将音响信号x(t)及影像信号y(t)发送至接收侧终端20(步骤s21)。经由专用应用的音响信号x(t)经过传送路nd而作为接收音响信号xn(t)到达接收侧终端20。经由通用应用的音响信号x(t)及影像信号y(t)经过传送路sd而作为接收音响信号xs(t)及接收影像信号ys(t)到达接收侧终端20。
[0091]
接收侧终端20对接收音响信号xn(t)进行接收(步骤s22)。接收侧终端20对接收音响信号xs(t)及接收影像信号ys(t)进行接收(步骤s23)。接收侧终端20使用接收到的接收音响信号xn(t)和接收音响信号xs(t)对延迟量τ进行推定(计算)(步骤s24)。接收侧终端20使用推定出的延迟量τ使接收音响信号xn(t)延迟，将延迟后的接收音响信号xn(t－τ)输出至扬声器40，并且将接收影像信号ys(t)输出至显示器60(步骤s26)。
[0092]
如以上所说明的那样，由第2实施方式的传送系统1a实现的传送方法是拾音到同一声源即音响信号x(t)的接收音响信号xn(t)及接收音响信号xs(t)的传送方法。
[0093]
在由传送系统1a实现的传送方法中，通信部21对经由传送路nd而传送的接收音响信号xn(t)进行接收。通信部21对经由传送路sd而传送的接收音响信号xs(t)及接收影像信号ys(t)进行接收。延迟推定部230对接收音响信号xn(t)和接收音响信号xs(t)之间的相对的延迟量τ进行计算。滞延部231基于计算出的延迟量τ使接收音响信号xn(t)延迟，输出该延迟后的接收音响信号xn(t－τ)。
[0094]
如上所述，在第2实施方式的传送系统1a中，能够与由通用应用传送的影像同步地对高品质的音响进行播放。因此，能够利用通常普及的通话应用对高品质的声音进行传送。
[0095]
工业实用性
[0096]
根据以上例示出的实施方式，能够提供应用于在线音乐课程等的传送系统。
[0097]
标号的说明
[0098]1…
传送系统，10
…
发送侧终端，11
…
通信部，12
…
存储部，13
…
控制部13，130
…
专用应用，131
…
通用应用，20
…
接收侧终端(信号处理装置)，21
…
通信部，22
…
存储部，23
…
控制部，230
…
延迟推定部(延迟量计算部)，231
…
滞延部(延迟赋予部)，30
…
传声器，40
…
扬声器，50
…
照相机，60
…
显示器
技术特征：
1.一种信号处理方法，其是拾音到同一声源的第1音响信号及第2音响信号的信号处理方法，在该信号处理方法中，第1接收部接收经由第1传送路而传送的所述第1音响信号，第2接收部接收经由传送所涉及的延迟时间比所述第1传送路大的第2传送路而传送的所述第2音响信号，延迟量计算部对所述第1音响信号和所述第2音响信号的相对的延迟量即传送延迟量进行计算，延迟量附加部基于所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。2.一种信号处理方法，其是拾音到同一声源的第1音响信号及第2音响信号的信号处理方法，在该信号处理方法中，第1接收部接收经由第1传送路而传送的所述第1音响信号，第2接收部接收经由传送所涉及的延迟时间比所述第1传送路大的第2传送路而与影像信号一起传送的所述第2音响信号，延迟量计算部对所述第1音响信号和所述第2音响信号的相对的延迟量即传送延迟量进行计算，延迟量附加部基于所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。3.根据权利要求1或2所述的信号处理方法，其中，所述延迟量计算部在每次规定的计算定时到来时，对所述传送延迟量进行计算，所述延迟量附加部在每次计算出所述传送延迟量时，通过本次计算出的所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。4.根据权利要求1或2所述的信号处理方法，其中，所述延迟量计算部在每次规定的计算定时到来时，对所述传送延迟量进行计算，所述延迟量附加部在每次计算出所述传送延迟量时，对本次计算出的所述传送延迟量是否为第1阈值以上进行判定，在本次计算出的所述传送延迟量为所述第1阈值以上的情况下，通过本次计算出的所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。5.根据权利要求1、2或4中任一项所述的信号处理方法，其中，所述延迟量计算部在每次规定的计算定时到来时，对所述传送延迟量进行计算，所述延迟量附加部在每次计算出所述传送延迟量时，对本次计算出的所述传送延迟量是否为第1阈值以上进行判定，在本次计算出的所述传送延迟量不是所述第1阈值以上的情况下，通过规定的延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。6.根据权利要求4或5所述的信号处理方法，其中，所述第1阈值是在每次规定的计算定时到来时计算出的所述传送延迟量的平均。7.根据权利要求1、2、4或5中任一项所述的信号处理方法，其中，所述延迟量计算部在每次规定的计算定时到来时，对所述传送延迟量进行计算，
所述延迟量附加部在每次计算出所述传送延迟量时，基于上一次计算出的所述传送延迟量和本次计算出的所述传送延迟量，阶段性地使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。8.根据权利要求1至6中任一项所述的信号处理方法，其中，所述延迟量计算部对在规定的时间区间接收到的所述第1音响信号的时序变化和所述第2音响信号的时序变化之间的相互相关值成为最大的延迟量进行计算，在该计算出的延迟量为第2阈值以上的情况下，将该计算出的延迟量设为所述传送延迟量。9.根据权利要求8所述的信号处理方法，其中，所述延迟量计算部在规定的时间区间接收到的所述第1音响信号的最大电平小于所述第2阈值、所述第2音响信号的最大电平为所述第2阈值以上的情况下，不对所述传送延迟量进行计算。10.根据权利要求8所述的信号处理方法，其中，所述延迟量计算部在规定的时间区间接收到的所述第1音响信号的最大电平为所述第2阈值以上、所述第2音响信号的最大电平小于所述第2阈值的情况下，不对所述传送延迟量进行计算。11.一种信号处理装置，其是进行拾音到同一声源的第1音响信号及第2音响信号的信号处理的信号处理装置，该信号处理装置具有：第1接收部，其接收经由第1传送路而传送的所述第1音响信号；第2接收部，其接收经由传送所涉及的延迟时间比所述第1传送路大的第2传送路而传送的所述第2音响信号；延迟量计算部，其对所述第1音响信号和所述第2音响信号的相对的延迟量即传送延迟量进行计算；以及延迟量附加部，其基于所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。12.一种程序，其用于使进行拾音到同一声源的第1音响信号及第2音响信号的信号处理的信号处理装置的计算机执行如下步骤：第1接收步骤，接收经由第1传送路而传送的所述第1音响信号；第2接收步骤，接收经由传送所涉及的延迟时间比所述第1传送路大的第2传送路而传送的所述第2音响信号；延迟量计算步骤，对所述第1音响信号和所述第2音响信号的相对的延迟量即传送延迟量进行计算；以及延迟量附加步骤，其基于所述传送延迟量使所述第1音响信号延迟，输出该延迟后的所述第1音响信号。
技术总结
拾音到同一声源的第1音响信号及第2音响信号的信号处理方法，在该信号处理方法中，第1接收部接收经由第1传送路而传送的所述第1音响信号，第2接收部接收经由传送所涉及的延迟时间比所述第1传送路大的第2传送路而传送的所述第2音响信号，延迟量计算部对所述第1音响信号和所述第2音响信号的相对的延迟量即传送延迟量进行计算，延迟量附加部基于所述传送延迟量使所述第1音响信号延迟。迟量使所述第1音响信号延迟。迟量使所述第1音响信号延迟。
