业务处理方法、装置、计算机设备及存储介质与流程
1.本公开涉及人工智能技术领域，尤其涉及一种业务处理方法、装置、计算机设备及存储介质。
背景技术：
2.随着计算机技术和互联网技术的发展，工作、生活中使用互联网的场景越来越多，互联网方便了人们的生活和工作，但对于互联网交易或工作的安全性也越来越被看重，风险控制就显得越来越重要。
3.因此，如何采取策略对风险进行控制，以降低风险事件的发生概率成为重点的研究方向。
技术实现要素：
4.本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
5.本公开第一方面实施例提出了一种业务处理方法，包括：
6.接收业务请求，其中，所述业务请求中包含用户标识；
7.获取当前的环境特征集合及与所述用户标识对应的业务特征集合；
8.将所述业务特征集合及所述环境特征集合输入预设的业务处理模型中，以获取在所述当前的环境特征集合下所述业务特征集合中每个业务特征对应的权重；
9.根据所述业务特征集合中每个业务特征的特征值及对应的权重，确定所述业务请求对应的处理策略；
10.基于所述处理策略，对所述业务请求进行处理。
11.本公开第二方面实施例提出了一种业务处理模型的生成方法，包括：
12.获取训练数据集，其中，所述训练数据集中包括请求样本对应的参考环境特征集合、参考业务特征集合及标注决策标签；
13.将所述参考业务特征集合及参考环境特征集合输入初始业务处理模型，以获取所述参考业务特征集合中每个业务特征对应的预测权重值；
14.根据所述参考业务特征集合中每个业务特征对应的特征值及对应的预测权重值，确定所述请求样本对应的预测决策标签及对应的预测环境特征；
15.根据所述预测决策标签与所述标注决策标签的差异，及所述预测环境特征与所述参考环境特征的差异，确定奖励值；
16.根据所述奖励值，对所述初始业务处理模型进行修正，以获取修正后的业务处理模型。
17.本公开第三方面实施例提出了一种业务处理装置，包括：
18.接收模块，用于接收业务请求，其中，所述业务请求中包含用户标识；
19.第一获取模块，用于获取当前的环境特征集合及与所述用户标识对应的业务特征集合；
20.第二获取模块，用于将所述业务特征集合及所述环境特征集合输入预设的业务处理模型中，以获取在所述当前的环境特征集合下所述业务特征集合中每个业务特征对应的权重；
21.第一确定模块，用于根据所述业务特征集合中每个业务特征的特征值及对应的权重，确定所述业务请求对应的处理策略；
22.处理模块，用于基于所述处理策略，对所述业务请求进行处理。
23.本公开第四方面实施例提出了一种业务处理模型的生成装置，包括：
24.第一获取模块，用于获取训练数据集，其中，所述训练数据集中包括请求样本对应的参考环境特征集合、参考业务特征集合及标注决策标签；
25.第二获取模块，用于将所述参考业务特征集合及参考环境特征集合输入初始业务处理模型，以获取所述参考业务特征集合中每个业务特征对应的预测权重值；
26.第一确定模块，用于根据所述参考业务特征集合中每个业务特征对应的特征值及对应的预测权重值，确定所述请求样本对应的预测决策标签及对应的预测环境特征；
27.第二确定模块，用于根据所述预测决策标签与所述标注决策标签的差异，及所述预测环境特征与所述参考环境特征的差异，确定奖励值；
28.修正模块，用于根据所述奖励值，对所述初始业务处理模型进行修正，以获取修正后的业务处理模型。
29.本公开第五方面实施例提出了一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的业务处理方法，或者，实现如本公开第二方面实施例提出的业务处理模型的生成方法。
30.本公开第六方面实施例提出了一种非临时性计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，实现如本公开第一方面实施例提出的业务处理方法，或者，实现如本公开第二方面实施例提出的业务处理模型的生成方法。
31.本公开第七方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本公开第一方面实施例提出的业务处理方法或者，执行如本公开第二方面实施例提出的业务处理模型的生成方法。
32.本公开提供的业务处理方法、装置、计算机设备及存储介质，存在如下有益效果：
33.本公开实施例中，首先接收包含用户标识的业务请求，之后获取当前的环境特征集合及与用户标识对应的业务特征集合，将业务特征集合及环境特征集合输入预设的业务处理模型中，以获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的处理策略，最后基于处理策略，对业务请求进行处理。由此，采用预设的业务处理模型获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据每个业务特征对应的特征值及权重，确定业务的处理策略，从而使得确定的处理策略更加贴合当前的环境，进而提高了处理策略的准确性，降低了风险事件的发生概率。
34.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
35.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
36.图1为本公开一实施例所提供的一种业务处理方法的流程示意图；
37.图2为本公开另一实施例所提供的一种业务处理方法的流程示意图；
38.图3为本公开一实施例所提供的一种业务处理模型的生成方法的流程示意图；
39.图4为本公开一实施例所提供的一种生成业务处理模型的架构示意图；
40.图5为本公开另一实施例所提供的一种业务处理模型的生成方法的流程示意图；
41.图6为本公开一实施例所提供的一种业务处理装置的结构示意图；
42.图7为本公开一实施例所提供的一种业务处理模型的生成装置的结构示意图；
43.图8示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
具体实施方式
44.下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本公开，而不能理解为对本公开的限制。
45.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
46.下面参考附图描述本公开实施例的业务处理方法、装置、计算机设备和存储介质。
47.图1为本公开实施例所提供的一种业务处理方法的流程示意图。
48.本公开实施例以该业务处理方法被配置于业务处理装置中来举例说明，该业务处理装置可以应用于任一计算机设备中，以使该计算机设备可以执行业务处理功能。
49.其中，计算机设备可以为个人电脑(personal computer，简称pc)、云端设备、移动设备等，移动设备例如可以为手机、平板电脑、个人数字助理、穿戴式设备、车载设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
50.如图1所示，该业务处理方法可以包括以下步骤：
51.步骤101，接收业务请求，其中，业务请求中包含用户标识。
52.其中，业务请求可以为客户端发送的用于触发服务器对业务进行处理的请求。即，用户可以通过客户端向服务器发送业务请求，服务器在接收到业务请求之后，执行后续的业务处理方法。
53.其中，用户标识为可以唯一标识用户身份的身份标识号。比如，用户所使用的终端设备的标识，ip地址，手机号码等等，本公开对此不做限定。
54.需要说明的是，在不同的风险控制场景中，业务请求也不相同。比如，在线上交易风控场景中，业务请求可以为交易请求，交易请求中还可以包含交易金额等等。在领取优惠卷的风控场景中，业务请求可以为优惠卷领取请求，包含优惠券的金额等等。本公开对此不做限定。
55.其中，用户标识为可以唯一标识用户身份的身份标识号。比如，用户所使用的终端设备的标识，ip地址，手机号码等等，本公开对此不做限定。
56.步骤102，获取当前的环境特征集合及与用户标识对应的业务特征集合。
57.其中，环境特征可以表征接收业务请求的时刻的环境状态。
58.其中，业务特征集合可以包含与用户标识对应的历史请求所携带的特征。
59.举例来说，在线上交易风控场景中，环境特征集合中可以包含接收交易请求的时刻，线上交易的整体环境，比如，在接收交易请求时刻之前预设的事件段内，交易请求的次数，线上交易成功的总金额，交易成功的次数，交易失败的次数等等。用户标识对应的业务特征集合可以为用户标识对应的交易请求次数、交易金额等等，可以表征同一用户在一段时间内请求交易的情况。
60.需要说明的是，根据不同的风险控制场景，环境特征集合及业务特征集合中包含的具体内容不同，具体可以根据风险控制场景的实际需要进行设置。
61.步骤103，将业务特征集合及环境特征集合输入预设的业务处理模型中，以获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重。
62.其中，预设的业务处理模型可以为预先训练好的，用于获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重的网络模型。
63.其中，每个业务特征对应的权重范围也各不相同。比如，在线上交易风控场景交易中，交易请求次数对应的权重范围可以为[0，1000]，交易金额对应的权重范围可以为[0，10]，从而可以调整每个业务特征对业务请求的处理策略的影响程度。
[0064]
步骤104，根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的处理策略。
[0065]
其中，每个业务特征对应的特征值可以为业务特征的实际数值。比如，在线上交易风控场景中，业务特征集合中包含的请求次数为3，包含的交易总金额为1000，则请求次数这一业务特征的特征值为3，交易总金额这一业务特征的特征值为1000。本公开对此不做限定。
[0066]
需要说明的是，针对不同的风险控制场景，业务请求对应的处理策略也各不相同。比如，在线上交易的风险控制场景中，业务请求的处理策略可以为允许交易，拒绝交易等。在领取优惠卷的风险控制场景中，业务请求对应的处理策略可以包括允许领取，拒绝领取等。
[0067]
可选的，可以先根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的预测分值，之后根据预测分值与阈值之间的关系，确定业务请求对应的处理决策。
[0068]
其中，预测分值可以为每个业务特征的特征值及对应的权重的乘积和。
[0069]
其中，阈值可以为预设的分值，比如，可以为1000，500等等。本公开对此不做限定。
[0070]
举例来说，在线上交易的风险控制场景中，若阈值为1000，业务请求的预测分值大于1000，确定业务请求的处理策略为允许交易，若业务请求的预测分值小于等于1000，确定业务请求的处理策略为拒绝交易。
[0071]
需要说明的是，上述示例只是简单的举例说明，不能作为对本公开实施中阈值及处理策略的具体限定。
[0072]
步骤105，基于处理策略，对业务请求进行处理。
[0073]
可以理解的是，在确定了业务请求的处理策略之后，即可根据处理策略，对业务请求进行处理，从而预防存在风险的事件发生。
[0074]
本公开实施例中，首先接收包含用户标识的业务请求，之后获取当前的环境特征集合及与用户标识对应的业务特征集合，将业务特征集合及环境特征集合输入预设的业务处理模型中，以获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的处理策略，最后基于处理策略，对业务请求进行处理。由此，采用预设的业务处理模型获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据每个业务特征对应的特征值及权重，确定业务的处理策略，从而使得确定的处理策略更加贴合当前的环境，进而提高了处理策略的准确性，降低了风险事件的发生概率。
[0075]
图2为本公开另一实施例所提供的一种业务处理方法的流程示意图，如图2所示，该业务处理方法可以包括以下步骤：
[0076]
步骤201，接收业务请求，其中，业务请求中包含用户标识。
[0077]
其中，步骤201的具体实现形式，可参照本公开其他各实施例中的详细描述，此处不再详细赘述。
[0078]
步骤202，获取接收到业务请求的时刻之前的第一预设时段内的第一历史业务请求集，及第二预设时段内与用户标识对应的第二历史业务请求集。
[0079]
其中，第一预设事件段可以为1个月，3个月等等。本公开对此不做限定。第二预设时段可以为1个月，1周等等。本公开对此不做限定。
[0080]
需要说明的是，第一预设时段与第二预设时段的值可以相同，也可以不同。本公开对此不做限定。
[0081]
其中，第一历史业务请求集中可以包含多个第一历史业务请求，每个第一历史业务请求携带自身的业务特征及对应的处理策略。比如，在线上交易风控场景中，第一历史业务请求对应的特征可以包括交易金额、交易渠道、处理策略等。
[0082]
其中，第二历史业务请求集中可以包含多个第二历史业务请求，每个第二历史业务请求携带自身的业务特征。比如，在线上交易风控场景中，第二历史业务请求对应的特征可以包括交易金额、交易渠道等。
[0083]
步骤203，将第一历史业务请求集中每个第一历史业务请求进行聚合，以获取第一历史业务请求对应的环境特征集合。
[0084]
可以理解的是，在获取了第一历史业务请求集之后，即可对每个第一历史业务请求对应的特征进行聚合，以获取环境特征集合。
[0085]
举例来说，在线上交易的风控场景中，可以将第一历史业务请求集中，处理策略类型不同的第一历史业务请求进行聚合，以获取不同处理策略对应的交易次数，交易金额等等。或者，根据交易渠道的不同，对第一历史业务请求进行聚合，以获取每个交易聚到对应的交易次数，交易金额等等。
[0086]
步骤204，将第二历史业务请求集中每个第二历史业务请求进行聚合，以获取第二历史业务请求集对应的业务特征集合。
[0087]
可以理解的是，在获取了第二历史业务请求集之后，即可对每个第二历史业务请求对应的特征进行聚合，以获取用户标识对应的特征集合。
[0088]
举例来说，在线上交易的风控场景中，可以根据交易渠道的不同，对第二历史业务请求进行聚合，以获取每个交易渠道对应的交易总次数，交易总金额等等。或者，将历史交
易请求进行聚合，以获取用户标识对应的用户在第二预设时段内的交易总次数、交易总金额等等。
[0089]
步骤205，将业务特征集合及环境特征集合输入预设的业务处理模型中，以获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重。
[0090]
步骤206，根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的处理策略。
[0091]
步骤207，基于处理策略，对业务请求进行处理。
[0092]
其中，步骤205至步骤207的具体实现形式，可参照本公开其他各实施例中的详细描述，此处不再详细赘述。
[0093]
本公开实施例中，首先接收包含用户标识的业务请求，之后获取接收到业务请求的时刻之前的第一预设时段内的第一历史业务请求集，及第二预设时段内与用户标识对应的第二历史业务请求集，进而分别对第一历史业务请求集中每个第一历史业务请求进行聚合，及第二历史业务请求集中每个第二历史业务请求进行聚合，以获取环境特征集合及业务特征集合，之后将业务特征集合及环境特征集合输入预设的业务处理模型中，以获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的处理策略，最后基于处理策略，对业务请求进行处理。由此，分别对第一历史业务请求集及第二历史业务请求集进行处理，以获取环境特征集合及业务特征集合，从而使得获取的环境特征集合中的特征可以更加准确地表征当前的业务环境，进而提高了业务特征集合中每个业务特征对应的权重的准确性，进一步提高了处理策略的准确性，进一步降低了风险事件的发生概率。
[0094]
图3为本公开一实施例所提供的一种业务处理模型的生成方法的流程示意图，如图3所示，该业务处理模型的生成方法可以包括以下步骤：
[0095]
步骤301，获取训练数据集，其中，训练数据集中包括请求样本对应的参考环境特征集合、参考业务特征集合及标注决策标签。
[0096]
其中，参考环境特征集合中包含的环境特征可以为接收样本请求时，对应的实际的环境。
[0097]
其中，参考业务特征集合中包含的业务特征可以为接收样本请求时，样本请求对应的用户标识的多个历史业务请求的整体特征。
[0098]
其中，标注决策标签可以为样本请求对应的准确的决策。比如，在线上交易的风险控制场景中，若请求样本为正常交易请求，则对应的标注决策标签可以为允许交易；若请求样本为异常交易请求，则对应的标注决策标签可以为拒绝交易。本公开对此不做限定。
[0099]
可选的，可以从数据库中获取的一段连续时间内的全部历史业务数据，并对每个历史业务请求对应的数据进行处理，以获取训练数据集。或者，也可以获取离散的历史业务请求，将其作为请求样本，并获取每个样本请求对应的参考环境特征集合、参考业务特征集合及标注决策标签。本公开对此不做限定。
[0100]
需要说明的是，对于不同的风险控制场景，训练数据集中包含的训练数据也不相同。可以根据风险控制场景的实际需要，获取训练数据集。
[0101]
步骤302，将参考业务特征集合及参考环境特征集合输入初始业务处理模型，以获取参考业务特征集合中每个业务特征对应的预测权重值。
[0102]
其中，预测权重值可以为初始业务处理模型根据参考业务特征及参考环境特征，预测的当前的环境状态下，参考业务特征集合中每个特征对应的权重值。
[0103]
其中，初始业务模型可以为还未经过训练的业务处理模型。
[0104]
可选的，初始业务处理模型可以为智能体，可以采用强化学习算法对初始业务处理模型进行训练。
[0105]
其中，强化学习(reinforcement learning,rl)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题
[0106]
步骤303，根据参考业务特征集合中每个业务特征对应的特征值及对应的预测权重值，确定请求样本对应的预测决策标签及对应的预测环境特征。
[0107]
可选的，可以先根据参考业务特征集合中每个参考业务特征的特征值及对应的预测权重值，确定请求样本对应的分值，之后根据分值与预设阈值之间的关系，确定请求样本对应的预测决策标签。
[0108]
可以理解的是，在确定了请求样本对应的预测决策标签之后，环境特征会根据请求样本的处理决策发生变化，变化后的环境特征即为样本请求对应的预测环境特征。
[0109]
举例来说，在线上交易的风险控制场景中，若请求样本对应的预测决策标签为允许交易，则参考环境特征集合中的交易总次数的特征值、或者交易总金额的特征值的可能会发生变化，变化后的环境会累积并作为下一次交易请求的环境特征，从而影响下一次交易请求的处理决策。
[0110]
步骤304，根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定奖励值。
[0111]
其中，奖励值可以表征，根据初始业务处理模型预测的参考业务特征集合中每个业务特征对应的预测权重值及特征值，确定的预测决策标签的好坏。即可以表征初始业务处理模型预测的参考业务特征集合中每个业务特征对应的预测权重值的准确性。
[0112]
可选的，奖励值可以为正值，也可以为负值，本公开对此不做限定。
[0113]
可以理解的是，在确定了请求样本对应的预测决策标签之后，预测决策标签可以改变参考环境特征，进而环境可以根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定奖励值，并将奖励值反馈给初始业务处理模型。
[0114]
步骤305，根据奖励值，对初始业务处理模型进行修正，以获取修正后的业务处理模型。
[0115]
可选的，在业务处理模型的训练过程中，可以将每个请求样本对应的奖励值相加，得到业务处理模型在训练过程总的奖励值，在总的奖励值大于预设的奖励阈值时，停止对初始业务处理模型的训练，从而获取训练完成的业务处理模型。
[0116]
可以理解的是，在确定了奖励值之后，即可根据奖励值对初始业务处理模型的参数进行修正，以提高模型的鲁棒性及收敛性，进而使的修正后的业务处理模型可以准确地预测出请求样本对应的参考业务特征集合中每个业务特征对应的权重值，从而使得基于权重值确定的决策结果更加准确。
[0117]
图4为本公开实施例提供的一种生成业务处理模型的架构示意图。如图4所示，该架构图中包括状态(state)，行为(action)以及奖励(reward)等要素。其中，状态可以环境
状态的转换，行为可以为请求样本对应的预测决策标签，奖励可以为环境根据请求样本对应的预测决策标签做出的奖励。
[0118]
其中，初始业务处理模型可以根据请求样本对应的参考业务特征集合及参考环境特征集合，得到参考业务特征集合中每个业务特征对应的预测权重值，根据预测每个业务特征对应的特征值及对应的预测权重值，确定请求样本对应的预测决策标签，进而根据预测决策标签，确定环境特征的变化，即状态的变化，进而环境将确定的奖励值反馈给初始业务处理模型，从而对业务处理模型的参数进行修正，由此，循环多次，以获取训练完成后的业务处理模型。
[0119]
本公开实施例中，先获取训练数据集，之后将参考业务特征集合及参考环境特征集合输入初始业务处理模型，以获取参考业务特征集合中每个业务特征对应的预测权重值，根据参考业务特征集合中每个业务特征对应的特征值及对应的预测权重值，确定请求样本对应的预测决策标签及对应的预测环境特征，之后根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定奖励值，最后根据奖励值，对初始业务处理模型进行修正，以获取修正后的业务处理模型。由此，基于强化学习的方法，根据参考环境特征集合及参考业务特征集合对初始业务处理模型进行训练，以提高业务处理模型的性能，从而为准确地获取业务请求的处理策略提供了条件。
[0120]
图5为本公开一实施例所提供的一种业务处理模型的生成方法的流程示意图，如图5所示，该业务处理模型的生成方法可以包括以下步骤：
[0121]
步骤501，获取训练数据集，其中，训练数据集中包括请求样本对应的参考环境特征集合、参考业务特征集合及标注决策标签。
[0122]
步骤502，根据参考业务特征集合中每个业务特征的类型，确定每个业务特征对应的权重参考区间。
[0123]
其中，参考业务特征的类型可以为金额，交易次数等。
[0124]
其中，权重参考区间可以为每个特征对应的权重范围，即业务处理模型预测的每个特征对应的预测权重值的范围不能超出对应的权重参考区间。
[0125]
举例来说，在线上交易风控场景交易中，交易次数对应的权重参考区间可以为[0，1000]，金额对应的权重参考区间可以为[0，10]。本公开对此不做限定。
[0126]
步骤503，将参考业务特征集合、参考环境特征集合及每个业务特征对应的权重参考区间，输入初始业务处理模型，以获取参考业务特征集合中每个业务特征对应的预测权重值。
[0127]
需要说明的是，将参考业务特征集合、参考环境特征集合及每个业务特征对应的权重参考区间，输入初始业务处理模型，以获取参考业务特征集合中每个特征对应的预测权重值。从而可以根据每个业务特征对应的权重参考区间，限定初始业务处理模型预测的参考业务特征集合中每个特征对应的预测权重值，进而避免了预测权重值过大或过小，导致获取的请求样本对应的预测决策标签不准确，从而提高了获取的预测决策标签的准确性。
[0128]
步骤505，根据参考业务特征集合中每个业务特征对应的特征值及对应的预测权重值，确定请求样本对应的预测决策标签及对应的预测环境特征。
[0129]
步骤505，根据请求样本所属的业务类型及处理决策的类型，确定奖励函数。
[0130]
需要说明的是，在不同的风险控制场景中，请求样本的业务类型不相同，请求样本对应的处理决策的类型也不相同。因此，根据请求样本所属的业务类型及处理决策的类型，确定奖励函数，可以使获取的业务处理模型更加贴合业务的需求，进而可以准确地确定每个业务请求的处理策略。
[0131]
可选的，对于不同的风险控制场景，请求样本所属的业务类型也不相同，比如，在线上交易的风险控制场景中，请求样本所属的业务类型为线上交易。在领取优惠卷的风险控制场景中，请求样本所属的业务类型为领优惠券。
[0132]
其中，处理决策的类型可以根据请求样本所属的业务类型确定。比如，比如，请求样本所属的业务类型为交易请求，对应的处理决策可以为允许交易，拒绝交易等。或者，请求样本所属的业务类型为领取优惠券请求，对应的处理决策可以包括允许领取，拒绝领取等。
[0133]
其中，奖励函数可以为正确的预测决策标签做出加分奖励，错误的预测决策标签做出减分奖励。
[0134]
本公开实施例中，奖励函数可以由两部分组成，一部分奖励函数用于确定预测决策标签与标注决策标签的差异对应的第一奖励值，另一部分奖励函数用于确定预测环境特征与参考环境特征的差异对应的第二奖励值，其中，每一部分奖励函数有其对应的预设权重系数，第一部分奖励函数对应的预设权重系数大于第一部分奖励函数对应的权重系数。进而可以根据第一奖励值及对应的预设权重系数、第二奖励值及对应的预设权重系数，确定奖励值。
[0135]
比如，第一奖励值为8，对应的预设权重系数为0.8，第二奖励值为6，对应的预设权重系数为0.2，则最终的奖励值为7.6。
[0136]
可选的，在线上交易的风险控制场景中，若预测决策标签为允许交易，即预测的样本请求为正常请求，标注决策标签为允许交易，即实际的样本请求为正常请求，则对应的第一奖励值为第一数值。第一数值可以为正值，比如1或2等。
[0137]
或者，若预测决策标签为允许交易，即预测的样本请求为正常请求，标注决策标签为拒绝交易，即实际的样本请求为风险请求，则对应的第一奖励值为第二数值。第二数值可以为负值,比如-3，-5等等。
[0138]
或者，若预测决策标签为拒绝交易，即预测的样本请求为风险请求，标注决策标签为允许交易，即实际的样本请求为正常请求，则对应的第一奖励值为第三数值。第三数值可以为负值，第三数值小于第二数值,比如-6，-7等等。
[0139]
或者，若预测决策标签为拒绝交易，即预测的样本请求为风险请求，标注决策标签为拒绝交易，即实际的样本请求为风险请求，则对应的第一奖励值为第四数值。第四数值可以为负值，第四数值大于第一数值,比如10，8等等。
[0140]
可选的，在线上交易的风险控制场景中，若预测环境特征与参考环境特征的差异较大，确定对应的第二奖励值为第五数值。其中，第五数值为负值。
[0141]
或者，若预测环境特征与参考环境特征的差异较小，确定对应的第二奖励值为第六数值。其中，第六数值为正值。
[0142]
步骤506，基于奖励函数，根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定奖励值。
[0143]
可以理解的是，在确定了奖励函数之后，即可根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定请求样本对应的奖励值。
[0144]
步骤507，根据奖励值，对初始业务处理模型进行修正，以获取修正后的业务处理模型。
[0145]
本公开实施例中，先获取训练数据集，之后根据参考业务特征集合中每个业务特征的类型，确定每个业务特征对应的权重参考区间，将参考业务特征集合、参考环境特征集合及每个业务特征对应的权重参考区间，输入初始业务处理模型，以获取参考业务特征集合中每个业务特征对应的预测权重值，根据参考业务特征集合中每个业务特征对应的特征值及对应的预测权重值，确定请求样本对应的预测决策标签及对应的预测环境特征，之后根据请求样本所属的业务类型及处理决策的类型，确定奖励函数，基于奖励函数，根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定奖励值，最后根据奖励值，对初始业务处理模型进行修正，以获取修正后的业务处理模型。由此，根据业务类型及处理策略的类型确定奖励函数，从而使得根据奖励函数确定的奖励值更加准确，进而使得获取的业务处理模型更加贴合业务的需求，从而进一步为准确地获取业务请求的处理策略提供了条件。
[0146]
为了实现上述实施例，本公开还提出一种业务处理装置。
[0147]
图6为本公开实施例所提供的业务处理装置的结构示意图。
[0148]
如图6所示，该业务处理装置600可以包括：接收模块610、第一获取模块620、第二获取模块630、第一确定模块640、处理模块650。
[0149]
其中，接收模块610，用于接收业务请求，其中，业务请求中包含用户标识；
[0150]
第一获取模块620，用于获取当前的环境特征集合及与用户标识对应的业务特征集合；
[0151]
第二获取模块630，用于将业务特征集合及环境特征集合输入预设的业务处理模型中，以获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重；
[0152]
第一确定模块640，用于根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的处理策略；
[0153]
处理模块650，用于基于处理策略，对业务请求进行处理。
[0154]
可选的，第一获取模块620，具体用于：
[0155]
获取接收到业务请求的时刻之前的第一预设时段内的第一历史业务请求集，及第二预设时段内与用户标识对应的第二历史业务请求集；
[0156]
将第一历史业务请求集中每个第一历史业务请求进行聚合，以获取第一历史业务请求对应的环境特征集合；
[0157]
将第二历史业务请求集中每个第二历史业务请求进行聚合，以获取第二历史业务请求集对应的业务特征集合。
[0158]
可选的，第一确定模块640，具体用于：
[0159]
根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的预测分值；
[0160]
根据预测分值与阈值之间的关系，确定业务请求对应的处理决策。
[0161]
本公开实施例中的上述各模块的功能及具体实现原理，可参照上述各方法实施
例，此处不再赘述。
[0162]
本公开实施例的业务处理装置，首先接收包含用户标识的业务请求，之后获取当前的环境特征集合及与用户标识对应的业务特征集合，将业务特征集合及环境特征集合输入预设的业务处理模型中，以获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的处理策略，最后基于处理策略，对业务请求进行处理。由此，采用预设的业务处理模型获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据每个业务特征对应的特征值及权重，确定业务的处理策略，从而使得确定的处理策略更加贴合当前的环境，进而提高了处理策略的准确性，降低了风险事件的发生概率。
[0163]
图7为本公开实施例所提供的业务处理模型的生成装置的结构示意图。
[0164]
如图7所示，该业务处理模型的生成装置700可以包括：第一获取模块710、第二获取模块720、第一确定模块730、第二确定模块740、修正模块750。
[0165]
第一获取模块710，用于获取训练数据集，其中，训练数据集中包括请求样本对应的参考环境特征集合、参考业务特征集合及标注决策标签；
[0166]
第二获取模块720，用于将参考业务特征集合及参考环境特征集合输入初始业务处理模型，以获取参考业务特征集合中每个业务特征对应的预测权重值；
[0167]
第一确定模块730，用于根据参考业务特征集合中每个业务特征对应的特征值及对应的预测权重值，确定请求样本对应的预测决策标签及对应的预测环境特征；
[0168]
第二确定模块740，用于根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定奖励值；
[0169]
修正模块750，用于根据奖励值，对初始业务处理模型进行修正，以获取修正后的业务处理模型。
[0170]
可选的，第二确定模块740，具体用于：
[0171]
根据请求样本所属的业务类型及处理决策的类型，确定奖励函数；
[0172]
基于奖励函数，根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定奖励值。
[0173]
可选的，第二获取模块720，具体用于：
[0174]
根据参考业务特征集合中每个业务特征的类型，确定每个业务特征对应的权重参考区间；
[0175]
将参考业务特征集合、参考环境特征集合及每个业务特征对应的权重参考区间，输入初始业务处理模型。
[0176]
本公开实施例的业务处理模型的生成装置，先获取训练数据集，之后将参考业务特征集合及参考环境特征集合输入初始业务处理模型，以获取参考业务特征集合中每个业务特征对应的预测权重值，根据参考业务特征集合中每个业务特征对应的特征值及对应的预测权重值，确定请求样本对应的预测决策标签及对应的预测环境特征，之后根据预测决策标签与标注决策标签的差异，及预测环境特征与参考环境特征的差异，确定奖励值，最后根据奖励值，对初始业务处理模型进行修正，以获取修正后的业务处理模型。由此，基于强化学习的方法，根据参考环境特征集合及参考业务特征集合对初始业务处理模型进行训练，以提高业务处理模型的性能，从而为准确地获取业务请求的处理策略提供了条件。
[0177]
为了实现上述实施例，本公开还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的业务处理方法，或者，实现如本公开述实施例提出的业务处理模型的生成方法。
[0178]
为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，实现如本公开前述实施例提出的业务处理方法，或者，实现如本公开述实施例提出的业务处理模型的生成方法。
[0179]
为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的业务处理方法，或者，执行如本公开述实施例提出的业务处理模型的生成方法。
[0180]
图8示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图8显示的计算机设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
[0181]
如图8所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0182]
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industry standard architecture；以下简称：isa)总线，微通道体系结构(micro channel architecture；以下简称：mac)总线，增强型isa总线、视频电子标准协会(video electronics standards association；以下简称：vesa)局域总线以及外围组件互连(peripheral component interconnection；以下简称：pci)总线。
[0183]
计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0184]
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory；以下简称：ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compact disc read only memory；以下简称：cd-rom)、数字多功能只读光盘(digital video disc read only memory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
[0185]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
[0186]
计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(local area network；以下简称：lan)，广域网(wide area network；以下简称：wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0187]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
[0188]
本公开的技术方案，首先接收包含用户标识的业务请求，之后获取当前的环境特征集合及与用户标识对应的业务特征集合，将业务特征集合及环境特征集合输入预设的业务处理模型中，以获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据业务特征集合中每个业务特征的特征值及对应的权重，确定业务请求对应的处理策略，最后基于处理策略，对业务请求进行处理。由此，采用预设的业务处理模型获取在当前的环境特征集合下业务特征集合中每个业务特征对应的权重，进而根据每个业务特征对应的特征值及权重，确定业务的处理策略，从而使得确定的处理策略更加贴合当前的环境，进而提高了处理策略的准确性，降低了风险事件的发生概率。
[0189]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0190]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0191]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
[0192]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设
备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0193]
应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0194]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0195]
此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0196]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。
