随着互联网技术的发展，智能风控技术越来越多地被应用于金融机构的各个业务中，但现有的各类风控模型均基本使用结构化数据进行构建，对于图片、语音等非结构化数据利用还相对较少。中原银行提出一种结合非结构化数据和结构化数据的框架，采用当前较前沿的技术对多模态数据进行特征提取构建反欺诈模型，有效提升了模型的区分精度，助力把控业务风险。中原银行提出了一种结合多模态数据的框架，该框架使用管道的方式，先通过深度学习模型对非结构化数据进行特征提取，再结合提取的非结构化特征与结构化特征构建评分卡，能够对非结构化数据和结构化数据联合建模，对信息的有效成分捕捉更全面，使得各类型数据之间的信息能够实现1+1>2的效果。中原银行该项目设计了非结构化数据的处理方案，并结合非结构化与结构化数据对现有风控技术进行增益，帮助金融机构更全面控制金融风险，有效规避金融欺诈风险；同时提供了一套可行的多模态数据风控方法论可以推行至其他各个业务场景；非结构化数据处理模型分类精度能够达到95%以上，能够非常精准给客户图像打标签；较只使用结构化数据的旧模型，多模态数据处理模型从识别好坏申请的能力和模型稳定性上都有相当程度的提升，具体地，auc从0.796提升至0.828，ks从0.48提升至0.5，同时psi稳定性指标稳定在0.05。（来源：中国电子银行网）