作者：路清杰

　　大数据能够打破商业银行与小微企业之间的信息不对称，从而解决商业银行在小微信贷中面临的逆向选择困境；大数据能够从瞬息万变的各类信息中洞察先机，从而使商业银行在风险积聚之前从某一行业或领域中全身而退，比如今天的钢贸和未来的房地产行业；大数据甚至有机会改变商业银行的运营，实现银行与客户之间全新的沟通与服务模式，提高金融体系的运行效率。

　　繁复枯燥的数据正在展示其中蕴藏的巨大价值。从公共部门的流感疫情分析到经济走势预测，从私营机构的精准广告投放到个性化服务定制，大数据的应用创新无处不在，预示着现代社会即将进入一个大数据时代。

　　对于商业银行而言，大数据能做什么？大数据能够打破商业银行与小微企业之间的信息不对称，从而解决商业银行在小微信贷中面临的逆向选择困境；大数据能够从瞬息万变的各类信息中洞察先机，从而使商业银行在风险积聚之前从某一行业或领域中全身而退，比如今天的钢贸和未来的房地产行业；大数据甚至有机会改变商业银行的运营，实现银行与客户之间全新的沟通与服务模式，提高金融体系的运行效率。

　　但在浪潮来临之际，机遇与挑战并存。面对具有4V（Volume, Variety, Velocity and Value）特征的大数据，商业银行要从中掘金也许还有很长的路要走。

　　一、从传统的数据挖掘做起

　　商业银行是上一代信息化浪潮中的佼佼者。从数以万计的网点柜台到广泛使用的电子银行，从传统的存贷款到种类繁多的中间业务，商业银行每一分每一秒都在积累着内涵丰富的数据。但在大数据概念兴起之前，数据的巨大价值并没有得到充分关注，传统的数据挖掘技术在商业银行领域的应用较少。实际上，传统的数据挖掘技术在商业银行有着广阔的潜在应用空间。

　　利用关联分析和协同过滤技术，数据挖掘能够找出具有不同自然特征、资产特征的客户所偏好的产品和服务方式，帮助理财客户经理进行精准营销和交叉销售。利用时间序列分析技术，数据挖掘能够根据每一台ATM机在过去的现金存取数据挖掘其中的规律，并根据同一个自助服务区的多台ATM机的联动特征，实现一个自助服务区最优的现金管理方案，从而提高自助服务区的运行效率并有效降低现金占用成本。利用社会网络分析技术，数据挖掘能够依据账户之间的交易信息构建起账户的社会网络，从而挖掘可能存在的欺诈和洗钱网络。最重要的是，传统的数据挖掘将会推进大数据理念的传播，并使商业银行马上走进数据掘金之路。

　　同时，传统的数据挖掘技术也是大数据分析技术的基础。例如分类与聚类、社会网络分析和流数据挖掘等技术，在实现算法上的可并行性以及对多样化海量数据的可扩展性之后即可演化为大数据挖掘技术。

　　二、大数据如何获取？信息融合的挑战

　　一般而言，根据数据能否采用有限范围的二维表结构进行描述和存储将数据分为结构化数据和非结构化数据。结构化数据可以存储在关系型数据库中，但非结构化数据就必须采用独特的存储方式以实现高效率的存取。

　　现代社会每天生产的数据量正以PB级的速度增长，而其中大部分都是非结构化数据，例如来源于互联网用户产生的全文本、影音图片信息，来源于自动监测设备的动态数据流信息等。对于商业银行而言，目前的数据主要以结构化数据为主，但是随着互联网金融的兴盛、业务处理自动化和风险监控自动化的不断发展，上述非结构化数据也将不断积累。与结构化数据相比，由于信息存储量更大和表现形式更多样，非结构化数据的内涵更为丰富，也更需要进行多层次的数据挖掘。

　　如果想拥有大数据，商业银行就必须具备对非结构化数据的抽取、转换、清洗的处理能力，并打破结构化和非结构化数据之间的壁垒，实现信息融合。由于在结构化数据领域具有较强实力，商业银行在信息融合的过程中可能倾向于采用对非结构化数据进行“结构化”的处理方式。这将降低非结构化数据的灵活性和信息融合的深度，制约对大数据价值的挖掘。因此，商业银行需要另辟蹊径来实现对多源的非结构化数据与结构化数据的信息融合，例如建立起面向对象的数据库平台，将非结构化数据作为对象保存，在数据库层面保持数据的全部内涵，从而为下一步的数据挖掘工作提供灵活而充足的数据基础。

　　三、大数据如何分析与挖掘？大型机与云计算

　　数据的生产和积累一直都存在，因为我们具备了对海量数据高效的存储管理能力，以及对海量数据高效计算的能力，所以我们才迈进了大数据时代。当你对100个数据排序和对1兆个数据排序，虽然算法的复杂度一样，但耗费的时间也要多项式级别的增长，因此海量数据对计算效率有着极高要求。同时，还有在商业银行中最为普遍的实时性应用场景，例如业务的实时处理和风险的实时监测，对计算效率和响应速度也有极高要求。

　　在过去的二十多年里，大型计算机和相应的一体化解决方案支撑了商业银行稳健高效的IT体系，但是面对大数据时代的计算效率要求，这种组合显得过于昂贵且计算能力的可扩展性不强。大数据时代需要以Map-Reduce分布式并行计算模式为基础的廉价可扩展计算平台。

　　很多年前，出于对互联网上所有网页进行计算和排序的需要，Map-Reduce分布式并行计算模式被发明出来。这种方法能把一个巨大的计算任务拆分为尽可能多的小任务，并将拆分后的小任务分发到数以万计的廉价计算机上进行计算，最后再将每个小任务的结果收集汇总，从而完成一个巨大的计算任务。很明显，这种模式建立起的计算平台将会非常经济且具有很强的可扩展性。当然，这种计算平台不仅仅需要Map-Reduce方式的计算模式，还需要鲁棒性极强的分布式文件存取管理系统和分布式的数据结构表来保证数据的分发、收集和存储。在过去的10多年中，以M-R模式为基础，开源社区Hadoop架构推动了这种计算平台的高速发展，其中一个最显著的成果就是云计算的商业化。

　　在大数据之路上，商业银行必须借力于以M-R模型为基础的云计算，从而拥有大数据分析与挖掘的计算平台。虽然具有显著的优势，但是M-R模型的计算平台仍然具有一些劣势，那就是很难处理不可分拆的任务。例如排序的任务可以分拆再合并，但是一些涉及网络挖掘的任务由于运算过程间互相依赖结果，就很难将任务分拆运行。所幸的是，这时商业银行又可以充分发挥大型机的优势了。

　　四、小结

　　在大数据之路上，商业银行具有数据基础和科技力量的优势，更有广泛应用大数据分析的土壤。在本文开篇所述的应用场景之外，如果拥有了大数据和相应分析技术，也许商业银行将走在行业生命周期之前，也许信贷业务将会精细化到每一笔业务都实现风险收益合理匹配，也许每一个客户都会有量身定做的金融服务方案。大数据将会给商业银行的发展带来更多创新。

　　2012年，哈佛商业评论的《大数据：管理的革命》提出数据驱动型决策会带来竞争优势，这表明了企业管理人员对大数据决策支持的信心。但采用数据驱动型决策的信心要来源于大数据挖掘结果的准确性，以及对数据背后的商业逻辑的精准解读。商业银行要建立起这种信心，所面临的挑战并不仅仅在于技术，更在于如何深入解读大数据及其分析结果的业务含义，以及分析结果与业务经验的融合。

　　在机遇与挑战面前，商业银行需要树立“数据掘金”的理念，以开放的心态拥抱大数据时代的变革。而现在，互联网金融和它带来的海量数据，无疑将会是商业银行在大数据之路上的第一块试金石。

　　（作者单位：中国工商银行风险管理部，以上仅代表个人观点，与所供职单位无关）

　　转载请注明原作者和出自微信公众号《央行观察》