大数据解决方案如何实施

　大数据解决方案实施的难点在于以下几点：

　　1.很少有优*可用的数据

　　这几年数据交易机构如雨后春笋，“数据变现”成为很多拥有数据积累的传统企业的新的生财法。目前，我国大数据需求端以互联网企业为主，覆盖面不广，在O2O趋势下，大型互联网厂商尝试引入外部数据支撑金融、生活、语音、旅游、健康和教育等多种服务。

　　然而在具体的领域或行业内，我国普遍未形成成型的数据采集、加工、分析和应用链条，大量数据源未被激活，大多数数据拥有者没有数据价值外化的路径。比如，各医疗健康类应用收集了大量的数据，但没有像那样面向医药公司售卖数据。与国外相比我国的政府、公共服务、农业应用基本缺位，电信和银行业更缺少与外部数据的碰撞。

　　另外，其实数据交易这件事本身就是一个悖论。数据作为一种商品有一定的特殊性，我用了别人也可以用，没有任何消耗，可以在市场卖很多遍。这就产生一个问题，你这个数据到市场卖，根据经济学观点它的价值是零，你卖给我我可以用更低的价格卖给别人，所以数据交易理论上来说也是不可行的。

　　大数据概念火了以后，很多机构觉得数据存起来就是宝，于是积攒了大量零碎数据放在那里，到底能发挥什么作用也未可知。而在和许多*正想用数据做些事情的机构的合作中我们发现，即便是政府机构这样的权威数据持有方，也存在很多数据缺失、数据错误、噪音多各方面的问题。

　　我们常常在讲大数据就用大数据方法，小数据就用小数据方法，完*的数据是永远等不来的。但这样会导致什么问题呢?在实际项目实施过程中，我们的数据科学家们不得不花费大量时间在数据清洗上，这其实是对本来就紧缺的数据人员的一种浪费。

　　理论上我们中国有很多数据，但不同部门数据存在在不同的地方，格式也不一样。政府内部本身整合各部门的数据就已经是一件很头大的事情，更不要提大规模的数据开放。同时数据开放面临一个严重问题就是隐私问题，脱敏远远不够，隐私问题是一个无底洞。比如我们把一个人的支付宝3个月数据拿过来，就可以很轻易的知道这个人今天在门口便利店买了一瓶水，昨天在淘宝买了沙发，每隔三个月会有一笔万元的支出。那我们就可以很容易推断这个人刚换了一个租房子的地方，就能了解他的消费习惯。这个数据其实完全是脱敏的，没有名字、没有号码，但丝毫不妨碍我们通过算法完全的勾勒出这个人的画像。

　　2.实际技术与业务之间还有很大距离

　　大数据行业发展至今，技术与业务之间依然存在巨大着鸿沟。首先，就是数据分析技术本身。数据源企业为实现数据价值变现，尝试多种方法，甚至自己组建数据分析团队，可是数据分析是个技术活，1%的误差都会*大地影响市场份额，术业有专攻，数据变现还是需要专业的数据分析人才来实现。

　　大数据概念的火热，做大数据的公司越来越多，产品做得五花八门，数据建模看似谁都可以涉足，但现在数据分析的技术，方法，模型，算法都有了非常大的改进，跟过去六七十年代完全不一样，不是说做几个SAAS软件或者RAAS软件就是大数据了，虽然短期看市场火热，但长远来说这条路是走不通的，大数据行业发展，技术才是*正的发力点，提高行业准入门槛尤为重要。

　　其次中国的数据有它的特色，例如在金融行业，目前大部分银行采用的是风险评分卡，运用专家经验定义风险变量，基于定性认识进行评分，通过事后风险回检优化评分卡，风险预警功能较差。虽然央行征信中心与国内少数技术*先银行使用的是风险评分模型，但模型方法相对陈旧，如央行所用FICO评分模型为上世纪80年代基于逻辑回归算法构建的评分体系，逻辑回归算法适合处理线性数据，但实际问题往往是非线性的，特别是信用风险评估场景下。此外，FICO模型没有针对我国具体业务进行场景细分，建模逻辑并不完全符合我国实际情况，因此导致准确率不足，风险预警能力差。基于此，中国人民银行征信中心*次与国内大数据公司合作，这次合作中普林科技应用国际*先的大数据建模分析技术运用决策树随机森林,AdaBOOST,GBDT,SVM等算法，通过对信用报告的数字化解读与深入洞察，准确预测了违约风险，对贷款审批、贷中管理形成指导，新模型对好坏账户的区分度远高于行业平均水平。此次合作表明我国的大数据难题更需要适应国情的解决方案与本土的技术人才，这对我们的市场提出了一个新问题。

　　3.人才*缺

　　我们国家大数据发展*大的优势就是市场大，*大的劣势恰巧就是缺乏相应人才，人才缺乏的程度非常严重。首先在国际市场方面，我们要跟国外公司争人才，然而国外大数据行业同样十分火热。而不论在国内还是国外，跟企业竞争人才都是一项艰巨的事业，比如在世界上*好的大学之一的美国普林斯顿大学，想找数学家也是非常困难，人才很容易被大公司挖走，每年都有非常好的数据分析人才被企业挖走。所以人才难觅不只是口头说说，更是一个亟待解决的问题 大数据是一个交叉学科，涉及统计学，管理编程等多学科，知识点复杂，缺乏系统的学习教程。