IBM大数据探索

　　大数据从何而来?李永辉表示，实际上这些数据主要来源于三个方面，分别是传统的结构化数据、非结构化数据和流数据。具体来说，随着技术和信息来源的不断发展，企业处理结构化数据出现了很多新的技术，如CPU的速度、闪存的技术等。而非结构化数据在移动互联网的带动下，产生越来越多的信息，利用这些数据就可以挖掘出有用的信息。另外，流媒体产生巨大的流数据，是大数据首先需要挖掘的新的数据来源。

　　探索和挖掘大数据，发现业务相关的兴趣点，从而更好的制定决策。对于大数据，企业一般有以下需求：不给定假设条件，探索现有企业数据和内容之外的新数据资源的潜在价值;给定假设条件，挖掘业务需求相关信息;关联上下文中不同来源的信息并评估非结构化内容的商业价值;使用可视化、算法和处理发现兴趣模式;防止探索过程中的敏感信息暴露。

　　如何利用IBM的软件解决方案从大数据中抓取有用的信息呢?李永辉表示，在IBM的大数据解决方案中，IBM Streams提供了抓取和分析流数据的能力;BigInsight是IBM提供的企业版Hadoop架构，能够对非结构化数据做进一步的分析;Warehouse处理传统的结构化数据，针对数据量的增加做了很多改进;Data Explorer and Content Analytics抓取有用的信息寄存在数据仓库中，并提供多个数据的挖掘和关联性的分析。

　　在IBM大数据分析解决方案中，Cognos BI是一个报表分析工具，可以从多个数据库的结构化和非结构化数据中抓取有用信息，并针对大量历史数据进行预测。透过IBM SPSS工具建立数学模型，根据收集数据的特征也可以预测未来。

　　预测是大数据发展的一大特色。以IBM的客户——中国气象局为例，需要通过大量数据来预测未来天气情况，主要包括三种类型的预测：一是气候模型的预测，推测下一个冬天是冷冬还是暖冬;二是短期的预报，主要利用物理模型推测未来气候变化;三是卫星的推测，即临近天气预报，预测未来几小时的天气情况。中国气象局采用IBM PureSystem后，比前一代系统提高了50倍性能和100倍的存储容量。

作者：小野

来源：IT168

原文链接:IBM：李永辉：IBM大数据产品及实践路线图