青云QingCloud 全新双引擎大数据服务 SparkMR 正式上线

本篇文章1630字，读完约4分钟

雷锋。(公开号码:雷锋。据该网站9月4日报道，企业级云服务提供商青云轻云宣布，轻云服务的sparkmr正式登陆appcenter。qingcloud上的Sparkmr集成了spark和hadoop mapreduce双计算引擎，提供了统一的hdfs数据存储引擎和纱线调度系统，为用户提供了一个灵活、高效、多模式切换的全新云大数据处理平台。

在大数据时代，数据资源不仅是企业的无形资产，也是核心竞争力之一。如何低成本、高效率地对数据进行统一管理和分析，并获得业务决策支持，已经成为企业面临的一个难题。大数据平台正是针对这种企业需求而产生的，并在不断发展和创新。青云清云于2015年8月推出基于spark的大数据集群服务，同年12月推出hadoop集群服务，作为大数据基础平台的有力补充，满足企业在大数据领域的不同需求。

然而，由于spark和hadoop是两个独立的服务，当用户同时使用这两个处理引擎时，他们需要部署两个hdf并加载和存储相同数据的两个副本，从成本和效率来看，这不是最佳选择。从统一数据管理的角度出发，青云轻云在轻云上推出sparkmr，并通过轻云应用中心以云应用的形式交付给用户，全面整合和升级了原有大数据平台的spark和hadoop服务。

目前，sparkmr支持apache hadoop 2.7.3和apache spark 2.2.0。spark和hadoop结合后，成本将显著降低。同时，与原有的大数据平台相比，它提供了更丰富、更灵活的可选配置，用户可以根据角色定制节点配置(cpu 2~16核可选，内存2~64gb可选)。作为支持新的双引擎大数据平台的重要组件，云上的Sparkmr有以下多个亮点:

计算模式:sparkmr提供统一的hdfs作为底层的数据存储引擎，spark和mapreduce作为顶层的计算引擎，以及纱线作为调度系统。用户可以在三种不同的计算模式之间切换，即独立火花、纱线火花和纱线mapreduce。

计算能力:sparkmr不仅支持java和scala开发，还提供python和R运行环境，方便用户开发spark应用程序。Python用户可以获得蟒蛇分布的python 2和python 3，并且支持这两个python版本之间的切换。同时，为这两个python版本预设了几个anaconda数据科学包，它们为人工智能开发场景(如数据科学和机器学习/深度学习)提供了强大的计算能力支持。

集成能力:sparkmr支持指定相关服务的功能，即通过appcenter 2.0框架内的本地应用感知机制，实现与其他大数据分析组件的自动无缝集成。Sparkmr和qingstor对象存储平台也是预集成的，用户可以通过简单的配置开始支持qingstor对象存储，解决海量和大规模数据的存储问题。

调度策略:sparkmr提供火花和纱线的自定义调度功能。用户可以根据自己的实际需求定制集群中的资源调度策略，从而在多租户使用场景中为用户提供更精细的管理能力。

服务定制:sparkmr通过控制台提供近60个配置参数，用户可以通过控制台的ui操作完成集群部署和个性化服务定制。例如，用户可以通过用户界面设置hadoop代理用户。sparkmr的客户端节点也已经完全自动配置，所以用户不需要单独创建和手动配置bigdata客户端或spark客户端。这意味着在配置和定制控制台后，当部署完成时，用户可以开始执行计算任务，从而实现一键部署和立即使用。

服务监控:sparkmr按角色提供完善的服务级别监控功能。用户不仅可以看到常规的资源级别监控，还可以通过可视化的方式清楚地了解整体的服务操作。同时，在服务监控的基础上，还提供了监控报警、健康检查和自动服务恢复等功能。

推荐阅读:

云松:如果我们必须定义它，我们就是ict运营商

"青云清云发布了七大产品，一切都为ai做好了准备"

雷锋原创文章。严禁擅自转载。详情请参考转载说明。