Splunk实现与Hadoop的集成与监控

云计算 Hadoop
Splunk在Strata Conference + Hadoop World上推出Splunk Hadoop Connect和Splunk App for HadoopOps。前者实现与Hadoop相集成,并且能够与其进行互动,后者监控超越Hadoop本身的集群资源,这些都意味着Hadoop外延应用越来越丰富,当然也意味着今年国内HBTC 2012会议会更加精彩!

 

 

实时运营信息软件供应商近期Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps现已全面上市。Splunk Hadoop Connect可提供双向集成,轻松可靠地完成在Splunk与Hadoop之间迁移数据。Splunk App for HadoopOps可对端到端Hadoop环境的健康和性能进行实时监控和分析。Splunk Hadoop Connect和 Splunk App for HadoopOps即日起可供下载。

Apache Hadoop项目管理委员会主席Arun Murthy表示:“Splunk Hadoop Connect让Hadoop用户更轻松地利用Splunk将大数据带入企业。它让Splunk和Hadoop更紧密地联系在一起,为用户开启了无限可能。Hadoop未来发展的关键技术因素是利用Hadoop从数据中获得情报的软件。”

Edmunds.com生产工程高级总监John Martin表示:“我们不断将数据传输至Splunk,以支持我们的运营、应用、安全团队和高管人员并为他们提供情报。我们还部署Hadoop进行多批处理。Splunk和Hadoop的集成让我们可以充分利用这两个技术,并保证我们的Hadoop集群平稳运行。”

 

 

Splunk Hadoop Connect让企业能够充分享受两家企业的技术。快速部署Splunk进行实时采集、检索、分析和可视化,然后可靠地将事件转发至Hadoop,进行长期归档和更多批量分析。企业机构可通过导入存储在Hadoop中的数据进一步充分利用Splunk,从而在几天内就轻松搭建起可靠、安全的企业级大数据项目。Splunk Hadoop Connect与Apache Hadoop兼容,并已经过Cloudera CDH和Hortonworks HDP发布的测试和认证。

 

 

Splunk App for HadoopOps为Hadoop提供实时端到端监控、分析和故障排除,所有这些都是在一个界面上完成的。现有Hadoop监控工具只关注Hadoop层。Splunk App for HadoopOps则通过涵盖基础设施,包括Hadoop、网络、交换机、机架、操作系统和数据库在内的所有层,从而实现超越。

Splunk产品营销副总裁Sanjay Mehta表示:“通过将大数据转化为实时情报,Splunk客户每天都为我们带来惊喜。我们希望让Hadoop用户更轻松地获得这种价值。Splunk可通过轻松、迅速、弹性的方式来收集、分析用户所有机器生成的数据并确保其安全,无论是在物理、虚拟还是云环境中。Splunk Hadoop Connect和Splunk App for HadoopOps有一个共同的开发目的,即:帮助Hadoop用户从数据中获得更多,同时更轻松地管理并监控其系统。”

451 Research数据管理与分析研究经理Matt Aslett表示:“Splunk采用一种方法论方式来定义其与Hadoop的共存关系。Splunk Hadoop Connect不仅能够与Hadoop相集成,并且能够与其进行互动,再加上利用Splunk App for HadoopOps来监控超越Hadoop本身的集群资源,意味着它能够在‘提供管理和分析Splunk和Hadoop中数据的单一平台’方面发挥更大作用。”

Splunk Hadoop Connect功能包括:

将事件从Splunk Enterprise™可靠导出至Hadoop,以便进行归档、进一步处理或进行更多批量处理。原始数据和处理前的数据都可发送。

利用Splunk Hadoop Connect用户界面来探索Hadoop目录,检查文件并决定将导入Splunk的数据。

将Hadoop数据导入Splunk,并进行检索,使其用于搜索、报告、分析和可视化,并通过基于角色的访问控制而对其进行保护。

Splunk App for HadoopOps功能包括:

除了从不同数据中心进行多集群管理,还可端到端监控Hadoop集群、数据库和网络,并排除故障。

针对任何警告或错误情况的强大报警框架。

利用直观的热图显示,集中地实时查看Hadoop节点。

分析MapReduce的实时和历史工作表现。

责任编辑:王程程 来源: Splunk
相关推荐

2014-05-08 10:12:04

Splunk

2018-12-03 15:03:39

Splunk安全监控

2010-06-03 16:18:07

Hadoop MapR

2017-10-25 14:41:19

UPS远程监控电源

2013-10-31 09:17:23

大数据HunkSplunk

2014-08-27 09:51:13

Hadoop

2018-12-12 11:26:58

SplunkAWS

2012-10-24 11:11:32

Splunk

2010-05-24 14:59:29

Hadoop集群

2010-08-03 19:07:21

智能监控网络融合H3C

2015-09-01 14:06:24

hadoop大数据趋势

2015-08-31 11:20:08

大数据

2012-02-14 14:17:35

ibmdw

2022-01-03 18:15:35

FlaskTepHttpRunner

2012-12-03 13:54:15

IBMdW

2016-10-07 18:58:56

2021-04-13 07:58:34

Kubernetns容器监控

2009-06-17 15:18:38

JSF与Spring

2014-05-08 10:19:54

Splunk

2023-09-11 10:55:59

人工智能机器学习
点赞
收藏

51CTO技术栈公众号