社区编辑申请
注册/登录
浅谈大数据技术在天体系统运行状态监测中的应用
大数据 数据分析
大数据技术在天体系统运行状态监测中的应用主要集中在海量数据的采集存储、分析挖掘、可视化等领域。

大数据处理技术可以分为批处理与流处理两种模式。批处理系统具有先存储后计算﹑数据的准确性和全面性要求高等特点。流处理系统往往不要求结果绝对精确而注重对动态产生的数据进行实时计算并及时反馈结果。

Hadoop是当前最流行的大数据技术架构,包括Hadoop分布式文件系统( HDFS)、数据分析框架 Map-Reduce、数据挖掘工具 Mahout等,目前很多大数据处理都是基于Hadoop平台之上。

数据流处理的特殊性以及大数据处理的时效性等各种限制使得传统的实时处理技术已不能够满足需求,因此,大数据的流式处理成为了天文学学者的研究热点。当前,流式数据处理的计算框架主要有Storm,Spark Streaming等,并且在互联网行业得到了一定的应用,但在天文学研究中尚鲜有应用。

国内外在天体系统运行状态监测大数据技术研究和应用方面已有成效,但仍处于起步探索阶段。天体系统的运行状态数据具有持续不断、数据量大、规模及顺序无法预知及时效性高等特点,形成了大规模的数据流。而数据流的价值会随着时间的流逝而减少,如何快速地从数据流中发现异常数据,为天体系统的运行与安全状态监测提供重要依据具有重要意义,因此可以将大数据技术引入到天体系统运行异常状态检测中。目前在天体系统运行异常状态检测中应用的大数据技术有时间序列分析、马尔可夫模型、遗传规划算法、分类算法等,但这些研究尚处于探索阶段,尚未形成完善、成熟的理论体系。

责任编辑:华轩 来源: 今日头条
相关推荐

2019-02-20 17:49:32

大数据应急管理数据分析

2019-05-14 13:07:23

大数据平台监控集群

2011-11-08 21:27:57

2020-12-25 14:49:32

大数据大数据应用健康大数据

2020-11-17 14:50:34

大数据

2022-06-02 13:35:15

网络监控系统

2020-12-31 14:14:35

大数据大数据应用

2019-11-06 11:38:43

大数据工具人工智能

2021-06-10 19:10:32

2013-04-25 19:53:48

NEC大数据分析

2015-03-21 16:26:34

应用性能管理大数据

2015-04-16 10:24:44

大数据数据中心天玑科技

2016-10-24 10:46:47

2016-06-02 10:17:58

大数据架构业务监控

2021-03-29 11:11:39

大数据人工智能睡眠健康

2019-05-14 12:34:42

大数据平台监控数据

2019-08-15 10:33:23

2021-04-02 09:43:10

Linux监控技术Linux系统

2018-11-01 12:12:51

数据中心设备运维

2015-08-25 10:32:07

健康大数据

同话题下的热门内容

大数据分析技术和方法有哪些?节日消费数据不“杀熟”?大数据带你一起“解”七夕!五个方法,破解数据分析的核心难题聊聊数据分析的价值是什么?

编辑推荐

什么是数据分析的漏斗模型?数据分析师还吃香吗?用数据告诉你对比解读五种主流大数据架构的数据分析能力《狄仁杰之四大天王》影评分析(爬虫+词云+热力图)22个免费的数据可视化和分析工具推荐
我收藏的内容
点赞
收藏

AISummit人工智能大会