51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8805内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8805 条
Spark体系架构必读
最近看到一篇关于Spark架构的博文，作者是 Alexey Grishchenko。看过Alexey博文的同学应该都知道，他对Spark理解地非常深入，读完他的 “spark-architecture” 这篇博文，有种醍醐灌顶的感觉，从JVM内存分配到Spark集群的资源管理，步步深入，感触颇多。因此，在周末的业余时间里，将此文的核心内容译成中文，并在这里与大家分享。

2016-09-04 14:00:31

Spark
大数据，为什么不是传统BI的简单升级?
大数据的4V特征大家都懂，大数据在量、维度、速度等方面相对于传统BI的改变的确让数据改造世界的能力发生了质的变化, 那么，大数据的“术”于传统BI到底有哪些变化?传统企业需要做哪些改变呢?

2016-09-04 13:53:23

传统BI大数据
帮助贵公司搞定大数据的七个工具 译文
几乎在各行各业，许多公司都在纷纷改用数据驱动的方法。但是虽然许多公司擅长收集数据，理解数据却来得比较困难。本文介绍的这七款工具可助一臂之力。

2016-09-02 16:10:25

大数据工具
一文读懂Hadoop、HBase、Hive、Spark分布式系统架构
机器学习、数据挖掘等各种大数据处理都离不开各种开源分布式系统，hadoop用户分布式存储和map-reduce计算，spark用于分布式机器学习，hive是分布式数据库，hbase是分布式kv系统，看似互不相关的他们却都是基于相同的hdfs存储和yarn资源管理，本文通过全套部署方法来让大家深入系统内部以充分理解分布式系统架构和他们之间的关系。

2016-09-01 13:48:18

HadoopHBaseHive
大数据会撒谎？如何戳破大数据的谎言
数据科学家使用统计分析工具深度挖掘数据潜在的内容时经常会遭遇到大数据挖的坑，实际上这些坑并不是只有大数据才有，大自然本身就存在很多虚假的相关性，大数据只是更加剧了这种虚假的相关性。

2016-08-31 22:02:15

大数据数据建模
一切尽在大数据
近几年，互联网行业发展风起云涌，“大数据”炙手可热，大数据作为一种重要的战略资产，已经不同程度地渗透到每个行业领域和部门，其深度应用不仅有助于企业经营活动，还有利于推动国民经济发展。

2016-08-31 17:24:05

大数据分析
【哈佛商评】关于数据分析，管理者的四个常规错误
有公司尝试从巨大的数据中获取实际可用的信息，通过与他们合作，我们归纳了管理者在数据应用上的四个常规错误。

2016-08-31 15:01:46

数据分析大数据
大数据和实时分析的算法分类
如今，大数据技术的发展和进步开辟了收集和传输大量的数据更有效的新方式。这场革命促进了实时算法和方法的研究和发展。

2016-08-31 14:41:31

大数据实时分析算法分类
数据分析师的能力和工具体系
之前我在回答里写过，数据分析师和圣骑士职业很相似，都需要“门门通”。最近，我尝试对数据分析师的能力和工具体系进行梳理，以下内容为一家之言，仅供参考。

2016-08-31 14:33:23

数据分析师工具体系
终极对决：R 与 Excel 在数据分析当中的优劣势对比
Excel是一款不错的数据分析工具，但是，如果你只有这一款工具，则会大大影响你的工作效率。相比之下，R 更好用，而且提供的工具集模块更完整。而缺点在于不是非常易于上手，用户一开始相对要花很多时间学习使用。如果坚持下去，就会有所收获，不仅对数据更了解，还提高了自己的能力...

2016-08-31 14:15:28

R语言Excel数据分析
大数据之父舍恩伯格：大数据的核心要义在于共享
大数据之父舍恩伯格说：“如果信息隔绝，就无法实现大数据带来的洞见，让你有更好的交易和交易决策。因此要分享、开放、透明。这是核心要义。这样才能实现成功。”“建立互信，协同合作，这样受益的是整个世界。”

2016-08-31 13:56:39

大数据电子商务共享
数据科学中最好的5个机器学习API
机器学习API隐藏了创建和部署机器学习模型的复杂性，让开发者能够专注于数据挖掘和用户体验。同时，将机器学习商业化成云服务也是当今的趋势，IBM、Microsoft、Google、Amazon以及BigML等公司都为业务分析师和开发人员提供了自己的机器学习即服务(MLaaS)，最近Khushbu Shah在KDnuggets上发表了一篇文章，介绍了这5个公司的机器学习API。

2016-08-31 07:30:03

数据科学机器学习API
我与分布式机器学习的故事
从毕业加入Google 开始做分布式机器学习，到后来转战腾讯广告业务，至今已经七年了。我想说说我见到的故事和我自己的实践经历，如果你关注大数据，听完我说的故事，应该会有感触。

2016-08-31 07:02:51

机器学习大数据互联网
机器学习应用实例|如何识别标题党?
相信你也遇到过这样的情况：怀着犹如探秘般万分期待的心情，点开一篇文章，结果却发现又一次中了“标题党”的诱饵，成功上钩,下面就讲讲如何准确的识别标题诱饵。

2016-08-31 06:55:45

机器学习标题诱饵
大数据热中的冷思考
时下，大数据热持续升温，大数据一词已成为各种公开场合中最为炙手可热的关键词。大数据热已成为一股汹涌澎湃的潮流，于是乎，各种大数据概念满天飞，人人都在谈论大数据，仿佛你的发言中没有提到大数据，你的成果中没有应用到大数据，那你就彻底OUT了。

2016-08-31 01:30:18

大数据市场大数据应用
Hadoop大数据系统的七大危险信号
大多数企业大数据应用案例尚处于实验和试点阶段，对于少数首次在生产环境部署Hadoop系统的用户来说，最常遇到的就是扩展问题，此类问题往往导致企业因噎废食，终止大数据应用项目。部署和扩展Hadoop系统是一件高度复杂的事情，如果用户能提前对Hadoop扩展可能会遇到的各种问题和危险信号有所了解，就能避免很多“救火”场面。

2016-08-30 14:40:39

Hadoop系统大数据应用
常用大数据术语一览表 译文
大数据有许多新术语，有时不好理解。因此，我们列出了一份大数据术语表，以便大家深入了解。

2016-08-30 11:48:10

大数据术语
大数据背后的神秘公式(下)：“贝叶斯革命”
贝叶斯公式在联邦党人文集作者公案和天蝎号核潜艇搜救中大显身手后(详见大数据背后的神秘公式(上)：贝叶斯公式)，开始引起学术界的注意和重视，而其上世纪八十年代在自然语言处理领域的成功，向我们展示了一条全新的问题解决路径。计算能力的不断提高和大数据的出现使它的威力日益显现，一场轰轰烈烈的“贝叶斯革命”正在发生。

2016-08-30 00:19:30

大数据贝叶斯
大数据背后的神秘公式(上)：贝叶斯公式
大数据、人工智能、海难搜救、生物医学、邮件过滤，这些看起来彼此不相关的领域之间有什么联系?答案是，它们都会用到同一个数学公式——贝叶斯公式。

2016-08-30 00:14:09

大数据贝叶斯
大数据入门的四个必备常识
大数据在IT行业的应用越来越广泛，今天我们就来谈谈大数据分析和数据分析工具以及大数据热门职业的区分。

2016-08-29 23:00:29

大数据数据分析
帮助企业开始采用大数据的7大工具
几乎每一个行业厂商都希望过渡到一个数据驱动的方法。不过，虽然许多企业擅长收集数据，但了解数据却是比较困难的,以下介绍的这七个工具可以提供帮助。

2016-08-29 22:34:24

大数据工具
Hadoop的过去、现在和未来
Hadoop是目前大数据分析领域中应用最广泛的一种分布式架构，而经过相当长时间的发展，Hadoop在功能上也越来越成熟。

2016-08-28 15:55:04

Hadoop大数据
群蚁算法理论与实践全攻略
最近有一个关于群蚁算法的任务，所以就好好把基础研究了一下，驱动式学习，目标明确，所以还是比较快去接受和理解，然后写代码实现就好了。今天就带领大家走近TSP问题以及群蚁算法。

2016-08-28 14:44:42

算法TSP生物智能
数据挖掘的常用方法、功能和一个聚类分析应用案例
在今天的博文中，笔者整理了数据挖掘的常用方法和数据挖掘的重要功能(出自MBA智库百科)，进而对数据挖掘有了进一步的认识，并尝试进行了第一次实际操作。

2016-08-28 12:31:22

数据挖掘数据分析
大数据项目实践：基于hadoop+spark+mongodb+mysql+c#开发医院临床知识库系统
针对医疗IT系统现状,思考拟利用医院现有的历史就诊记录、处方、诊断、病历数据，挖掘出有价值的基于统计学的医学规则、知识，并基于这些规则、知识信息构建专业的临床知识库，为一线医务人员提供专业的诊断、处方、用药推荐功能，基于强大的关联推荐能力，极大的提高医疗服务质量，减轻一线医疗人员的工作强度。

2016-08-24 17:35:27

hadoopspark中间件
从数据来源、数据生态、数据技术、数加平台等方面，漫谈阿里大数据
目前人人都在谈大数据，谈DT时代，但是，大数据是什么，每个人都有自己的一个看法，好比盲人摸象，每个都认为自己摸到是真正的大象。我也担心我所看到的，只是大数据的冰山一角，毕竟，将引领整个人类下一次变革的大数据，不是几篇文章就能说清楚的。

2016-08-24 17:22:58

数据来源数据生态数据技术
从Google的PaaS平台说起，解析中美Docker生态圈
容器技术其实本身并不是什么崭新的技术，大家经常拿容器技术跟虚拟化技术比较，有一个通俗的说法，容器是极度轻量的虚拟机。

2016-08-23 10:59:33

容器技术Docker
人人都需要知道 关于大数据最常见的10个问题
正在当前的互联网领域,大数据的应用已十分广泛,今天就让我们来谈谈与大数据息息相关的十个问题。

2016-08-23 01:03:17

大数据
数据湖的四个最佳实践 译文
对想要更充分地利用大数据的许多公司来说，数据湖是一种仍在不断完善的方法。了解数据湖的使用场合是个很好的起点。

2016-08-22 15:15:14

数据实践
让Spark如虎添翼的Zeppelin – 基础篇
Spark是一个非常好的计算平台，支持多种语言，同时基于内存的计算速度也非常快。对于刚接触的人来说，上手以及环境搭建还是有一些困难。

2016-08-22 11:06:43

SparkZeppelinpython modu
节能环保之大数据应用案例（桑德环卫云、阿里云蔚蓝地图、Vestas 风电大数据）
文章从桑德环卫云、阿里云蔚蓝地图、Vestas 风电大数据3个大数据应用案例中，以应用背景、数据源、图说场景、实现途径、应用效果5个视角去看待大数据在节能环保中的应用状况。

2016-08-21 16:33:59

节能环保大数据
你必备的39个大数据可视化工具
数据可视化无处不在，而且比以前任何时候都重要,无论是在行政演示中为数据点创建一个可视化进程，还是用可视化概念来细分客户，数据可视化都显得尤为重要,本文将推荐39个可用于处理大数据的可视化工具(排名不分先后)。

2016-08-21 15:38:31

大数据可视化工具
新型数据准备工具来袭 你还在使用传统数据仓库架构吗?
随着企业员工越来越精通于使用分析工具，他们当中越来越多的人发现，传统的数据仓库架构阻碍了他们分析某些重要数据的能力,而新兴的自助型数据准备工具可以帮助业务分析师、数据科学家和其他最终用户绕过数据仓库，完成数据集成和制备过程的关键部分。

2016-08-21 14:45:41

数据仓库自助型数据准备工具
解密IFTTT的数据架构
随着信息技术的发展，人们在日常生活和工作中都不可避免的要用到邮箱、聊天工具、云存储等网络服务。然而，这些服务很多时候都是单独运行的，不能很好的实现资源共享。针对该问题，IFTTT提出了“让互联网为你服务”的概念，利用各网站和应用的开放API，实现了不同服务间的信息关联。

2016-08-21 14:33:28

IFTTT数据架构
大数据同步工具DataX与Sqoop之比较
DataX与Sqoop同样是大数据异构环境数据同步工具，二者有什么差别呢?下面我们就对两者进行更深入的了解。

2016-08-21 14:19:05

数据工具DataXSqoop
WOT2016 郭炜：如何巧用数据在移动创业的红海中突围 原创
WOT2016移动互联网技术峰会即将于2016年8月26-27日在北京粤财JW万豪酒店隆重召开。51CTO记者对即将参加大会演讲的易观智库CTO 郭炜进行了专访进行了专访，让我们先睹为快，探听一下他是如何巧用数据在移动创业的红海中突围的。

2016-08-19 10:02:57

数据移动
Spark入门：实现WordCount的3种方式
当我们学习一门新的语言，HelloWorld通常是我们写的第一个程序。而WordCount基本上是我们学习MapReduce思想与编程的第一个程序，无论是Hadoop的MR或者是Spark的RDD操作学习。

2016-08-19 08:50:12

SparkWordCountreduceByKey
数字化、大数据以及人工智能如何引领医学变革
大数据很快就进入应用领域，很多公司都在拥抱它带来的数字或信息变革。在数学、物理、生物以及工程等领域，大数据扮演的角色愈发重要。在我们日常生活中，也会产生大量的数据，例如通过手机、智能手环以及其他可穿戴设备，每天都会产生大量的数据。通过对这些数据的分析，未来我们可预测健康或疾病，它将在医疗领域发挥重要作用。

2016-08-18 22:14:25

数字化大数据人工智能
宁家骏：新形势下推进大数据应用的若干思考
当今时代，人类社会步入了一个科技创新不断涌现的重要时期，新科技革命及其带来的科学技术的重大发现发明和广泛应用，推动世界范围内生产力、生产方式、生活方式和经济社会发展观发生了前所未有的深刻变革，进入21世纪，世界新科技革命发展的势头更加迅猛，正孕育着新的重大突破。

2016-08-18 16:28:00

大数据应用大数据
企业应用大数据探索发展新路径
8月6日，第四届中国数据分析行业峰会在北京中国国际展览中心举行。此次峰会以“大数据用起来”为主题，旨在探讨如何更好地应用大数据造福人类。

2016-08-18 16:24:46

大数据大数据时代
什么是数据科学?如何把数据变成产品?
据哈尔•瓦里安(Hal Varian)说，统计学家是下一个性感的工作。五年前，在《什么是Web 2.0》里蒂姆•奥莱利(Tim O’Reilly)说“数据是下一个Intel Inside”。但是这句话到底是什么意思?为什么我们突然间开始关注统计学和数据?在这篇文章里，我会检视数据科学的各个方面，技术、企业和独特技能集合。

2016-08-18 01:45:05

数据科学数据产品
基于用户的协同过滤是怎么推荐电影的？
我们平时在浏览电商、视频等网站时，网页一般会有一个“猜你喜欢”，也就是”智能推荐系统“，虽然一般来说推荐的不是很准确，但是程Sir还是研究了一下这个玩意是怎么弄出来的……今天说一说最简单的一个实现方法，叫做基于用户的协同过滤。

2016-08-18 01:36:14

协同过滤推荐电影用户
数据挖掘的入门概念
本文将对数据挖掘以及相关知识做一个基本的介绍。

2016-08-18 01:26:22

数据挖掘
用Python端对端数据分析识别机器人“僵尸粉”
在本文中，我想要讨论一个互联网现象：机器人，特别是Twitter机器人。

2016-08-18 01:04:24

Python数据分析
用Python挖掘Twitter数据：数据采集
这是7部系列中的第1部分，注重挖掘Twitter数据以用于各种案例。这是第一篇文章，专注于数据采集，起到奠定基础的作用。

2016-08-18 00:35:39

Pythonwitte数据采集
一文看懂网络爬虫
从基础理论入手，详细讲解了爬虫内容，分为六个部分：我们的目的是什么;内容从何而来;了解网络请求;一些常见的限制方式;尝试解决问题的思路;效率问题的取舍。

2016-08-18 00:21:12

网络爬虫抓取网络
网络爬虫基本原理(二)
网络爬虫基本原理(二) 网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇文章主要对爬虫以及抓取系统进行一个简单的概述。

2016-08-18 00:04:09

网络爬虫抓取系统服务器
网络爬虫基本原理（一）
网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇文章主要对爬虫以及抓取系统进行一个简单的概述。

2016-08-17 23:53:29

网络爬虫抓取系统
大数据工具，在数据科学家眼中是怎样的存在？
随着大数据工具数量的增长和计算能力的飞跃，数据科学家越来越多地发现，如果他们想从自己的模型中获得最佳性能，那就必须考虑所使用的数据管道。数据科学工具的功能通常围绕着预测建模，机器学习和数据可视化。但这些工具还应该包括后端数据管道技术，因为这有助于加快分析的速度。

2016-08-17 09:50:27

大数据数据科学家
2016年上半年最酷的十家大数据初创公司 译文
大数据依然是IT行业最具有活力的领域之一，初创公司似乎每星期都在冒出来，提供新技术，用于收集、管理和分析大量的结构化数据和非结构化数据。

2016-08-16 10:52:45

2016大数据
上一页 1 ··· 136137138139140 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服