51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8802内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8802 条
大数据和BI商业智能有何区别？有何相关？
大数据 ≠BI商业智能，大数据也不是传统商业智能的简单升级。当然纯粹从思想的角度讲，两者在概念上是可以实现统一的，都遵循数据-信息-知识-智慧这个脉络，甚至在更高的层次，两者也是可以统一的。

2018-02-09 07:47:47

大数据BI商业智能
一个Spark缓存的使用示例
之前一直不是非常理解Spark的缓存应该如何使用. 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果。关于Cache的一些理论介绍, 网上已经很多了. 但是貌似也没有一个简单的例子说明。

2018-02-08 18:00:49

Spark文件测试
大数据架构师从入门到精通 学习必看宝典
经常有初学者在博客和QQ问我，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高。如果自己很迷茫，为了这些原因想往大数据方向发展，也可以，那么我就想问一下，你的专业是什么，对于计算机/软件，你的兴趣是什么?

2018-02-08 17:27:23

大数据HadoopGoogle
未来三到五年，云计算将成企业大数据业务发展核心推动因素
尽管已经有了大量的成功案例，但真正实施一项大数据项目并不是一件易事。事实上，其提出了许多挑战，其中任何一项挑战都可能使项目在开始之前就脱轨。在其大数据和分析调查报告中，IDG确定了如下这5大挑战

2018-02-08 11:10:08

云计算大数据安全
用Pandas处理大数据——节省90%内存消耗的小贴士
一般来说，用pandas处理小于100兆的数据，性能不是问题。当用pandas来处理100兆至几个G的数据时，将会比较耗时，同时会导致程序因内存不足而运行失败。本文我们讨论pandas的内存使用，展示怎样简单地为数据列选择合适的数据类型，就能够减少dataframe近90%的内存占用。

2018-02-08 09:37:27

Pandas大数据Spark
【揭秘】中国四大银行的大数据应用已到什么阶段
对于大数据给企业带来的价值，已经毋庸置疑。在国内，银行业应该是IT建设更为领先的行业之一。特别中、农、工、建四大银行，更是走在整个银行业的前面。那么，他们对于大数据是如何看待的?在这四大银行，大数据的应用又走到了什么阶段呢?

2018-02-08 09:20:06

银行大数据建设银行
大数据产业“黄金期”面临四道坎
业内预期，我国大数据产业正在从起步阶段步入黄金期，2020年中国有望成世界第一数据资源大国，但数据开放度低、技术薄弱、人才缺失、行业应用不深入等难题亟待解决。

2018-02-07 08:58:01

大数据产业工信部底层技术
2018全球大数据产业将呈七大发展趋势
大数据将对人类生活产生深远影响，大数据是未来科技浪潮发展不容忽视的巨大推动力量，2018年全球大数据产业将得到强劲发展。

2018-02-07 07:57:45

大数据数据分析产业应用
云计算、人工智能和新硬件赋予大数据分析的未来
如今，大数据已经成为人们很熟悉的一个术语，但是2018年将采用的策略将完全打破大数据的发展现状。这种新技术属于大数据分析范畴，而这也是人们在从数字时代开始以来收集数据量进行互动的原因。只要索引这些信息，就会颠覆过去10年计算机的发展。但是云计算的进步使得庞大的计算机网络能够协同工作，压缩数据，并提供可操作的智能。

2018-02-06 10:00:14

数据分析云计算人工智能
干货分享：数据分析的六大黄金法则
为什么你的数据分析成果总是难以落地?数据分析的价值总是远远低于预期?相信看完这篇文章，每个人都能找到一个属于自己的答案。本人先后在电力、军工、金融等行业担任数据分析师，有多年行业经验。从平时的工作中总结出以下六个数据分析时要注意的原则，希望能对大家有所帮助。

2018-02-06 09:25:35

数据分析分析方法分析工具
从大数据的角度看：年货变迁、消费升级和财富效应
打开电视，商家的年货促销层出不穷;走出家门，各地的年货大集精彩纷呈。而在老百姓办年货的背后，活生生展现了一幅居民消费升级趋势图。再往细了挖掘，你会发现，这一轮消费升级的背后，反映的是改善需求对消费的拉动，以及房价上涨带来的财富效应。

2018-02-06 08:29:13

大数据年货春节
玩转大数据可视化的几个必会工具
俗话说的好，逆水行舟，不进则退，在快速发展的今天，紧跟时代的步伐，抓住时代的脉搏，才能助力企业激流勇进，抢占先机。作为助力企业经营决策的大数据可视化应用，对于的企业发展起着至关重要的作用。

2018-02-04 22:22:46

大数据开发工具
自建Hadoop集群迁移到EMR之数据迁移篇
自建集群要迁移到EMR集群，往往需要迁移已有数据。本文主要介绍hdfs数据和hive meta数据如何迁移。需要自建集群和EMR各个节点网络互通。同为VPC网络只需要同一个安全组，不同的安全组需要设置安全组互通。

2018-02-02 16:15:02

Hadoop数据迁移集群
科普帖：五分钟快速了解大数据及其必备技能
当前，整个互联网正在从IT时代向DT时代演进，大数据技术也正在助力企业和公众敲开DT世界大门。虽然大数据潮流在默默的推进各种变革，但您真的了解大数据么?

2018-02-02 16:08:32

互联网大数据数据分析
Apache Spark中的决策树
Apache Spark中没有决策树的实现可能听起来很奇怪。然而从技术上来说是有的。在Apache Spark中，您可以找到一个随机森林算法的实现，该算法实现可以由用户指定树的数量。因此，Apache Spark使用一棵树来调用随机森林。

2018-02-02 15:50:07

决策树Apache Spar数据
大数据预测，是玄学还是科学?
如今，我们每个人都在谈论“数据科学”，哈佛商业评论杂志甚至将数据科学家定义为“21世纪最性感的职业”。在这个大数据时代，究竟什么是数据科学?数据科学家又究竟是怎样的一群人?

2018-02-01 16:25:55

数据科学沈志勇大数据
云时代背景下，数据中心的位置仍然为王
数据中心的地点在每个公司的决策过程中都起着至关重要的作用。企业从选择在哪里投资，在哪里建设，以及员工来自哪里，以及越来越多地在哪里以及如何管理数据。

2018-02-01 15:19:12

云时代数据中心运营商
Tech Neo技术沙龙第18期专题回顾 ——智能化运维发展趋势（含视频、PPT）

2018-02-01 09:50:53

TechNeo
身为数据科学家，你必须要掌握这四大技能！
想成为一名高级数据科学家除了拥有卓越的专业技能，你还需要其它技能来拉近和业务经理的距离。这看起来简单，但随着每年新技术的不断累积，技术和业务之间的距离会继续增大。因此，我们发现管理者和数据科学家有清晰的合作方向是非常重要的。

2018-01-31 22:30:05

数据科学家数据专家工程师
基于Hadoop生态SparkStreaming的大数据实时流处理平台的搭建
本人准备开始着手改造原系统中的数据处理方式，重新搭建一个实时流处理平台，主要是基于hadoop生态，利用Kafka作为中转，SparkStreaming框架实时获取数据并清洗，将结果多维度的存储进HBase数据库。

2018-01-31 21:26:48

HadoopSparkStream大数据
想做数据分析师，上大学和在线自学哪个更好？
互联网连接你我，改变生活。身处互联网时代，学习资料获取更加容易，学习方式也更加丰富。是要继续上大学获取知识和技能还是在家自学在线课程?本文将阐述两者各自的优缺点，并帮你作出决策。

2018-01-31 15:00:01

数据分析学习数据科学家
科技巨头都爱的Data Pipeline，如何自动化你的数据工作？
对于做数据分析或者需要建模的人来说，面对庞杂的大数据，最棘手的难题往往就是多线程工作了。面对这种情况，你其实可以尝试搭建一套Data Pipeline系统。Data Pipeline，中文译为数据工作流，就是一套让你的工作数据化、流程化、自动化的系统方法。

2018-01-31 14:39:45

Data Pipeli数据分析数据工作
拓扑数据分析TDA，有望打破人工智能黑箱的神奇算法
本文介绍了拓扑数据分析(TDA)的基本原理，给出了案例展示，并指出该方法可以高效地进行可视化分析，有望为人工智能黑箱提供可解释性。近日，中科大潘建伟团队在光量子处理器上成功运行了 TDA 方法，量子版本的 TDA 能够实现对经典最优 TDA 算法的指数级加速。

2018-01-30 10:56:07

数据分析TDA拓扑模型
数据分析会带来意想不到的好处
数据分析可以带来令人惊讶的洞察力，从而会为新项目或产品产生意想不到的创意，正如以下这六个真实案例所展示的那样。成功的IT项目需要明确的目标，数据分析也是如此。在进行数据分析时，数据团队希望发现关于客户的有用信息，支持项目决策，提高生产率以及其他一系列目的。

2018-01-30 10:47:50

数据分析医疗保险数据科学
大数据战略屡败谜团，谁才是罪魁祸首？
相信很多人都有这样一个疑问"为什么别人家的大数据战略都成功了，就我家失败了呢?"为了解答大家的疑问，我们和来自21家公司的22位高管进行了交谈，通过他们帮助客户管理优化数据、提升业务价值的经验，来告诉大家为什么你的大数据战略失败了。

2018-01-29 23:13:47

大数据战略云数据分析
小公司收集大数据的5种创新方式
在尝试应对收集和分析大数据的挑战时，小型企业可能会觉得自己陷入了困境。不过，即使财富500强的IT预算比小企业过去的十年的收入还要多，小企业也不会被这些大公司远远地甩在后面。

2018-01-29 11:22:05

大数据SaaS数据
2018年，数据分析师该如何做好自己的职业规划？
数据分析作为最近火热的细分行业，越来越受到大家的关注。但最近和一些数据分析师沟通时，大家都对自己的未来发展感到有些困惑。除了一路从初级数据分析师做到高级，最终走向团队管理外，未来数据分析师还有哪些职业成长空间，又需要提前做哪些方面的准备呢?笔者结合自己的工作经验给出一些看法。

2018-01-28 15:40:20

数据分析师职业规划数据分析
你需要了解的37个现代数据中心术语
在今天的IT行业佼佼者中，“现代数据中心”这个概念得到了越来越多的重视。当然，它受到如此多的关注也是理所应当的。云计算，闪存存储，软件网络，容器以及大量的编排和自动化工具相结合形成现代数据中心的基础，这已经成为了数字时代企业的发展需求。

2018-01-28 15:06:25

数据中心云存储服务
大数据解析春节出游哪家APP订房更靠谱
2018年春节将至，相信你正和我一样写下新一年的旅行愿望清单。在一场旅行中，首要考虑的不仅仅是做好攻略备足银子，还要准确选择一个靠谱的平台预订酒店，以免损失钱财影响心情。为帮助大家提升假日旅游品质，针对酒店预订服务功能，荆楚网大数据舆情系统对携程、美团、艺龙、去哪儿、同城、途牛六大平台美誉度进行了监测分析。

2018-01-25 16:00:31

大数据监测分析酒店
EMC：人人都在谈论人工智能，难道大数据已死？
“大数据已死。”大数据过时了。”“我们不再需要大数据，我们现在需要机器学习。”… …这是我在2017年时常听到的话语，大数据已死?我并不认同。

2018-01-25 15:22:09

人工智能大数据机器学习
55个实用的大数据可视化分析工具！
为了进一步让大家了解如何选择适合的数据可视化产品，本文将围绕这一话题展开，希望能对正在选型中的企业有所帮助。下面就来看看全球备受欢迎的的可视化工具都有哪些吧!

2018-01-25 14:34:18

大数据可视化工具
为什么数据科学家需要掌握「迁移学习」？
这篇文章中，你将了解到什么是迁移学习?它的应用有哪些?以及为什么它应该是数据科学家所需拥有的关键技能?实际上，迁移学习并不是机器学习模型，也不是机器学习领域内的相关技术，它是机器学习中的一种“设计方法论”。而另一种类型的“设计方法论”就是像主动学习(active learning)这样的。

2018-01-25 14:19:32

深度学习数据科学迁移学习
平安科技与SparkLabs联合发布全球金融科技加速器

2018-01-24 17:38:26

微信
大数据其实没那么有用，但是炒作它的人确实是都赚钱了
都是未来是大数据时代，数据是新的石油，但是彭博的一篇文章却对此提出质疑。文章研究了零售商的营业利润之后提出，并无迹象表明大数据能带来优势。虽然未来在有用信息收集充分的情况下存在可能，但在目前的情况下，使用蛇油并不能给你带来竞争优势。它只会让卖蛇油的人富得流油。

2018-01-24 17:07:22

大数据炒作麦肯锡
用数据目录解决数据蔓延的问题
企业的安全分析团队需要自己的生产数据库的副本，以便他们可以查找出欺诈性帐户。企业的应付帐款部门需要一个可以分析的提取物来提高供应链效率。企业的销售经理需要其所有客户记录。而企业的数据库管理员正在使用两个快照和两个完整备份来确保所有数据都是安全的。

2018-01-24 16:32:01

数据目录数据蔓延企业
进击的大数据 盘点2017涅槃重生的市场
2017年可谓是大数据行业艰难的一年，监管者对于数据乱象开始进行整治行动，从去年5月份到现在，已经有几十家数据公司被调查，上网的数据接口被关停，裁员也成为了业内的常态，一时间整个行业风声鹤唳。

2018-01-24 15:59:02

大数据数据为王互联网
数据信仰兴起，谁才是这个世界上最适合我的人！
影视剧里的经典场景是：主角坐在教堂里，双手合十，因不知如何取舍而烦恼：上帝啊上帝，请告诉我，我应该和谁在一起。也许再过几十年，事情会变得容易很多：人们坐在电脑前(如果那时还有电脑的话)，双手合十，默念：数据啊数据，请告诉我，哪个人更适合我，我应该和谁结婚?

2018-01-24 15:27:35

数据信仰数据宗教
Facebook如何运用机器学习进行十亿级用户数据处理
2017年末，Facebook应用机器学习组发布最新论文，对整个Facebook的机器学习软硬件架构进行了介绍。纵览全文，我们也可以从中对Facebook各产品的机器学习策略一窥究竟。论文中涉及到机器学习在全球规模(上亿级数据处理)上的全新挑战，并给出了Facebook的应对策略和解决思路，对相关行业和研究极其有意义。

2018-01-24 11:49:34

Facebook机器学习数据处理
保护个人数据的4个数据安全的最佳实践
互联网的应用已经导致了不使用端点保护平台的人员的个人隐私损失。这使得互联网用户容易受到黑客的攻击，他们企图渗透和盗取用户的个人信息。但是，采用安全技术也可以防止网络攻击。

2018-01-24 11:46:57

数据安全攻击互联网
大数据冲击供应链系统的4种方式
大数据是人们无法避免的流行术语，并且有着充分的理由：它正在改变许多企业的运营方式，并将一直持续，尤其是在供应链领域。

2018-01-24 10:19:08

大数据供应链系统
足球比赛中的实时数据是如何统计出来的？人工 or 人工智能？
对足球有稍微有一点了解的人，应该对赛事转播过程中出现的统计数据并不陌生。那么，你有没有想过，足球比赛中的实时数据是怎么统计出来的?

2018-01-23 11:08:15

球迷数据统计足球
Hadoop 3.0: YARN Resource自定义资源配置说明
yarn支持可扩展资源类型 所有节点、应用程序、队列，默认情况下Yarn使用 CPU和内存。资源定义可以扩展为任意的“countable”资源。一个countable 资源，container运行的时候，将会被暂用，完毕后将会释放。

2018-01-23 11:00:10

Hadoop3.0Yarn资源
用Python研究了三千套房子，告诉你究竟是什么抬高了房价？
关于房价，一直都是全民热议的话题，毕竟不少人终其一生都在为之奋斗。房地产的泡沫究竟有多大不得而知？今天我们抛开泡沫，回归房屋最本质的内容，来分析一下房价的影响因素究竟是什么？

2018-01-23 08:46:19

Python数据分析
大数据处理为何选择Spark，而不是Hadoop
Spark是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。

2018-01-22 08:33:28

SparkHadoop计算
大数据和云计算之间那点儿非同一般的关系
在这篇文章中，将重点介绍如何使用大数据和云计算来管理政府机构和商业机构日常生成的大量数据。

2018-01-22 06:54:10

大数据云计算互联网
如何为业务收集数据并将其转化为价值
大数据收集和分析对于2018年业务成功至关重要。这些步骤将解锁企业的数据并提供见解。数据的时代已经来临，企业在管理业务时将数据考虑在内，这一点比以往任何时候都重要。

2018-01-20 16:34:45

数据数据分析数据采集
斐讯与思科签署合作备忘录，共创数据时代商业蓝海 原创
斐讯创始人顾国平表示，此次跟思科合作，主要是从两个核心方面来展开：一是基础网络，希望思科的服务器、交换机这些大型骨干产品可以给斐讯提供比较安全可靠的解决方案。二是云计算的安全。斐讯希望思科可以帮助其在云计算安全方面构建一个好的体系。

2018-01-20 10:35:57

斐讯思科数据
态牛-Tech Neo 12月刊：人工智能的应用场景 原创
容器集群管理系统与容器云平台的选择非常重要，因为容器管理系统是否先进智能、容器云管理平台是否灵活易用且高效，直接影响企业开发运维的效率与速度、资源利用率的高低。在这个竞争激烈，风云突变的时代，应用的开发效率、稳定性、扩展性和安全性，决定了企业的竞争力与市值。

2018-01-19 12:57:06

人工智能态牛电子杂志
大数据告诉你，中国人债务负担有多重
时至今日，人们对家庭负债早已不再陌生，从贷款买房买车，到贷款上学与日常消费，尤其是随着近年来P2P、现金贷业务的普及，债务似乎已经渗透到我们生活的方方面面。

2018-01-18 22:12:14

大数据债务负债
企业如何实现对大数据的处理与分析？
随着两化深度融合的持续推进，全面实现业务管理和生产过程的数字化、自动化和智能化是企业持续保持市场竞争力的关键。在这一过程中数据必将成为企业的核心资产，对数据的处理、分析和运用将极大的增强企业的核心竞争力。

2018-01-18 22:09:06

数据分析数据处理企业
上一页 1 ··· 9899100101102 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服