51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9047内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9047 条
数据是“新时代的石油”：一个误读?
自从《经济学人》将数据类比为21世纪的石油以来，数据的重要性已家喻户晓。但是，这一比喻令人误解，因为它不但容易让人联想到洛克菲勒的标准石油公司或美孚石油公司，还会误认为现在的数据就像一百年前的石油那样，成为市场上奇货可居、盈利丰厚的商品。然而，正规的数据交易市场根本没有形成，更不用说在数据市场里呼风唤雨的数据大鳄了。

2017-12-26 15:38:02

新时代的石油大数据数据
数据将主导一切？研究发现53%的公司正在使用大数据分析
本文主要结论与资料来自于研究公司Dresner Advisory Services最新的大数据研究报告“2017 Big Data Analytics Market Study”，这是该公司Crowds®系列研究中的一部分。本系列报告连续第三年考察与分析了大数据分析最终用户的使用趋势与使用意图，并将大数据分析定义为最终用户能够访问、分析和管理Hadoop生态体系中数据的一套系统。

2017-12-26 14:16:32

大数据数据分析Hadoop
IDC公司对数据中心发展的10大预测
数据中心的生命周期通常以数十年的时间来衡量的，但其技术和产品却在不断变化。"如今的数据中心实际上与其内部设施的发展并不不匹配，因为电源，散热和空间需求等都已经全部发生变化。"调研机构IDC公司数据中心趋势与策略小组研究总监Jennifer Cooke表示。

2017-12-26 11:45:36

数据中心IDCIT基础设施
聊一聊大数据的问题和缺陷
多亏了大数据和云计算，可以让企业使用超级计算机的力量。而人们面临的问题是用来分析和应用大数据的工具通常有一个致命的缺陷。人们进行的大部分数据分析都是基于错误的模型，这意味着错误是不可避免的。当人们夸大的期望超过其能力时，后果可能是可怕的。

2017-12-26 10:19:14

大数据问题缺陷
大数据对移动应用程序开发有哪些影响？
如果要说“一个成功的移动应用程序开发的关键因素是什么?”那么，大数据和数据分析的贡献不可磨灭。下面，我们就来看看大数据对移动应用程序开发有哪些影响？

2017-12-26 00:46:09

大数据移动应用程序开发
利用大数据和预测分析优化供应链
如今，业界人士都在谈论大数据，但这究竟意味着什么呢?大数据被定义为极其庞大的数据集，无论是结构化的还是非结构化的数据，都要进行分析以揭示模式、趋势和关联，特别是关于人类行为和相互作用。

2017-12-25 14:19:31

大数据预测分析供应链
2018年技术预测：五大危机还是五大机遇？
预测就像是公共巴士，要么没人来，要么就好几个人一起来。不仅如此，它们比你想的要来的慢，而且只是把你带到了路边。它们还非常热闹，充满了你早上通勤时不想听见的种种喋喋不休的声音。他们有时候很冷，在座位的角落里还可能有别人没吃完而留下来的快餐。

2017-12-25 10:34:18

技术预测机遇
没有大数据，商业智能能够回答正确问题吗？
“商业智能”和“大数据”指的是完全独立的过程，它们各自实现各自的功能，尽管在同一个整体领域。

2017-12-22 11:29:15

大数据AI智能
编译Hadoop2.9源码并搭建环境
因为以前安装hadoop编译版的时候遇到过问题，时间比较久了，具体问题有些描述不清了，建议大家下载源码自己编译安装，如果遇到bug自己直接可以修改安装。本文的实验系统是mac，但是其他环境类似。

2017-12-22 10:51:04

Hadoop编译环境
如何做到单机毫秒完成上亿规模大数据常规统计
虽然现在最火的是AI，但是大数据和计算能力仍然是机器学习/AI算法的重要支撑，我们的业务场景大部分是通过手机终端、服务器日志不断产生日志数据，为此，我们的关键任务是需要从海量数据里统计分析每项产品的去重用户、新增用户、pv、uv、dau(日活)、mau(月活)等指标，这个过程存储占用越少，计算时间越快越好。

2017-12-22 10:34:02

大数据AI存储
【专题】挨踢部落技术门诊第十二期：千万级Web请求如何分发 原创

2017-12-21 13:17:34

技术坐诊
从源码看Spark读取Hive表数据小文件和分块的问题
本文涉及源码基于Spark2.0.0和Hadoop2.6.0，不同版本代码可能不一致，需自己对应。此外针对TextInputFormat格式的Hive表，其他格式的比如Parquet有Spark自己的高效实现，不在讨论范围之内

2017-12-21 11:19:40

SparkHive表HadoopRDD
2018年大数据趋势 ：人工智能... 数据分析将包含可视化模型...
人脑能高效地处理视觉图像。在这个过程中，大脑使用了潜意识，让决策者可以通过迅速扫描图像来处理信息。可视化图表利用了大脑的图像识别能力，出色的可视化模型将成为处理庞大数据集的更好选择，也是2018年重要的大数据趋势之一。

2017-12-21 11:08:18

大数据人工智能云计算
物联网中的大数据架构、应用案例以及带来的好处
物联网(IoT)是目前大数据市场的最新趋势，在未来十年内，估计会出现约两百五十亿个网络连接设备，这是一个很庞大的连接，因此，影响物联网最大的因素之一就是数据：数据量、数据的管理和使用。

2017-12-21 05:36:05

物联网大数据IoT
企业如何避免大数据分析项目失败
遵循本文中所介绍的关于大数据分析的这六大最佳实践策略，将帮助您企业更好的击败竞争对手，创造新的收入来源，并更好地为客户服务。

2017-12-20 15:25:51

数据分析大数据企业
大数据查询——HBase 读写设计与实践
原实现基于Oracle提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流程，从系统结构上来说，放在业务链条上游比较重。本项目将其置于下游数据处理Hadoop分布式平台来实现此需求。下面列一些具体的需求指标：

2017-12-20 15:10:09

HBaseHadoop数据
2018年大数据的五个发展趋势
随着2018年的临近，各种规模的组织将会探索数据驱动业务决策以及如何改善盈利的多种方式。以下是需要了解的五个大数据趋势。

2017-12-19 22:20:58

大数据数据数字化
大数据和AI怎么与现代教育相结合？
目前，大数据+AI正在赋能各行各业，教育也不例外，人脸识别、语音识别等智能技术开始用于语文、英语、音乐等学科，为教育提供更加智能化、个性化的解决方案。

2017-12-19 15:01:53

AI大数据现代教育
过往60年，我们的地球人口究竟在如何变化
我们平时观察世界的时候 ，都是通过我们的视觉直观感受。但是很多时候，这个世界大得超乎我们想象。大数据除了能够解决很多生活中的问题外，它还是一种天然的、观察世界的方式和视角。当数据侠Chuan Sun用联合国开发计划署的全球人口数据作了一番分析后，他发现数据和可视化为他描绘了一幅观察世界的新景象。

2017-12-19 10:57:24

地球人口数据分析可视化
技术这么解读 让你看完妙懂
假设你是个妹子，你有一位男朋友，于此同时你和另外一位男生暧昧不清，比朋友好，又不是恋人。你随时可以甩了现任男友，另外一位马上就能补上。这是 冷备份 。

2017-12-19 10:10:47

妹子备份云计算
预防自杀，大数据也在致力于挽救生命
12月10日，深圳中兴网信科技有限公司研发组主管欧某在中兴大楼坠亡，经初步勘察判定排除他杀。自杀作为日益严重的公众健康问题，越来越引起人们的关注，除了惋惜之外，我们也应该思考如何科学预测、预防自杀。

2017-12-18 13:26:25

大数据数据分析预防自杀
关于大数据在电子商务中应用的4点认识
在当今快节奏的世界里，发展商业帝国是一项艰巨的任务。但是，如果一个创业者在为自己和公司创造更大的声誉时，他们应该得到他们所能得到的一切帮助。因此，当涉及到帮助，最先进的技术总是最好的赌注，以帮助你开辟一条成功的道路为你和你的企业，特别是一件事，它可以帮助你做到这一点，是大数据。但是什么是大数据呢?

2017-12-18 11:24:58

大数据电子商务企业
数据科学家也可能被人工智能取代
由于人工智能取代人类活动的争论越来越激烈，数据科学家开始体验人工智能辅助自动化的好处和风险。人们开始对人工智能被用来自动化一切事物的前景感到不安。现在人工智能已经证明了它有能力替代一些蓝领工作(通过机器人等)和白领职业(通过自然语言生成等)，围绕这种技术的文化敏感度正在上升。

2017-12-18 10:50:14

数据科学家人工智能自动化
态牛-Tech Neo 11月刊：容器平台管理实践 原创
容器集群管理系统与容器云平台的选择非常重要，因为容器管理系统是否先进智能、容器云管理平台是否灵活易用且高效，直接影响企业开发运维的效率与速度、资源利用率的高低。在这个竞争激烈，风云突变的时代，应用的开发效率、稳定性、扩展性和安全性，决定了企业的竞争力与市值。

2017-12-18 02:39:53

容器态牛电子杂志
Apache Hadoop 3.0.0 GA版正式发布，可以部署到线上
日前Apache Hadoop 3.0.0 GA 版本正式发布，这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本，有很多重大的改进，比如支持 EC、支持多于2个的NameNodes、Intra-datanode均衡器等等。下面是关于 Apache Hadoop 3.0.0 GA 的正式介绍。

2017-12-17 16:49:44

Apache HadoYarnHadoop
大咖说：2017年，我眼里的大数据领域惊喜
新年将至，对于2017年大数据领域的进展和变化，各位IT大佬们分享了一些他们眼中的惊喜事件。下面，我们一起来看。

2017-12-15 15:52:40

大数据数据IT
除了数据还是数据？2018年5大 AI （人工智能）预测
人工智能 (AI) 在 2017 年已成为多数人日常生活的一部份，不论是在工作场所或是居家生活，而随着新的一年将至，《福布斯》杂志也对 AI 进入 2018 年的成长与发展进行预测。

2017-12-15 14:42:56

数据人工智能AI
TalkingData 崔晓波：数据安全是智慧城市建设的重中之重 原创
ID对政府治理是非常重要的。智慧城市的建设中，数据安全毫无疑问是最重要的应用。

2017-12-14 21:12:58

TalkingDataID治理大数据
学会网络推广数据分析，你将省下一大笔推广费用！
本文通过好好分析竞价数据，若用数据来指导投放优化，那么你的推广效果一定会大大提高，相信你能给公司省下一大笔投放金额，或者能给公司带来更好的转化率，那升职加薪不是妥妥的!今天就一起来探索在数据工具BDP个人版中如何玩转SEM数据分析?(主要以教育培训行业为例)

2017-12-14 14:12:31

网络推广数据分析百度单价
大数据还是“大忽悠”？ 解决问题、贴近业务才能“接地气”
大数据已在各行各业得到了普遍重视，有CIO更表示，如果跟同行交流，不讲大数据都不好意思跟人家打招呼，然而在业务中却发现，上了大数据的“数据驾驶舱”，除了老板看到了更酷炫的报表外，对业务并没有太大的帮助。

2017-12-14 11:23:06

大数据CIO数据
大数据之路依然还很长，看你怎么走
作为大数据领域的从业者，或许对于偏技术类的，诸如大数据开发工程师、数据分析师，俞或者是数据挖掘工程师等岗位已经很熟悉了，但在此之前甚少人会关注偏业务的，比如数据产品经理，大数据售前工程师等这种岗位。

2017-12-14 11:07:34

大数据互联网分析
开发者大赛路演 | 12月16日，技术创新，北京不见不散

2017-12-14 10:28:37

开发者大赛／路演／Te
Hadoop将死，图数据库成为新趋势？看数据库业内大佬如何回顾2017展望2018
科技行业向来是以技术发展速度快著称，时值岁末，我们和多位数据库领域的业内大佬进行了深度交流，分享了他们眼中2017年的小惊喜和2018年的大展望。

2017-12-13 14:20:36

数据库Hadoop数据库新趋势
大图数据科学： 图数据中的推理
本文中，加州大学圣克鲁兹分校计算机科学系教授、美国人工智能学会(AAAI)院士Lise Getoor讲述了图识别是如何依靠数据做出推理的，并给出了自己对于概率软性逻辑PSL优越性和可能应用的看法。Lise Getoor表示我们还需要对图进行更多的机器学习，考虑各种关联结点之间的复杂关系。

2017-12-13 10:08:26

大数据图数据推理数据科学
App数据分析到底要分析什么
按大众化的分法，产品的生命周期(PLC, Product Lifetime Cycle)分为初创期、成长期、成熟期、衰退期，在产品的每个阶段，数据分析的工作权重和分析重点有所区别，下面按阶段结合案例来聊聊。

2017-12-13 10:04:05

数据分析移动端APP
如何提高Spark姿势水平
本文的依据是我学习整个Spark的学习历程。在这里，我会从几个方面来跟大家一起讨论。Spark 是什么？Spark 跟 Hadoop 有什么渊源？Spark 有哪些方便的组件？什么场景下用 Spark ，如何使用？以及用什么样的姿势来学习 Spark 会比较好？

2017-12-12 16:43:54

SparkHadoop水平
2017中关村大数据日 解读“数字中国”
12月12日，2017中关村大数据日暨“推动互联网、大数据、人工智能和实体经济深度融合”大会在北京召开，从数字安全、数字治理、数字经济三大要素内涵和联系出发，系统阐释“数字中国”的背景、意义和总体实施原则，提出要建设自主可控的下一代大数据基础设施——数联网。

2017-12-12 13:59:58

大数据人工智能TalkingData
2017中关村大数据日活动在京举行
12月12日，2017中关村大数据日活动暨推动互联网、大数据、人工智能和实体经济深度融合大会在北京中关村国家自主创新示范区会议中心举行。

2017-12-12 13:55:46

大数据人工智能TalkingData
带你了解数据结构的定义和简介
我们如何把现实中大量而复杂的问题以特定的数据类型和特定的存储结构保存到主存储器(内存)中,以及在此基础上为实现某个功能(如元素的CURD、排序等)而执行的相应操作，这个相应的操作也叫算法。

2017-12-12 12:08:36

数据结构算法函数
如何成为一名数据分析师：数据的初步认知
对所有从事数据相关工作的人而言，都有一个老生常谈的问题： 数据认知 !毕竟在真正开始分析、BI 报表开发或者建模前，对数据进行一定的审查和认知是必须的。今天，就在此和大家一同探讨下数据的初步认知。在本文的讲解中，会将数据的初步认知划分为三大步骤： 数据质量检查、数据类型认知、指标值统计 。

2017-12-11 15:56:44

数据分析师数据仓库数据源
中科天玑超前布局 大数据生态体系闭环基本成型
BDTC 大数据技术大会走过10年，大数据技术在中国各行各业落地生根。数据行业不仅繁花似锦，更诞生了诸多行业创新者。中科天玑就是其中的典型代表。2008年，第一届Hadoop 中国云计算会议在中科院计算所举办。2010年，由中科院计算所孵化的大数据高新技术企业中科天玑数据科技股份有限公司正式诞生。

2017-12-11 14:01:46

中科天玑大数据生态体系
提高大数据项目业务能力的6个技巧
大数据项目所带来的好处通常会惠及更大范围，而不限于项目发起的部门本身。以下是一些技巧，可帮助您的公司最大限度地发挥项目的影响力。

2017-12-11 11:48:56

大数据项目数据集成
人们可能会犯的7个数据错误
数据正在成为现代企业的一个更重要的工具，几乎可以作为一种货币，它可以从衡量营销活动的有效性到评估员工绩效等方面促进一切。但许多企业家认为数据本身就是有价值的。企业拥有的数据越多越好，如果有的话，企业会做出更好的决定。

2017-12-11 10:23:58

数据错误收集
多位大佬大胆预测：Hadoop将死，图数据库成为新趋势！
科技行业向来是以技术发展速度快著称，时值岁末，我们和多位数据库领域的业内大佬进行了深度交流，分享了他们眼中2017年的小惊喜和2018年的大展望。

2017-12-11 10:22:40

数据库云计算区块链
高德发力产学研一体化，目标直指培养千名未来交通专家 原创
当今，城市加速发展的模式下，对城市治理带来了很大的挑战。包括交通拥堵、环境污染、资源紧张等“城市病”层出不穷，城市公共资源的供给不足和人们对于美好生活的向往之间的矛盾愈演愈烈。解决之道，唯有科技。

2017-12-11 09:04:03

高德产学研
海云数据：为大数据和A I落地勾勒新篇章 原创
人工智能将迎来落地的战略机遇，早在一年前，海云数据就开始对人工智能进行布局，对后台人工智能技术进行了升级和迭代，此次图易6的发布更是海云数据向大数据和人工智能在行业中的落地应用迈出的一大步。

2017-12-10 14:41:39

海云数据AI大数据
海云数据首发图易AI能力服务平台新品，图易6塑造AI能力新物种
12月8日，“新能力，新服务，新共享——海云数据图易6暨AI能力服务平台新品发布会”于北京奥雅会展中心成功举办，发布推动大数据、人工智能行业落地全新产品——图易6和AI能力服务平台新品，并宣布行业共享、共赢的实现路径。

2017-12-08 17:00:29

海云数据图易AI
Hbase写操作产生的木桶效应
有时候很多利旧设备不舍得丢弃，大数据集群又是一个廉价的高性能的分布式计算平台，只要是能开机的物理机都可以并入集群，但是，随之带来的问题就是磁盘IO会严重影响集群的性能，不过现在通过技术手段已经能够解决此类问题，比较常用的方式就是：设备分组。

2017-12-08 11:28:48

Hbase木桶效应操作
HBase Region自动切分的所有细节都在这里了
这篇文章将会对这些细节进行基本的说明，一方面可以让大家对HBase中Region自动切分有更加深入的理解，另一方面如果想实现类似的功能也可以参考HBase的实现方案。

2017-12-08 10:42:49

HBase切分细节
中小企业采用混合云方法处理大数据的三个最佳实践
如今，大数据和分析正在进入更加成熟的部署阶段。这对于那些正在部署这些技术的中小型企业来说是一个好消息，他们一直在努力为他们的公司定义一个大数据架构。

2017-12-07 15:50:02

云计算大数据数据中心
上一页 1 ··· 105106107108109 ··· 181
点赞

51CTO技术栈公众号

业务
速览
在线客服