51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
华为开放平台助力中信银行（国际）打造统一数据仓库
华为通过FusionCube一体机，预集成了网络、计算、存储、虚拟化操作系统和分布式存储软件，采用“X86服务器+分布式存储”的架构替换传统的“RISC服务器+SAN存储”的架构。

2018-01-03 22:14:31

华为
DataHunter马珂：数据可视化分析应该怎么玩 原创
DataHunter CTO马珂接受了51CTO的专访，同记者就探索式数据分析技术、图形化技术、数据可视化工具等方面进行了深入探讨。马珂曾是海军总部工程师，长期从事数据库管理、优化，数据挖掘和可视化相关工作，有很丰富的实践经验。

2018-01-03 17:22:22

DataHunter数据可视化分析
低学历成功逆袭概率多少？大数据揭秘结果令人震惊
美联储St.Louis 分部的统计数据，说明了家庭中受教育程度最高者（需大于40岁）的受教育程度与家庭净财富超过100万美元的比例的关系。

2018-01-03 10:44:10

学历大数据互联网
数据科学家本地处理大中型数据的三种简单方法 译文
作为数据科学家，我们通常面临庞大的数据集，少则几千万条记录，多则几亿条记录，可能有几十列，甚至几百列。这些数据通常以csv文件来接收，以多种方式来处理，最终目的是运行用Python或R编写的复杂的机器学习算法。

2018-01-03 09:00:06

数据科学家PythonR语言
大数据关键技术分析
在面对计算能力不足时，我们应尝试着结合使用更多的计算机系统，而Hadoop就是基于这样的理念设计。

2018-01-03 00:38:20

大数据Hadoop分布式文件系统
AI和大数据2017“成长的烦恼”
人工智能和大数据在2017年的发展遇到了以下10个成长的烦恼，包括:人工智能无IQ标准、人工智能延伸边缘、AI嵌入超算和云计算、大数据风口已过、.数据保鲜难等等。

2018-01-02 12:22:36

人工智能大数据IQ
数据科学家是干什么的？听七位受欢迎的专业人士发表见解
我们中的很多人上大学时，那时没有数据科学家的职位。这是分析数据的科学和统计方法混合在一起，知道如何使用从海量数据库中提取模式和答案的工具。听起来很沉闷?还好啦。事实上，早在2012年，《哈佛商业评论》就把它称为“21世纪最性感的工作”。

2018-01-02 12:14:17

数据科学家独角兽数据
数据可视化的开源方案: Superset vs Redash vs Metabase (一)
今天给大家介绍三个比较知名的项目，分别是Superset, Redash和Metabase。前两个我都在产生环境中实际使用过，在本文中会重点介绍。Metabase我只是试玩了一下，但我觉得这是一个非常有想法的项目，所以也会和大家聊聊我对它的看法。

2018-01-02 11:13:20

数据可视化SupersetMetabase
全球各行业2020年将需要270万位数据科学家
数据分析的工作量庞大复杂，这对企业、公司和政府的影响也很大，因此对数据科学家的需求日益增长。数据科学家有着一份很好的工作前景，具有吸引人的薪酬。数据科学家被称之为2017年最好的工作之一。

2017-12-29 16:39:22

数据科学家语言Python
大数据告诉你：2018年该学习什么技术
数据科学家Julia Silge在Stack Overflow官方博客上分享了一组分析数据，他在文中揭示了快速增长的技术，快速衰落的技术，稳步增长的技术。我们从中可以看到，2018年你学习什么技术最值钱！

2017-12-27 22:13:34

大数据技术Swift
大数据变现给了数据建模者自证价值的好机会
从 BI 时代开始，笔者曾经做过取数，报表，建模，挖掘，分析等各类数据支撑工作，有个问题一直萦绕心中，数据支撑者如何证明自己工作的价值。

2017-12-27 15:27:36

大数据数据建模数据支撑
有点意思!如果圣诞老人利用大数据派送礼物是这样的……
12月24日，几十年来，圣诞老人一直没有升级他的装备。但他对高科技并不陌生，今年，得益于一系列大数据技术，圣诞老人终于调整了送礼方式，以提高效率，完善客户服务。

2017-12-27 14:49:26

大数据派送礼物圣诞老人
Hadoop和Spark之间有什么区别，现工业界都在使用何种技术?
谈到大数据，相信大家对hadoop和Apache Spark这两个名字并不陌生。然而，最近业界有一些人正在大张旗鼓的宣扬Hadoop将死，Spark将立。他们究竟是危言耸听?哗众取宠?还是眼光独到堪破未来呢?与Hadoop相比，Spark技术如何?现工业界大数据技术都在使用何种技术?如果现在想要参加大数据培训的话，应该从哪一种开始呢?

2017-12-27 14:39:07

HadoopSpark大数据
Mixpanel用事实证明，数据分析现在可以知道我们何时打开圣诞礼物
孩子们睁开朦胧的双眼，他们的父母也被从床上叫醒，在圣诞节早晨，有几个小时全家人似乎都放下了手中的移动设备。这是移动与网络数据分析公司Mixpanel最新报告得出的一个结论。

2017-12-27 14:15:47

大数据数据分析圣诞
2017年云计算和数据中心产业的回顾与总结
如果回溯到2016年，很多大型企业的数据中心工作负载正计划向云端迁移。而2017年则是企业的业务向云端迁移的一年，这种迁移在整个数据中心行业引起了很大的反响，为云计算技术供应商和数据中心提供商带来了巨大的变化。

2017-12-27 14:09:47

云计算数据中心混合云
Wikibon 2018预测：数据和云将变革所有企业
科技领域有个预测很简单：数字化转型仍然是2018年企业的首要战略。但是哪些问题将会塑造未来几年的转型方向?为了回答这些问题，Wikibon分析师最近举行了年度预测网络研讨会。

2017-12-27 11:51:58

数据云软件
揭穿数据分析的12个神话
在IT业界中，炒作越多，误解就越多，数据分析也不例外。作为当今IT技术最热门的方向之一，数据分析可以带来显著的业务收益，但是带来的误解可能也会阻碍顺利地、及时地交付可能让业务用户和最终客户受益的分析能力。随着企业组织创建或者扩展其分析战略，这里有十几个需要揭穿的数据分析神话需要他们牢记在心。

2017-12-27 11:38:14

数据分析大数据算法
中科天玑：引擎驱动+产业融合，布局大数据生态体系闭环 原创
中科天玑数据科技股份有限公司（以下简称中科天玑）是国内较早做大数据的企业，成立之初以互联网信息挖掘、舆情监测业务起家。时至今日，凭借数据处理和分析引擎驱动创新、且与产业深度融合，成为大数据领域的佼佼者。

2017-12-27 10:44:26

引擎驱动产业融合大数据生态
年终盘点：2017年数据科学发展的新趋势
因为数据的存在，让很多新的行业焕发出了无限的价值，社交媒体网站可能就是一个典型的例子。对于企业来说，目前的主要问题就是如何使用收集来的数据创造价值。

2017-12-26 22:15:22

数据科学大数据数据库
泛谈大数据 + AI 在征信行业的应用
能够考虑过去可能没有得到信用评分的人，或者可能被传统的基于逻辑回归的评分太匆忙地拒绝了。换句话说，AI可以查看消费者信用记录中的某些数据点，计算他们即将偿还的概率;或者考虑那些过去12个月都没有还款(基于某些原因)，但是在某一个数据点，他们偿还了所有的款项的人群。

2017-12-26 16:42:41

AI大数据征信行业
数据是“新时代的石油”：一个误读?
自从《经济学人》将数据类比为21世纪的石油以来，数据的重要性已家喻户晓。但是，这一比喻令人误解，因为它不但容易让人联想到洛克菲勒的标准石油公司或美孚石油公司，还会误认为现在的数据就像一百年前的石油那样，成为市场上奇货可居、盈利丰厚的商品。然而，正规的数据交易市场根本没有形成，更不用说在数据市场里呼风唤雨的数据大鳄了。

2017-12-26 15:38:02

新时代的石油大数据数据
数据将主导一切？研究发现53%的公司正在使用大数据分析
本文主要结论与资料来自于研究公司Dresner Advisory Services最新的大数据研究报告“2017 Big Data Analytics Market Study”，这是该公司Crowds®系列研究中的一部分。本系列报告连续第三年考察与分析了大数据分析最终用户的使用趋势与使用意图，并将大数据分析定义为最终用户能够访问、分析和管理Hadoop生态体系中数据的一套系统。

2017-12-26 14:16:32

大数据数据分析Hadoop
IDC公司对数据中心发展的10大预测
数据中心的生命周期通常以数十年的时间来衡量的，但其技术和产品却在不断变化。"如今的数据中心实际上与其内部设施的发展并不不匹配，因为电源，散热和空间需求等都已经全部发生变化。"调研机构IDC公司数据中心趋势与策略小组研究总监Jennifer Cooke表示。

2017-12-26 11:45:36

数据中心IDCIT基础设施
聊一聊大数据的问题和缺陷
多亏了大数据和云计算，可以让企业使用超级计算机的力量。而人们面临的问题是用来分析和应用大数据的工具通常有一个致命的缺陷。人们进行的大部分数据分析都是基于错误的模型，这意味着错误是不可避免的。当人们夸大的期望超过其能力时，后果可能是可怕的。

2017-12-26 10:19:14

大数据问题缺陷
大数据对移动应用程序开发有哪些影响？
如果要说“一个成功的移动应用程序开发的关键因素是什么?”那么，大数据和数据分析的贡献不可磨灭。下面，我们就来看看大数据对移动应用程序开发有哪些影响？

2017-12-26 00:46:09

大数据移动应用程序开发
利用大数据和预测分析优化供应链
如今，业界人士都在谈论大数据，但这究竟意味着什么呢?大数据被定义为极其庞大的数据集，无论是结构化的还是非结构化的数据，都要进行分析以揭示模式、趋势和关联，特别是关于人类行为和相互作用。

2017-12-25 14:19:31

大数据预测分析供应链
2018年技术预测：五大危机还是五大机遇？
预测就像是公共巴士，要么没人来，要么就好几个人一起来。不仅如此，它们比你想的要来的慢，而且只是把你带到了路边。它们还非常热闹，充满了你早上通勤时不想听见的种种喋喋不休的声音。他们有时候很冷，在座位的角落里还可能有别人没吃完而留下来的快餐。

2017-12-25 10:34:18

技术预测机遇
没有大数据，商业智能能够回答正确问题吗？
“商业智能”和“大数据”指的是完全独立的过程，它们各自实现各自的功能，尽管在同一个整体领域。

2017-12-22 11:29:15

大数据AI智能
编译Hadoop2.9源码并搭建环境
因为以前安装hadoop编译版的时候遇到过问题，时间比较久了，具体问题有些描述不清了，建议大家下载源码自己编译安装，如果遇到bug自己直接可以修改安装。本文的实验系统是mac，但是其他环境类似。

2017-12-22 10:51:04

Hadoop编译环境
如何做到单机毫秒完成上亿规模大数据常规统计
虽然现在最火的是AI，但是大数据和计算能力仍然是机器学习/AI算法的重要支撑，我们的业务场景大部分是通过手机终端、服务器日志不断产生日志数据，为此，我们的关键任务是需要从海量数据里统计分析每项产品的去重用户、新增用户、pv、uv、dau(日活)、mau(月活)等指标，这个过程存储占用越少，计算时间越快越好。

2017-12-22 10:34:02

大数据AI存储
【专题】挨踢部落技术门诊第十二期：千万级Web请求如何分发 原创

2017-12-21 13:17:34

技术坐诊
从源码看Spark读取Hive表数据小文件和分块的问题
本文涉及源码基于Spark2.0.0和Hadoop2.6.0，不同版本代码可能不一致，需自己对应。此外针对TextInputFormat格式的Hive表，其他格式的比如Parquet有Spark自己的高效实现，不在讨论范围之内

2017-12-21 11:19:40

SparkHive表HadoopRDD
2018年大数据趋势 ：人工智能... 数据分析将包含可视化模型...
人脑能高效地处理视觉图像。在这个过程中，大脑使用了潜意识，让决策者可以通过迅速扫描图像来处理信息。可视化图表利用了大脑的图像识别能力，出色的可视化模型将成为处理庞大数据集的更好选择，也是2018年重要的大数据趋势之一。

2017-12-21 11:08:18

大数据人工智能云计算
物联网中的大数据架构、应用案例以及带来的好处
物联网(IoT)是目前大数据市场的最新趋势，在未来十年内，估计会出现约两百五十亿个网络连接设备，这是一个很庞大的连接，因此，影响物联网最大的因素之一就是数据：数据量、数据的管理和使用。

2017-12-21 05:36:05

物联网大数据IoT
企业如何避免大数据分析项目失败
遵循本文中所介绍的关于大数据分析的这六大最佳实践策略，将帮助您企业更好的击败竞争对手，创造新的收入来源，并更好地为客户服务。

2017-12-20 15:25:51

数据分析大数据企业
大数据查询——HBase 读写设计与实践
原实现基于Oracle提供存储查询服务，随着数据量的不断增加，在写入和读取过程中面临性能问题，且历史数据仅供业务查询参考，并不影响实际流程，从系统结构上来说，放在业务链条上游比较重。本项目将其置于下游数据处理Hadoop分布式平台来实现此需求。下面列一些具体的需求指标：

2017-12-20 15:10:09

HBaseHadoop数据
2018年大数据的五个发展趋势
随着2018年的临近，各种规模的组织将会探索数据驱动业务决策以及如何改善盈利的多种方式。以下是需要了解的五个大数据趋势。

2017-12-19 22:20:58

大数据数据数字化
大数据和AI怎么与现代教育相结合？
目前，大数据+AI正在赋能各行各业，教育也不例外，人脸识别、语音识别等智能技术开始用于语文、英语、音乐等学科，为教育提供更加智能化、个性化的解决方案。

2017-12-19 15:01:53

AI大数据现代教育
过往60年，我们的地球人口究竟在如何变化
我们平时观察世界的时候 ，都是通过我们的视觉直观感受。但是很多时候，这个世界大得超乎我们想象。大数据除了能够解决很多生活中的问题外，它还是一种天然的、观察世界的方式和视角。当数据侠Chuan Sun用联合国开发计划署的全球人口数据作了一番分析后，他发现数据和可视化为他描绘了一幅观察世界的新景象。

2017-12-19 10:57:24

地球人口数据分析可视化
技术这么解读 让你看完妙懂
假设你是个妹子，你有一位男朋友，于此同时你和另外一位男生暧昧不清，比朋友好，又不是恋人。你随时可以甩了现任男友，另外一位马上就能补上。这是 冷备份 。

2017-12-19 10:10:47

妹子备份云计算
预防自杀，大数据也在致力于挽救生命
12月10日，深圳中兴网信科技有限公司研发组主管欧某在中兴大楼坠亡，经初步勘察判定排除他杀。自杀作为日益严重的公众健康问题，越来越引起人们的关注，除了惋惜之外，我们也应该思考如何科学预测、预防自杀。

2017-12-18 13:26:25

大数据数据分析预防自杀
关于大数据在电子商务中应用的4点认识
在当今快节奏的世界里，发展商业帝国是一项艰巨的任务。但是，如果一个创业者在为自己和公司创造更大的声誉时，他们应该得到他们所能得到的一切帮助。因此，当涉及到帮助，最先进的技术总是最好的赌注，以帮助你开辟一条成功的道路为你和你的企业，特别是一件事，它可以帮助你做到这一点，是大数据。但是什么是大数据呢?

2017-12-18 11:24:58

大数据电子商务企业
数据科学家也可能被人工智能取代
由于人工智能取代人类活动的争论越来越激烈，数据科学家开始体验人工智能辅助自动化的好处和风险。人们开始对人工智能被用来自动化一切事物的前景感到不安。现在人工智能已经证明了它有能力替代一些蓝领工作(通过机器人等)和白领职业(通过自然语言生成等)，围绕这种技术的文化敏感度正在上升。

2017-12-18 10:50:14

数据科学家人工智能自动化
态牛-Tech Neo 11月刊：容器平台管理实践 原创
容器集群管理系统与容器云平台的选择非常重要，因为容器管理系统是否先进智能、容器云管理平台是否灵活易用且高效，直接影响企业开发运维的效率与速度、资源利用率的高低。在这个竞争激烈，风云突变的时代，应用的开发效率、稳定性、扩展性和安全性，决定了企业的竞争力与市值。

2017-12-18 02:39:53

容器态牛电子杂志
Apache Hadoop 3.0.0 GA版正式发布，可以部署到线上
日前Apache Hadoop 3.0.0 GA 版本正式发布，这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本，有很多重大的改进，比如支持 EC、支持多于2个的NameNodes、Intra-datanode均衡器等等。下面是关于 Apache Hadoop 3.0.0 GA 的正式介绍。

2017-12-17 16:49:44

Apache HadoYarnHadoop
大咖说：2017年，我眼里的大数据领域惊喜
新年将至，对于2017年大数据领域的进展和变化，各位IT大佬们分享了一些他们眼中的惊喜事件。下面，我们一起来看。

2017-12-15 15:52:40

大数据数据IT
除了数据还是数据？2018年5大 AI （人工智能）预测
人工智能 (AI) 在 2017 年已成为多数人日常生活的一部份，不论是在工作场所或是居家生活，而随着新的一年将至，《福布斯》杂志也对 AI 进入 2018 年的成长与发展进行预测。

2017-12-15 14:42:56

数据人工智能AI
TalkingData 崔晓波：数据安全是智慧城市建设的重中之重 原创
ID对政府治理是非常重要的。智慧城市的建设中，数据安全毫无疑问是最重要的应用。

2017-12-14 21:12:58

TalkingDataID治理大数据
学会网络推广数据分析，你将省下一大笔推广费用！
本文通过好好分析竞价数据，若用数据来指导投放优化，那么你的推广效果一定会大大提高，相信你能给公司省下一大笔投放金额，或者能给公司带来更好的转化率，那升职加薪不是妥妥的!今天就一起来探索在数据工具BDP个人版中如何玩转SEM数据分析?(主要以教育培训行业为例)

2017-12-14 14:12:31

网络推广数据分析百度单价
大数据还是“大忽悠”？ 解决问题、贴近业务才能“接地气”
大数据已在各行各业得到了普遍重视，有CIO更表示，如果跟同行交流，不讲大数据都不好意思跟人家打招呼，然而在业务中却发现，上了大数据的“数据驾驶舱”，除了老板看到了更酷炫的报表外，对业务并没有太大的帮助。

2017-12-14 11:23:06

大数据CIO数据
上一页 1 ··· 102103104105106 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服