51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8919内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8919 条
京东万台规模Hadoop集群 | 分布式资源管理与作业调度
为了增加生产效率和节约成本，必须要将之前分散在各处的集群资源统一管理起来，组成一个超大集群对外提供服务，并且要让各种并行框架可以利用它的存储和计算资源进行业务处理。

2018-07-17 15:05:34

京东Hadoop集群分布式资源管理
怎么看待程序员普遍缺乏数据结构和算法的知识？
在很多程序员看来，数据结构，算法这一类的东西感觉没用，在实践中都不常用，所以都会很忽视这类内容，但是在很多公司看来，尤其是大公司看来数据结构和算法这种东西确实最有用，而且经常在笔试和面试中出现。为什么会这样呢?

2018-07-16 22:25:33

程序员数据结构算法
如何让你的数据直觉更敏锐
你可以为特定的项目去学习最新的代码框架或者阅读该领域最新成果的科研论文。但是，没有捷径可以获得数据科学家所需的基础统计知识。

2018-07-16 00:09:30

数据科学大数据机器学习
数据产品必备技术知识：数据仓库入门，看这这一篇就够了
对于准备求职数据产品的童鞋来说，可能身边没有做数仓开发的朋友可以请教。自学吧，而那几本经典书籍里面又过于理论，看起真是生不如死，而且数据产品并不是数据开发，可能了解一些入门的常识，有个大概的概念就可以了。我也一直零零散散的积累这方面的知识，这两天梳理了下，形成下文。

2018-07-13 16:10:21

数据仓库数据存储
数据科学中的陷阱：定性变量的处理
在《数据科学中的陷阱：变量的数学运算合理吗?》中我们讨论过定性变量，也就是表示类别的变量，比如性别、省份等。对于这类变量，不能在模型里直接使用它们，因为定性变量之间的数学计算是毫无意义的。另外，定性变量是一类很常见的变量，通常带着很有价值的信息。

2018-07-12 13:47:04

数据科学变量虚拟变量
你是如何被“大数据”洗脑的？
在现实生活中，数据就像该比喻中印在壁洞上的影像——它试图利用低维的事物，去给人们描绘一个高维的东西。如果将洞壁的影像进行数据化处理，哪怕技术再先进，收集的数据再多，都难以让洞穴人感知到一个真实的世界，因为他们看到的世界都被“降维处理”了。

2018-07-12 13:15:06

数据用户影像
Hadoop老矣，为什么腾讯还要花精力在其开源发布上？
前些日子，腾讯主导开源大数据平台 Apache Hadoop 2.8.4 新版本发布的新闻引起了笔者的注意。自 Hadoop 从雅虎诞生之日起，已经走过了 10 来个年头，这期间，尤其是近年来，由华人作为 Release Manager 主导新版本发布已经有过不少先例，不过背后的公司不外乎雅虎、微软、Hortonworks、Cloudera 等美国公司。

2018-07-12 08:41:54

大数据IT互联网
数据质量管理的一些思考
数据质量在任何系统当中都是十分重要却容易被忽视的一部分。构建完整的数据质量管理体系，既是支持企业系统稳定运行的基本保障，同时也是企业进行数字化转型、创新的必备条件。

2018-07-11 14:06:04

数据质量数据治理数据清洗
大数据入门之Hadoop基础学习
目前人工智能和大数据火热，使用的场景也越来越广，日常开发中前端同学也逐渐接触了更多与大数据相关的开发需求。因此对大数据知识也有必要进行一些学习理解。

2018-07-11 13:33:43

大数据人工智能Hadoop
自从Python数据可视化出了这个模块后，数据可视化就再简单不过了
其实利用 Python 可视化数据并不是很麻烦，在Python中有一个对于数据可视化极其强大的模块：pyecharts，安装pyecharts模块也非常的简单：pip install pyecharts。

2018-07-11 12:30:51

编程语言Python数据可视化
Hadoop学习系列一：环境搭建
为了学习HBase，跑过来先把Hadoop学习下。主要是根据马老师之前直播的教程来学习的。好了，废话不多说了，开搞。

2018-07-10 15:15:11

HadoopHbase系统
偶数科技构建新一代数据仓库，与AI应用场景更契合 原创
现如今的信息化社会，已经被各类信息资源所充斥，如何有效地管理和利用各类信息资源，是进行科学研究和决策管理的前提条件，数据处理是管理信息系统必不可少的核心部分。从人工管理阶段到文件系统阶段再到现在的数据库系统阶段，数据处理在近几十年经历了质的飞跃。

2018-07-10 11:02:48

数据仓库AI分析型数据库
这两年在大数据行业中的工作总结
今天的主题，主要是从大数据开发的角度，到大数据治理的必要性，再到图形化建模的畅想，最后在数据质量的把关，然后到大数据可视化的应用，博主总结两年的见闻，和我学习的成果，也不知理解有无偏差吧，希望大家能给出建议。

2018-07-10 09:56:42

大数据开发可视化
贵州首批大数据、云计算专业本科毕业生出炉：就业不愁
作为贵州大学软件学院的首批毕业生，跟郭鹏一起毕业的还有140余名学生，整体就业率超过95%，超过70%的学生起薪在5000元以上，10%的学生起薪达到1万元以上。

2018-07-09 17:16:50

大数据云计算贵州
Informatica：推动数字化转型，数据治理先行 原创
Informatica全球数据治理高级总监 Patrick Dewald表示，新一代的数据治理的精髓在于创建共识。数据治理不是要改变任何数据结构或者业务系统，数据治理终其本质是对企业已有数据有一个很好了解。

2018-07-09 09:50:59

Informatica数据治理
数据科学大Battle，你站Python还是R
Python 或 R，这是一个问题。在数据科学工作中，你可能也经常遇到这个选择困难问题。本文作者Brian Ray基于数十年的Python和R在数据科学领域的使用检验，分享了自己的看法，希望能够帮大家做出更好的选择。

2018-07-08 07:52:09

数据科学PythonR
止步四强，我们分析了内马尔本次世界杯的43次“倒地”数据
《华尔街日报》对巴西的前四场世界杯比赛进行了分析，尤其关注到了内马尔的倒地数据，从不一样的角度，为这位世界级球星本届世界杯表现做了个总结。

2018-07-08 07:27:35

世界杯数据数据分析
HBase高性能随机查询之道 – HFile原理解析
本文将详细探讨HBase的HFile设计，第一部分为HFile原理概述，第二部分介绍了一个HFile从无到有的生成过程，最后部分列出了几点与HFile有关的附加信息。

2018-07-06 11:18:46

HBaseHFile数据库
Hadoop分布式文件系统-从RAID说起
大数据技术主要要解决的问题的是大规模数据的计算处理问题，那么首先要解决的就是大规模数据的存储问题。大规模数据存储要解决的核心问题有三个方面：

2018-07-06 09:16:22

HadoopRAID文件系统
三类可以让大数据发挥价值的途径
近年来，大数据概念越来越热门，而关于大数据工作的开展是技术驱动还是业务需求驱动的争论一直都有，其实这种争论没有太大意义，让大数据发挥出应有的价值才是目标所向。

2018-07-05 22:43:24

大数据大数据技术数据驱动
企业如何使用大数据对搜索引擎进行优化
有许多公司开始专注于大数据，其中包括谷歌和其他搜索引擎，而搜索引擎优化的大数据正在对网络世界产生重大影响。那么企业如何运用大数据去优化搜索引擎，以帮助企业的在线流量飙升?

2018-07-05 22:38:23

大数据搜索引擎SEO
企业想要成功布局大数据的七大关键步骤
在这个大数据已经成为市场一个美味的“大蛋糕”的今日，大多数企业都很想要分得一块。大多数企业正做好了布局大数据的准备，那么，该怎么做才能成功去布局?

2018-07-05 14:42:52

大数据企业数据挖掘
使用拓扑数据分析理解卷积神经网络模型的工作过程
在这篇文章中，将讨论如何使用拓扑数据分析来深入了解卷积神经网络(CNN)的工作过程。本文所举示例完全来自对图像数据集进行训练的网络，但我们确信拓扑建模可以很容易地解释许多其他领域卷积网络的工作过程。

2018-07-05 14:18:12

数据分析神经网络模型
大数据告诉你：学历真的能改变命运
央视新闻曾做过关于高考的调查，结果有七成网友支持高考取消数学，看到新闻后，有一位网友却一针见血地评论道：数学考试存在的意义就是把这七成网友筛选掉。的确，虽然买菜不需要专业数学知识，但数学可以决定我们在哪里买菜。

2018-07-04 14:28:02

大数据读书教育
小企业开始采用大数据的4个步骤
任何行业都可以从数据收集和分析中受益，但在一段时间后，仍然很难获得准确的信息。对于中小企业(SMBS)来说，其价格难以承受，并且内部IT将分析成功转化为洞见仅限于跨国公司和大公司。因此这些发生了很多变化。这是为什么?大数据可以为小企业创造什么效益?

2018-07-04 14:15:48

小型企业大数据数据
企业现代化改造基础设施，应对GDPR带来的挑战
《通用数据保护条例》(GDPR)已于5月25日在欧盟正式生效，对企业提出了全方位的隐私保护管理要求，从不同方面开展持续性的监管工作，将为世界各地企业收集和处理个人数据的方式带来翻天覆地的新变化。

2018-07-04 10:56:47

GDPR基础设施
行动贝果结合人工智能技术打造智能分析引擎 原创
随着网络的更新迭代，网络数据成几何倍飞速增长，各行各业都面临着海量数据处理的压力。当人工不能很好的对庞大数据进行计算与分析时，大数据分析应运而生。

2018-07-04 10:47:32

大数据特征工程数据清洗
TalkingData：全新战略布局，重塑数据智能 原创
TalkingData ，国内领先的第三方数据智能服务商。近日召开了首次战略发布会，提出了具有里程碑意义的战略布局：“开放、连接、安全、智能”。

2018-07-04 09:44:09

TalkingData数据智能
如何开展预测分析？ 这份指南拿走不谢
抛开你的疑虑并获取这样的能力——观察未来的业务需求和机会并对此采取行动。预测分析正在帮医疗、零售、酒店和保险等领域迈向未来，以优化库存、管理人员配备、加强客户互动，设定价格并实现很多其它的创收目标。

2018-07-03 16:07:50

预测分析人工智能团队
数据科学中的陷阱：变量的数学运算合理吗？
数据科学中有各种各样的模型，有的听起来很简单，比如线性回归;有点呢，听起来就很吓人，比如深度学习。但是不管什么样的模型，从本质上来讲，模型都是对训练数据做数学运算，并以此求得模型参数的估计值。

2018-07-03 15:51:44

数据科学陷阱数学运算
为什么你需要改进训练数据，如何改进？
Andrej Karpathy 在他的 Train AI 演讲中展示了这张胶片，我非常喜欢。这张胶片完美地揭示了深度学习在研究与生产间的区别。通常来说，学术论文的主要精力是放在开发新的、先进的模型上面，在数据集方面一般都是从公开的数据集取一部分使用。

2018-07-03 15:46:35

数据集训练模型
谨防5个陷阱！数据科学家新手快速上道秘诀
在数据科学家入门阶段，你不可避免会踩到一些雷区。这篇文章介绍了 Sébastien Foucaud 博士总结的新手数据科学家最容易犯的 5 个错误。博士已经有 20 多年带领学术界和应用行业年轻数据科学家的经验，可以帮读者朋友少走些弯路，为你的实际工作提供一些指导和帮助。话不多说，上清单！

2018-07-03 11:02:28

数据陷阱经验
基于Hadoop生态系统的一种高性能数据存储格式CarbonData（基础篇）
随着数据的与日俱增，业务驱动下的数据分析灵活性要求越来越高，不同场景的数据分不同业务系统而构建，导致存储冗余严重，缺乏高效、统一的融合数据分析。

2018-07-03 08:33:04

Hadoop存储CarbonData
数据科学正从这七个方向颠覆金融界
我们准备了一份数据科学案例清单，这几个案例已经在金融领域内产生了巨大影响。它们涵盖了从数据管理到交易策略等各个不同的业务方面，拥有广泛的前景。

2018-07-02 14:41:50

数据科学金融机器学习
听说你立志要做数据分析，不如先听听老司机的建议？
世界很大，诱惑很多。对于未来，甚至在工作多年后，他们仍然没有清晰的方向，或者缺乏独立、深度的思考。如果你决心要在数据科学领域有所作为，或者立志做数据分析，这篇文章提了点小建议，希望对你有所帮助。

2018-07-02 12:25:05

数据分析编程数据
当大数据分析遇见云技术 如何双剑合璧？
数据的出现使业务智能真正地走入了21世纪。但事实上“大数据”词代表的并不是解决方案，而是一类问题。在这些PB数量级的数据中，隐藏着怎样的价值?

2018-07-02 01:17:06

大数据分析云技术数据
IOT大数据大世界大未来，物联网产业大数据应用简析
在物联网时代，面对PB级的数据，企业将难以以一己之力完成基础设施的建设。物联网所产生的大量数据不仅会驱动现在的数据中心发生根本性的变化，同时也会驱动相关企业采用新的大数据策略。

2018-06-29 23:07:32

物联网IOT大数据
数据科学求职建议：掌握5种类型的数据科学项目
一年一度的秋招已经打响了发令枪，从去年的薪酬排行来看，算法工程师和数据分析等工作排在前列，很多相关专业的学生一直在自学一些网络上的公开课并阅读一些专业书籍，比如“西瓜书”、“花书”等，如果你现在仍然什么也没有准备的话，然而还想从事数据科学领域这个似乎令人望而生畏的工作话，现在就要抓紧补补相关的知识了。

2018-06-29 16:00:56

数据科学家数据清理数据分析
技术沙龙|明天下午与专家探讨技术高速发展下如何应对运维新挑战！

2018-06-29 10:51:19

TechNeo／沙龙／
攻关克难：大数据系统中的预测技术
大数据分析近年来逐渐成为预测分析技术的代名词。这使得越来越多的人以为，任何用于预测分析的系统都必定涉及大数据;而反过来，任何大数据系统自然也一定会支持预测建模。

2018-06-29 10:32:58

大数据预测分析数据准备
TalkingData发布新战略布局，以开放连接促数据智能
6月28日，国内领先的数据智能服务商TalkingData在北京举办了以“始于初心，重塑未来”为主题的产品及战略发布会，正式宣布了2018年最新战略布局，以“开放、连接、安全、智能”为核心，着力探索中国大数据行业的发展新路径。

2018-06-29 10:08:59

TalkingData数据智能
大数据战略需要数据中心基础架构作出的改变有哪些？
为大数据选择新的硬件、存储和其它数据中心基础设施，这是IT专业人员们所面临的新挑战。推行大数据战略的压力往往来自高层，因为管理者相信，能有效运用数据的企业将比落后者具备更大优势。

2018-06-29 10:07:07

大数据数据中心Hadoop
适用于小型企业的9个大数据解决方案
如今，人们很难摆脱所有关于大数据的讨论,为了在当今的市场竞争中获得成功，小企业希望采用大公司所使用的工具。为此，以下将介绍9个针对小企业的大数据解决方案。

2018-06-28 12:27:35

大数据企业数据
全球Top1000计算机科学家h指数发布，数据院院长Philip S. Yu上榜（附完整名单）
Guide2Research最新公布了2018年计算机科学与电子领域顶级科学家排名。排名基于Google Scholar和DBLP提供的H-index指标。H-index(被引次数高于或等于h的论文的数量)是衡量科学家产出和研究影响力的一种手段，除了论文被引次数，还将基于其论文的数量进行量化。

2018-06-28 11:45:49

科学家人工智能深度学习
全球十大农业大数据经典案例
基于物联网等技术的应用，农业领域积累了大量的数据，为大数据应用于农业奠定了基础。从国内国际的发展来看，大数据正在驱动农业发展路径发生变化，以提高农业效率，保障食品安全，实现农产品优质优价，农业大数据蕴含着巨大的商业价值。小编整理了全球十大农业大数据经典案例，供大家参考。

2018-06-28 11:14:12

大数据农业互联网
联想匠牛联合实验室：让天下没有难做的产品
一台由联想匠牛联合实验室出品的自动导航车在2018年中国国际大数据产业博览会展台间穿梭自如，这一幕令无数参会者耳目一新、印象深刻。但事实上，这款主要应用于智能工厂与仓储场景的自动导航车仅是联想匠牛联合实验室雄心勃勃计划中的冰山一角。

2018-06-27 16:48:27

联想产品实验室
将会改变人们对大数据增长看法的10个图表
而根据调研机构埃森哲公司的一项研究，79%的企业高管认为，没有接受和采用大数据的公司最终将失去其市场竞争地位。并可能面临灭顶之灾。83%的公司采用大数据项目来抢占竞争优势。

2018-06-27 11:02:39

大数据麦肯锡分析
数据科学20个好用的Python库
Python 在解决数据科学任务和挑战方面继续处于领先地位。去年，我们曾发表一篇博客文章 Top 15 Python Libraries for Data Science in 2017，概述了当时业已证明最有帮助的Python库。

2018-06-27 10:45:12

数据Python程序
历史数据表明：中国最赚钱的职业十年一个轮回
高考的成绩已经公布，又到了选专业的时候了，这个时刻很多人都很想知道一个问题的答案，那就是未来从事什么职业最赚钱，隐含的意思就是想自己提前潜伏，好轻松赚大钱，关于这个问题的回答，我们可以从历史数据里获得我们想要的答案。

2018-06-26 15:07:55

数据职业赚钱
大数据分析如何去助力制造行业?
大数据分析的被用于制造行业中，对制造行业近年来愈演愈烈的竞争参与进去。创新技术已经提高了大公司的生产能力，这让规模较小的组织开始考虑用大数据分析技术在一个公平竞争的环境中继续增长和竞争。

2018-06-26 10:20:17

数据分析制造行业大数据
上一页 1 ··· 9293949596 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服