51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8797内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8797 条
四项更佳实践让您的云部署准备好迎接GDPR 译文
关注这四项重要提示，确保您的云部署在系统审计与主动安全性等各个层面为GDPR的正式生效做好准备。GDPR即将在本月晚些时候正式生效，这意味着满足安全性与合规性将成为一切包含有欧盟公民个人数据的云部署方案的首要任务。

2018-05-24 09:00:45

云环境GDPR云部署
最新发布：2018年五个大数据热门岗位
数据质量决定了数据对业务的内在价值。信息技术只是这个内在价值的放大镜。因此，高质量的数据与有效的技术相结合是一项巨大的资产，但低质量的数据与有效的技术相结合也是一项巨大的责任。

2018-05-23 20:25:41

数据科学数据库信息技术
改善企业业务的6个数据管理技巧
对于许多组织来说，转变业务需求和预算现实意味着技术部署必须既有战略性又有敏捷性。C&W Services公司专注于使用技术改进业务流程。许多组织的大量数据存在于独立应用程序中，处于闲置状态并等待被利用。而寻找一种分析应用程序间数据的方法有可能提高效率。

2018-05-23 13:47:24

数据数据管理可视化
Accordion：HBase的 “呼吸式”内存压缩算法
HBase 所支持的现代产品对Hbase读写性能的期望越来越高。理想情况下，HBase 也希望在保证其可靠的持久存储的前提下能同时享有内存数据库的速度。社区的贡献者在HBase 2.0中引入了一种名为Accordion的新算法，这促使Hbase又朝着其理想的目标迈出了重要的一步。

2018-05-23 08:52:40

HBase内存压缩算法
将企业数据分析移至云端并非易事
如果企业希望在云计算的新平台上实现数据仓库和数据集市的现代化，那么请注意，这并不像人们想象的那么容易。

2018-05-22 12:27:52

数据分析云端企业
一份关于数据科学家应该具备的技能清单
大数据时代，什么职业比较吃香?答案可以从今年的校招薪资列表上知道——算法工程师、人工智能研究员、数据分析等职位。那么作为一名数据科学家，应该具备的技能有哪些呢?本文将一窥究竟。

2018-05-22 09:07:54

数据科学语言职位
数据是制造业实现物联网价值的关键
2020年将是制造业期待的一年。Deloitte预测15个最有竞争力的制造业国家将有10个在亚洲。不过，为实现此一目标，亚太制造业将需拥抱物联网(IoT)。

2018-05-22 07:55:12

物联网IoT数据制造业
华尔街日报畅销书《感知型企业》中文版正式出版
全球领先的数据和分析解决方案供应商Teradata天睿公司（Teradata Corporation，纽交所：TDC）宣布，公司首席运营官Oliver Ratzesberger和美国西北大学凯洛格商学院Mohan Sawhney教授合著的新书《感知型企业：数据驱动的商业决策演进》（The Sentient Enterprise: The Evolution of Business Decision Making）的中文版正式出版。

2018-05-21 23:44:23

数据分析供应商
HIVE和HBASE之间，主要的区别是什么？
Apache Hive是一个构建在hadoop基础设施之上的数据仓库。通过Hive可以使用HQL语言查询存放在HDFS上的数据。HQL是一种类SQL语言，这种语言最终被转化为Map/Reduce. 虽然Hive提供了SQL查询功能，但是Hive不能够进行交互查询–因为它只能够在Haoop上批量的执行Hadoop。

2018-05-21 21:26:59

Apache HiveHbaseSQL
对数据科学家来说最重要的算法和统计模型
作为一个在这个行业已经好几年的数据科学家，在LinkedIn和QuoLa上，我经常接触一些学生或者想转行的人，帮助他们进行机器学习的职业建议或指导方面相关的课程选择。一些问题围绕教育途径和程序的选择，但许多问题的焦点是今天在数据科学领域什么样的算法或模型是常见的。

2018-05-21 21:04:07

数据科学家算法统计模型
利用聚合概念指导MongoDB的Schema设计
在我们的项目中，为了能够保存分析报表以及用户设置的报表查询条件，我们将这些信息视为报表元数据存储在MongoDB中。

2018-05-21 08:07:35

聚合MongoDBSchema
数据可视化项目失败的六大缘由
现在虽然数据可视化仍然具有巨大的前景，且近十年来它也一直是一门主流学科，但目前它依然不够成熟。我们能否找到可视化项目中导致失败的关键点呢?

2018-05-21 07:54:44

数据可视化大数据数据
微信公开表白红包大数据，教你如何表白成功率最高！
近日，某狮系电商对520消费趋势进行了分析，数据显示，在看脸时代，美容护理产品销量激增，成年轻人表白最佳利器;洗碗机、净水机成520热销产品黑马，成为中年人为爱情增加保鲜剂的见证者。“嘿!凤梨”因为与粤语“喜欢你”同音，成为520最热卖水果。

2018-05-20 11:30:39

大数据红包表白
欧盟开枪，谁会成为GDPR的枪下鬼？
5月25号，也就是几天后，《欧盟数据保护通用条例》(General Data Protection Regulation，简称GDPR)就正式实施了。从2016年发布至今，两年的过渡期转瞬间就过去了，数字化企业大佬们有没有做好准备，在GDPR的枪口下，全球性的企业能在欧盟合法地做生意吗?

2018-05-20 10:49:40

GDPR数据隐私大数据
数据分析驱动企业数字转型　感知型企业催生决策新时代
全球领先的数据和分析解决方案供应商Teradata天睿公司（Teradata Corporation）于5月18日在北京顺利召开“2018 Teradata大数据峰会”。峰会期间，Teradata天睿公司面向中国市场正式发布Teradata Everywhere和感知型企业（the Sentient Enterprise）。

2018-05-18 20:13:10

数据分析数字化转型Teradata
如何做数据分析：请收好
数据分析是基于商业目的，有目的的进行收集、整理、加工和分析数据，提炼有价信息的一个过程。其过程概括起来主要包括：明确分析目的与框架、数据收集、数据处理、数据分析、数据展现和撰写报告等6个阶段。

2018-05-18 09:18:00

数据分析报告数据收集
我们问了Yann LeCun等16个顶级数据科学家，这是他们给数据新人的建议
本文节选自《工作中的数据科学家》，书中采访了16个不同行业的16位顶级数据科学家，以了解他们在理论上如何思考，以及在实际中解决什么问题，数据的作用和取得成功的原因。

2018-05-17 14:42:07

数据科学家数据科学数据
下一代大数据即时分析架构--IOTA架构
经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化

2018-05-17 11:31:45

大数据IOTA架构数据架构
分享：我的第一次数据科学家实习经历
在写本文时，正是我在 Quantum Invention 做数据科学家实习生的倒数第二天。此刻，我坐在笔记本电脑屏幕前，再回想起过去几个月的学习历程，非常艰辛但充满成就感。

2018-05-17 10:57:38

数据科学实习学习
重磅！2017年京津冀大数据产业发展分析报告正式发布（附完整版下载）
2018年5月16日-18日，第二届世界智能大会在天津举办。作为世界智能大会专题论坛之一的大数据产业发展高峰论坛，16日下午在天津梅江会展中心举办，聚焦大数据产业的新时代应用。

2018-05-17 10:45:03

大数据分析报告京津冀
“空姐遇害案”引出的一份数据报告：打脸地域黑、黑车最危险、23点以后乘车最不安全
空姐打滴滴顺风车遇害案虽然以嫌疑人溺亡结案告一段落，但是这一悲剧引发的舆论纷争仍在发酵。部分媒体因不当言论引发网民声讨，此外，一些刺耳的声音，如“河南人如何如何”“女性穿着太暴露”等不负责任的说法也陆续出现网络上。

2018-05-16 09:49:23

数据地域黑黑车
大数据专家成为行业热门职位
本文将介绍信息架构师、数据库设计师、数据所有者、数据管理员、数据库管理员和数据科学家的工作和内容。而根据数据库和企业的规模，可能会将多个配置文件合并到一个工作描述中。

2018-05-16 09:00:24

数据质量数据管理数据科学家
数据分析与机器学习如何为业务安全赋能？
本文给出了几个通过数据分析和机器学习的方法检测业务系统中异常的案例。可以看出由于业务系统的功能不同，其数据源和分析方法有较大的差别。

2018-05-16 08:44:55

业务安全数据分析机器学习
达观数据：知识图谱和 Neo4j 浅析
在当前大数据行业中， 随着算法的升级， 特别是机器学习的加入，“找规律”式的算法所带来的“红利”正在逐渐地消失，进而需要一种可以对数据进行更深一层挖掘的方式，这种新的方式就是知识图谱。

2018-05-16 08:26:39

知识图谱Neo4j
BAT、网易、京东等如何做大数据风控的？
大数据风控目前应该是前沿技术在金融领域的最成熟应用，相对于智能投顾、区块链等还在初期的金融科技应用，大数据风控目前已经在业界逐步普及，从BATJ这样的大企业，到交易规模比较大的网贷平台，再到做现金贷、消费金融的创业公司，都在通过大数据风控技术来控制贷款规模扩张中的风险。

2018-05-16 08:16:24

京东互联网金融
R语言相关关系可视化函数梳理（附代码）
当考察多个变量间的相关关系时，通常将多个变量的两两关系以矩阵的形式排列起来，R提供了散点图矩阵、相关矩阵等多种可视化方案，囊括了众多函数。本文对R语言相关关系可视化的函数进行了初步梳理(全篇框架如下)，后续大家可根据个人需求及函数功能择优选择。

2018-05-16 07:53:51

R函数可视化
企业构建大数据平台的痛点、思路与解决路径
创建大数据平台，是个系统性的工程，并不像简简单单开发一款APP一样，需要深度了解当下以及未来的技术发展。曾几何时，组织多半会选择以增量方式实现大数据解决方案。而并非每个分析和报告需求、大型数据集或来自多个数据源的临时报告执行并行处理的项目，都对大数据解决方案有着重要需求。

2018-05-15 15:26:20

大数据平台 CIO
一篇文章让你知道什么是大数据挖掘技术
大数据如果想要产生价值，对它的处理过程无疑是非常重要的，其中大数据分析和大数据挖掘就是最重要的两部分。在前几期的科普中，小编已经为大家介绍了大数据分析的相关情况，本期小编就为大家讲解大数据挖掘技术，让大家轻轻松松弄懂什么是大数据挖掘技术。

2018-05-14 14:00:15

大数据数据挖掘方法
Kafka Connect如何实现同步RDS binlog数据?
本文将演示如何在E-MapReduce上实现将RDS binlog实时同步到Kafka集群中。实验中使用VPC网络环境，以下实例创建时默认都是在VPC环境下。

2018-05-14 13:51:39

RDS Binlog架构Kafka集群
如何利用大数据和个性化推动网络销售
采用网站个性化服务和使用大数据推动在线销售是每个营销专业人士的想法。人们已经从不知道如何使用大数据的时代转向拥有太多数据，并且不得不将其缩减到其真正需要的一切。那么人们需要什么级别或个性化服务来真正推动销售呢?

2018-05-14 12:48:04

大数据销售企业
数据+进化算法=数据驱动的进化优化？进化算法 PK 数学优化
数据驱动的进化优化是什么，仅仅就是数据 + 优化算法吗?数据驱动的进化优化适用于哪些应用场景?传统的数学优化方法是否迎来了新一轮的挑战。本文将为您深入浅出的解答以上问题。

2018-05-14 12:30:37

数据驱动算法优化
杀熟、窥私，暗黑的大数据能否成就善良？
这篇文章主要罗列了三种应用大数据的案例，在这些巨量的数据背后，可能没有所谓消费行为和用户分析，但却有演变历史的真相和直面苦难的真实;可能没有办法谋求商业模式，但却可以做到高效的犯罪监管。我们期待，在分封制的数字王国里，能出现更多类似于此的大数据解药。

2018-05-14 12:05:15

大数据挖掘数据
教你用Python解决非平衡数据问题（附代码）
本次分享的主题是关于数据挖掘中常见的非平衡数据的处理，内容涉及到非平衡数据的解决方案和原理，以及如何使用Python这个强大的工具实现平衡的转换。

2018-05-14 10:43:53

平衡数据数据分析Python
我分析了上亿条“绝地求生”比赛数据，找到了最强“吃鸡”攻略！
在尝到了落地 3 分钟就被毙、跑不过毒倒在半路上失血致死、站在草丛中被不明方向的子弹狙击而亡、出门舔箱被猪队友当作敌人干掉等 100 种死法之后，我突发奇想：我做数据分析的，怎么就不能给自己弄个独家吃鸡攻略呢？！

2018-05-14 08:33:06

比赛数据攻略
从概念到应用：一文搞定数据科学和机器学习的最常见面试题
机器学习方向的面试可以说是非常恐怖了。你觉得自己什么都知道，但面试的时候却很容易陷入窘境。其实很多问题可以事先准备，本文搜集了一些机器学习方向面试时常见的题目，希望能在求职路上助你一臂之力。

2018-05-13 16:06:55

数据科学机器学习面试
大数据告诉你，母亲节送妈妈什么礼物会让她更开心
又到母亲节，据说，“母亲节给妈妈送什么礼物”是世界第2大难题，仅次于第1难的“今天吃什么?”那么这第2大难题应该如何解决呢?显然它不会有一个万能的标准答案，但我们可以给你提供一些线索，希望能帮助你开开脑洞，找到属于你自己的标准答案。

2018-05-13 15:43:37

大数据母亲节礼物
在现实世界中使用数据科学的专家提示
许多企业正在采用和部署大数据应用程序以获得竞争优势，但其中许多企业正在“在工作中学习”，尽其所能地反复试验，但所获得的结果不一。为了提供行业指导，行业媒体记者James Maguire与两位数据科学领域的专家进行了探讨与交流，讨论如何将这种快速发展的技术用于当今的业务。

2018-05-11 15:36:43

数据科学算法数据分析
想挑战智商？10大机器学习算法，看懂你就是数据科学家
想成为数据科学家?你得是个博闻强识，又对新鲜事物保持好奇心的人。正因为如此，数据科学家会掌握几乎所有的常见算法，并精通其中一门，这样可以快速适应新领域的问题。

2018-05-11 14:44:30

机器学习数据科学家算法
中大奖的秘密！彩票的数学知识
2005年2月，美国的一个彩票品种，就出现了漏洞，被麻省理工学院的学生发现了。随后的七年，这个学生反复购买这个品种，一共赚到了300万美元。本文介绍他怎么做的，以及其中的数学原理。我依据的材料，主要来自数学教授 Jordan Ellenberg 在斯坦福大学的一次演讲(Youtube)。

2018-05-11 09:43:55

彩票算法抽奖
工业互联网必须走出的第一步是什么？
众所周知，以太网已经成为家庭、企业及数据中心网络连接和互通的最广泛的通信协议标准。然而因为其确定性、实时性、可靠性等因素，传统以太网并不适用于工业数据通讯。

2018-05-10 22:04:27

工业互联网互联网大数据
报告:连续六年调研大企业数据变革,结果如何
围绕“数据”话题，NewVantage Partners已连续六年对全球各领域的大型企业高管如何看待数据进行调研。每年，调查回复率都在增长，而且据调查结果显示，如何有效数据利用的紧迫性在逐年增加。

2018-05-10 14:22:49

大数据AI人工智能
基于Hadoop的大数据平台实施——整体架构设计
大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。

2018-05-10 13:42:11

Hadoop架构大数据
大数据对比分析，技术面试里的那些门道
众所周知，技术能力的评价是技术求职者的重要的一项指标。但是，求职者的面试表现到底是如何被判定的呢?怎样的面试分数统计才能更加靠谱地衡量求职者的真实水平呢?美国的在线技术面试平台 interviewing.io 通过分析海量数据，给出了自己的答案。

2018-05-10 12:55:51

大数据对比分析面试
Spark的误解-不仅Spark是内存计算，Hadoop也是内存计算
市面上有一些初学者的误解，他们拿Spark和Hadoop比较时就会说，Spark是内存计算，内存计算是Spark的特性。请问在计算机领域，MySQL,Redis,SSH框架等等他们不是内存计算吗？依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供CPU进行执行？

2018-05-10 09:51:39

Spark内存Hadoop
spark 自己的分布式存储系统 - BlockManager
BlockManager 是 spark 中至关重要的一个组件， 在 spark的的运行过程中到处都有 BlockManager 的身影， 只有搞清楚 BlockManager 的原理和机制，你才能更加深入的理解 spark。 今天我们来揭开 BlockaManager 的底层原理和设计思路，

2018-05-10 09:34:21

spark存储系统
2018年7款最佳免费数据分析工具 译文
数据分析软件不一定价格高昂才有效果。这些免费工具可以帮助公司发掘新的洞察力，从各个数据源得出宝贵的预测。希望这七款分析工具(按首字母顺序排列)，能帮助你找到最适合自己的解决方案。

2018-05-10 09:00:57

数据分析工具可视化
100+个自然语言处理数据集大放送，再不愁找不到数据！
奉上100多个按字母顺序排列的开源自然语言处理文本数据集列表（原始未结构化的文本数据），快去按图索骥下载数据自己研究吧！

2018-05-10 08:20:23

自然语言数据集数据
做了这么多年Java程序员，我想转大数据了
对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在很多大数据项目里掌握Java语言是有一定优势的。

2018-05-09 11:04:35

Java程序员大数据
我国大数据交易的发展现状、面临困难及政策建议
在国家政策的积极推动、地方政府和产业界的带动下，贵州、武汉等地开始率先探索大数据交易机制。本文梳理了我国大数据交易现状及存在问题，针对性地提出了促进我国数据资源开放、推动数据应用和释放数据价值的政策建议。

2018-05-08 15:07:02

大数据国家政策大数据交易
中小型企业大数据体系建设的核心技术选型
本文分享的主题是中小型企业基于大数据技术的项目实践，笔者将从大数据技术栈开始说起，并在后文分享自己在工程实践中的一些具体经验。

2018-05-08 14:35:03

大数据数据处理存储
上一页 1 ··· 9394959697 ··· 176
点赞

51CTO技术栈公众号

业务
速览
在线客服