51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8807内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8807 条
创业公司做数据分析(二)运营数据系统
作为系列文章的第二篇，本文将首先来探讨应用层中的运营数据系统，因为运营数据几乎是所有互联网创业公司开始做数据的起点，也是早期数据服务的主要对象。本文将着重回顾下我们做了哪些工作、遇到过哪些问题、如何解决并实现了相应的功能。

2017-02-09 17:51:18

数据分析数据系统互联网
创业公司做数据分析(一)开篇
了解“认知心理学”的朋友应该知道：人类对事物的认知，总是由浅入深。然而，每个人思考的深度千差万别，关键在于思考的方式。通过提问三部曲：WHAT->HOW->WHY，可以帮助我们一步步地从事物的表象深入到事物的本质。比如学习一个新的技术框架，需要逐步搞清楚她是什么、如何使用、为什么这样设计，由浅入深。

2017-02-09 15:46:09

数据分析互联网
创业公司做数据分析(三)用户行为数据采集系统
用户在前端UI上的操作，大多数表现为两类：第一类，打开某个页面，浏览其中的信息，然后点击感兴趣的内容进一步浏览;第二类，打开某个页面，根据UI的提示输入相关信息，然后点击提交。其行为可以归纳为三种：浏览、输入和点击(在移动端，有时也表现为滑动)。

2017-02-09 15:33:51

数据分析采集
用Spark分析Amazon的8000万商品评价(内含数据集、代码、论文)
尽管数据科学家经常通过分布式云计算来处理数据，但是即使在一般的笔记本电脑上，只要给出足够的内存，Spark也可以工作正常(在这篇文章中，我使用2016年MacBook Pro / 16GB内存，分配给Spark 8GB内存)。

2017-02-09 14:34:25

亚马逊大数据Spark
零售业如何用Hadoop开启大数据之门？
“大型零售商永远不可能利用其传统的大数据基础设施进行这种分析。存储如此多的历史数据是十分昂贵的，并且数据类型复杂，并且需要相当多的准备以允许它与PoS事务组合。Hadoop解决了这两个问题，并且可以运行比旧系统更复杂的分析。”

2017-02-09 14:31:54

Hadoop零售业大数据
诸葛io于晓松：五步还原用户群体画像
每个企业都希望能更深入的了解用户，把握用户的需求点，不断提升产品以实现用户增长。因此通常用一系列数据指标来衡量当前的表现。然而，透过PV、UV、注册量、新增用户、DAU这些数字的背后，你是否能够看出用户如何使用产品？用户群有哪些特点？

2017-02-09 14:21:09

诸葛io数据分析用户画像
Qunar用户画像构建策略及应用实践
目前Qunar用户画像数据仓库中的数据源来自业务数据库的数据和用户行为日志数据，目前数据仓库中基本涵盖了机票、酒店、火车票以及保险等业务系统的数据，可以从全方位的了解去哪儿的一个用户的画像。

2017-02-09 11:34:57

大数据用户画像应用实践
携程如何从海量数据中构建精准用户画像？
作为国内旅游OTA的领头羊，携程也有着完善的用户画像平台体系。目前用户画像广泛用于个性化推荐，猜你喜欢等;针对旅游市场，携程更将其应用于“房型排序”“机票排序”“客服投诉”等诸多特色领域。本文将从目的，架构、组成等几方面，带你了解携程在该领域的实践。

2017-02-09 11:05:11

大数据用户画像技术
警惕！大数据可视化的十大误区
通过可视化信息，我们的大脑可以更有效地合成和保留信息内容，增强对信息的理解。但如果是不正确的数据可视化，可能弊大于利。错误的图表可以减少数据的信息，更糟的是完全背道而驰。

2017-02-09 10:31:17

大数据可视化误区
掉电是数据中心无法抹去的痛
数据中心掉电导致业务中断的案例数不胜数。没有人希望数据中心掉电，掉电已经成为了数据中心的心腹大患，因为不知道掉电会什么时候发生，会在哪些设备发生，掉电发生前没有任何先兆，这让数据中心对于掉电问题素手无策。掉电已经成为数据中心无法抹去的痛，面对掉电问题，很多时候都素手无策。

2017-02-08 19:42:10

数据中心掉电电源
浅谈移动接入数据中心的技术难点
通过手机访问互联网，从而进入数据中心，享受数据中心提供的各种应用服务，这种生活模式已经渗入普罗大众并深入人心。不过，谁也没有想到移动互联网发展如此之快，几年之间接入数量从几千万增加到十亿以上，并仍在不断高速增长(中国虽然只有14亿人口，但很多人已开始拥有两部甚至更多手机)，海量移动数据涌入给数据中心带来了诸多技术挑战。

2017-02-08 18:50:48

数据中心移动接入互联网
数据不够怎么训练深度学习模型?不妨试试迁移学习
随着深度学习技术在机器翻译、策略游戏和自动驾驶等领域的广泛应用和流行，阻碍该技术进一步推广的一个普遍性难题也日渐凸显：训练模型所必须的海量数据难以获取。本文是一些当前比较流行的机器学习模型和其所需的数据量，可以看到，随着模型复杂度的提高，其参数个数和所需的数据量也是惊人的。

2017-02-08 17:29:17

迁移大数据深度学习
浅谈车企如何点燃大数据
随着汽车市场逐步饱和，竞争加剧，车企希望通过拥抱大数据实现精细化经营，领先一步。但是大数据化的过程却并非一蹴而就，也不是简单大数据技术选择，更应该看成一个企业级系统工程，本文结合大数据项目实践和行业理解，着重阐述了如何系统看待大数据建设和关键问题解决思路。

2017-02-08 11:30:19

车企大数据仓库
星环科技陈祖峰：2017年金融行业大数据十大应用的趋势展望
回顾2016，中国金融业经历了不平凡的一年。从竞争环境、应用场景、技术方向、数据资产四个方向上，我们可以预计2017年金融行业在大数据应用上的10个趋势。

2017-02-08 11:10:19

大数据应用趋势
数据库索引的实现原理
数据库索引，是数据库管理系统中一个排序的数据结构，以协助快速查询、更新数据库表中数据。索引的实现通常使用B树及其变种B+树。

2017-02-08 11:00:50

数据库索引类型
汽车行业大数据的营销价值
“大数据”时代给汽车营销带来新的契机。对于传统汽车企业来说，如何借大数据之势，建立智能、精准的营销网络系统，助力企业营销决策分析、精准定位目标客户人群、监控品牌影响力、提高产品质量、改进生产工艺，逐步提升市场销售额和完善售后服务质量。

2017-02-08 10:39:29

大数据应用汽车行业
大数据计算架构三国争霸胜负未明
所谓流数据处理其实不难理解，比如看网上视频，都是下载一段看一段，然后快结束的时候自动下载下一段。由于Hadoop的计算过程放在硬盘，受制于硬件条件限制，数据的吞吐和处理速度明显不如使用内存来的快。

2017-02-08 10:30:12

大数据架构Hadoop
我们需要什么样的ETL?
ETL作为传统数据仓库的底层技术组件，主要是服务于数据采集的，因此，一般数据流动往往是单向的，但在新的时期，我们需要拓展其概念的内涵，从ETL升级到交换，以适应更多的应用场景，这是大数据平台规划人员特别需要考虑的。

2017-02-08 10:01:13

大数据ETL技术
大数据跨界，从这里开始
Hadoop生态中最最核心的存储组件莫过于HDFS了，这是支撑hadoop能够做大批量数据处理的基础支撑，便捷而强悍的横向扩展能力。

2017-02-08 10:00:29

大数据hadoopHDFS
机器学习技术对保险行业的影响 译文
机器学习如今已经成为保险公司的一类重要工具，被广泛应用于核心价值链内以了解风险、索赔与客户体验情况。带来的更为灵活/复杂的模型可帮助保险公司提升预测准确性。

2017-02-08 09:36:26

机器学习保险
用Spark学习矩阵分解推荐算法
在矩阵分解在协同过滤推荐算法中的应用中，我们对矩阵分解在推荐算法中的应用原理做了总结，这里我们就从实践的角度来用Spark学习矩阵分解推荐算法。

2017-02-08 09:25:16

Spark分解推荐
2017年亚太地区数据中心的五大预测
在过去的2016年，亚太地区的数据中心市场经历了长达一年的强劲增长，而2017年将又会是数据发展加速的又一年。在新加坡，托管市场在2017年的年增长率将达到9%，到2020年，市值将达到15.6亿新加坡元。

2017-02-07 16:50:15

数据中心亚太地区数字化
重磅干货丨互联网数据挖掘导论
本文说的主题是关于「数据挖掘」，以下为内容大纲，让大家对互联网搜索与挖掘有一个宏观的了解，即知道要做什么和怎么做。注：本文的框架来源于北京大学万小军开设的互联网数据挖掘 Web Data Mining 课程，笔者对内容进行了筛选和编排，用来作为『不周山之数据挖掘』系列的导论部分。

2017-02-07 16:16:02

数据挖掘互联网
时空数据可视分析与可视化读书笔记
本文主要记录了时空数据可视分析与可视化读书笔记，请看正文。

2017-02-07 15:54:14

数据可视化数据分析
工欲善其事必先利其器(大数据分析工具集)
大数据时代需要大数据挖掘，我习惯把大数据分成四个领域：数据科学、网络科学、空间地理科学和可视化技术。

2017-02-07 15:15:20

大数据数据分析数据挖掘
2016年全球10大数据中心提供商概览
过去几年的实践已经表明，运行托管数据中心服务的业务规模越大越好。在零售和批发数据中心市场中，规模最大的公司已经通过收购大量的竞争对手进一步巩固了他们的统治地位，而在二级市场上出现了一波整合浪潮，因为较小的厂商寻求扩展规模以进行竞争。

2017-02-07 14:37:16

数据中心供应商提供商
大数据营销的7个雷区，你踩中了几个？
大数据营销其实是在品牌和效果两端同时做工作——希望通过品牌营销去提升品牌的关注度以及美誉度;在效果层面通过在线上对用户进行影响，使得用户成为店头集客，最后达成成交，实现销售的闭环。

2017-02-07 10:40:36

大数据营销ROI
借助大数据解决现代交通困境
依托大数据为核心的交通行业整体解决方案将以数据为核心驱动，以大数据技术平台为载体，通过科学的数据分析方法对内不断挖掘数据价值，优化管理决策，对外不断提升服务质量，解决交通难题。

2017-02-07 10:11:14

大数据交通
TensorFlow的开源与Hadoop的开源有什么不同？
出现这种区别最大的原因是来源于Google与Apache本质上不同，Google作为一个商业公司，有的是人来维护代码，基本上不在乎来自公司外的贡献。对于Google来说，开源TF(目测k8s也差不多)最大的目的是制定标准，推进自己的cloud，另外如果有更多的人来测试和修修补补那些外围一点的东西那是再好不过了。

2017-02-07 09:30:49

TensorFlowHadoop开源
数据驱动必须靠有力的数据策略来推动
数据治理(仍然是重要的企业活动，常常作为主数据管理或者大数据等工作的一部分)将从IT或IM转移到合规或风险管理领域。

2017-02-07 08:59:10

数据驱动策略
TensorFlow的开源与Hadoop的开源有什么不同？
最近看TensorFlow代码的时候，用Git pull下来最新的master一看，哇好多的更新，然后点击去之前看到一半的cc文件继续看，好多地方都改变了。但是一看Git log，有好多巨大的commit叫什么 “Merge commit for internal changes”, “Merge for github”，没有任何的其他描述…，这样基本上不知道到底改动是为了什么。

2017-02-06 17:00:09

TensorFlowHadoop开源
数据分析的基本思想是什么
今天分享一下数据分析的一些基本思想，我给它起了个名字叫做用数据说话。用数据说话，就是用真实的数据说真实的话!真实也可以理解为求真务实。那么，数据分析就是不断地求真，进而持续地务实的过程!用一句话表达就是用数据说话，用真实的数据说话，说真话、说实话、说管用的话。

2017-02-06 14:12:29

大数据数据分析基本思想
大数据应用：论底层基础设施硬件到底有多重要
对于大数据产业来说，除了在平台化管理要从用户角度出发之外，对于企业的底层硬件平台来说，也需要更加迎合实际的应用环境来对产品进行采购和升级换代，一个强大、安全、稳定的底层硬件平台对于大数据在用户端的丰富应用起到了决定性的作用，所以我们说，一切还是要以用户的需求作为根本出发点。

2017-02-06 11:48:31

大数据基础硬件
工业大数据之现场设备管理“数治”四部曲
企业的生产制造过程是尤为复杂和精密的，其涉及到的传统的现场管理手段、方式和标准可以归纳总结为“法治”或“人治”。而本文则是针对现场管理五要素中的“机”，提供一种“数治”的解决方案，通过引入“数字化镜像”的概念，将现场设备的过去，现在和未来，以大数据的思路进行梳理，为企业制造过程中的设备资产数字化管理提供方向。

2017-02-06 10:56:37

大数据现场设备数治
大数据对未来市场营销的影响
大数据可以被认为是一个秘密成分或一个基本要素。数据的见解可以被认为比实际数据本身更重要。大数据分析帮助企业和公司了解客户的需求，以及他们如何使用这些信息来创建新产品。当企业的营销人员查看这些特定数据时，他们可以知道需要做出哪些更改，以及什么可以保持不变。

2017-02-06 10:44:27

大数据市场营销
推荐系统中基于深度学习的混合协同过滤模型
携程在深度学习与推荐系统结合的领域也进行了相关的研究与应用，并在国际人工智能顶级会议AAAI 2017上发表了相应的研究成果《A Hybrid Collaborative Filtering Model with Deep Structure for Recommender Systems》，本文将分享深度学习在推荐系统上的应用，同时介绍携程基础BI团队在这一领域上的实践。

2017-02-05 21:02:44

大数据深度学习推荐系统
大数据时代，40%的职业都将被边缘化，有你吗？
大数据是改变世界的第四次产业革命，它将颠覆传统产业，也会改写传统行业。 大数据带给时代的冲击已经不言而喻。随着带着产业的变革，很多职业也正在发生改变。

2017-02-05 20:30:22

大数据动向
AdMaster创始人洪倍：大数据深度应用时代，全流程把控数据实现价值最大化
2016年对于我来讲是十分具有纪念意义的一年，在这一年中，由我和 Vincent(Vincent Yan，闫曌 AdMaster创始人 首席执行官) 所创办的公司 AdMaster 度过了他的第十个生日。在十年前的那个夏天，大数据还仅仅存在于概念中，那时的我们就坚信，在未来的十年中，大数据必定会引领一段波澜壮阔的潮流。

2017-02-05 19:59:59

大数据动向应用时代
博晓通创始人&CEO 张宇：对于大数据的理解，目前仍存在4个误区
大数据作为技术热点和转型升级的支撑工具，不管是个人、企业和政府都很期待。但2016年在解决用户实际问题的过程中，发现用户对大数据的理解上存在一些误区，我觉得有必要更清晰地描述出来。

2017-02-05 19:30:20

大数据动向
大数据从何而来?不得不知的7个数据源供应平台
国内外比较知名的数据API产品，基础性的可能更多会选择百度APIStore、聚合数据、Haoservice;而对于行业、专业有特别需求的用户来说，通联数据、Apix会使不错的选择;如果是需求国内社交、电商、资讯平台的数据，可以考虑数说聚合;如果是要国外数据，小编则比较推荐Datasift。读者可根据自身的需求，选择最适合的API。我们都知道一句话“巧妇难为无米之炊”，数据源就是让数据产生价值中的那些大米。

2017-02-05 19:09:30

大数据API百度
大数据平台Docker应用之路
随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟，业界有不少的大数据研发团队开始拥抱Docker。简单来说，Docker会让Hadoop平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线环境的运维更加有质量保障，而这背后的业务场景和具体的实践方法有哪些?在Docker容器服务逐步走向完善的过程中，大数据平台产品Docker模式的应用又是如何解决的?正是本文所着重阐述的。

2017-02-05 18:36:36

大数据Docker容器
大数据平台数据脱敏介绍
针对于大数据平台对于数据脱敏的需求，本文分析了数据泄露可能带来的风险，介绍了数据脱敏技术的理论基础与实现方式，同时简单分析了大数据平台的隐私数据脱敏技术方向。本文讨论的均是基于离线数据的数据脱敏，流式数据的脱敏技术无论是理论基础与具体实践大都还处在摸索的过程中，留待以后继续探索。

2017-02-05 17:27:43

大数据数据保护数据脱敏
这一年来，数据科学家都用哪些算法？
在“数据为王”的今天，越来越多的人对数据科学产生了兴趣。数据科学家离不开算法的使用，那么，数据科学家最常用的算法，都是哪些呢?

2017-02-05 17:10:17

数据科学数据分析数据挖掘
数据科学家45题自测：回归知识部分（有答案和解析）
回归分析远远不止线性或逻辑回归，它包含了许多针对多个变量建模和分析的技巧。该测试旨在考察关于回归技巧的理论和实践知识。这份数据科学家45题的自测，共有1845人参加。如果错过了这次技巧测试，那也无妨，作者给出了所有问题和详细解答。

2017-02-05 17:06:49

数据科学测试数据训练数据
大数据领域2016年有哪些成果及趋势？听听专家怎么说
外媒KDnuggets日前针对大数据领域在2016年度取得的重大发展，以及2017年度可能出现的变化趋势，询问了8位行业内的顶级专家。虽然各位专家的意见不尽相同，但从其发言中大约可以总结出一个共通点：大数据研究正在由前几年的新鲜技术变得越来越普及和商业化。同时，由于研究的向前推进，以数据为基础的人工智能、机器学习和物联网等其他各个领域也将会取得越来越大的成果。

2017-02-05 16:00:07

大数据数据科学数据库
面对数据中心高能耗，是“逃离”还是“自我革命”
在许多人看来，IT行业是一个严谨、缜密甚至有些死板的行业，但这并不代表IT圈就没有“脑洞大开”的创意，比如：把数据中心建在海底。

2017-02-05 15:30:19

大数据数据中心微软
制约大数据发展的核心因素是什么？
本文尝试从大数据产业链的各环节入手，谈谈当前制约其发展主要因素。

2017-02-05 14:49:39

大数据数据安全数据质量
2017年数据中心基础架构趋势
日前，Vertiv(前身为艾默生网络能源)发布了2017年最值得关注的六大数据中心基础架构趋势。

2017-02-05 14:43:23

数据中心Vertiv互联网
Apache Beam的前世今生：谷歌已经不再使用MapReduce了
Apache Beam本身不是一个流式处理平台，而是一个统一的编程框架，它提供了开源的、统一的编程模型，帮助你创建自己的数据处理流水线，实现可以运行在任意执行引擎之上批处理和流式处理任务。Beam对流式计算场景中的所有问题重新做了一次归纳，然后针对这些问题提出了几种不同的解决模型，然后再把这些模型通过一种统一的语言给实现出来，最终这些Beam程序可以运行在任何一个计算平台上(只要相应平台——即Runner实现了对Beam的支持)。

2017-01-23 20:35:24

大数据Apache Beam技术
一篇对大数据深度思考的文章，让你认识并读懂大数据
我认为大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。

2017-01-23 20:04:29

大数据深度思考技术
上一页 1 ··· 118119120121122 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服