51CTO首页
AI.x社区
博客
学堂
精品班
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8917内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8917 条
数据科学家 / 统计学家应该养成哪些好习惯？
做过一点统计模型，做过一点数据分析，现在工作名字叫数据科学家，厚着脸皮抛砖引玉，聊聊数据分析中需要养成的良好习惯。

2017-04-12 09:34:30

数据科学家统计学家好习惯
Hive、MapReduce、Spark分布式生成唯一数值型ID
Spark中生成这样的非连续唯一数值型ID，非常简单，直接使用zipWithUniqueId()即可。

2017-04-12 09:29:02

HiveMapReduceSpark
玩笑到现实，大数据涉足文学研究–用数据模型分析莎翁著作
自然语言研究一直以来都是计算机研究的一个重要方向。随着大数据时代的到来，人们也越来越关注自然语言这方面的进展。而文学是自然语言这个皇冠上的明珠。人们都拭目以待大数据摘下这颗明珠的那一天。

2017-04-12 09:18:48

大数据数据模型数据分析
如何将枯燥的大数据呈现为可视化的图和动画？
RAW是基于D3.js的开源工具，不用代码，只需要导入数据，设置一些条件就可快速生成，而且可以导出矢量的图表!

2017-04-12 08:39:55

大数据可视化动画
数据分析机器学习的泰坦尼克案例-牛刀小试
我是51CTO学院讲师唐宇迪，在51CTO学院“4.20 IT充电节”(4月19~20日)到来之际，和大家分享一下机器学习实战案例经验。

2017-04-11 20:49:02

机器学习大数据数据分析
Apache Kylin优化–高级设置：聚合组（Aggregation Group）原理解析
“随着维度数目的增加，Cuboid 的数量会爆炸式地增长。为了缓解 Cube 的构建压力，Apache Kylin 引入了一系列的高级设置，帮助用户筛选出真正需要的 Cuboid。这些高级设置包括聚合组(Aggregation Group)、联合维度(Joint Dimension)、层级维度(Hierachy Dimension)和必要维度(Mandatory Dimension)等。”

2017-04-11 09:33:55

Apache Kyli优化聚合组
Apache Beam 剖析
Apache Beam 主要针对理想并行的数据处理任务，并通过把数据集拆分多个子数据集，让每个子数据集能够被单独处理，从而实现整体数据集的并行化处理。

2017-04-11 09:17:07

Apache Beam剖析Flink
数据分析该分析什么
不管是用Python还是R，其实和用Excel一样，只不过现在之所以用Python、R是因为大数据时代么，数据太多，Excel的处理能力跟不上，但是这些都只是一个工具而已，核心还是围绕统计学不变的。

2017-04-11 09:08:02

数据分析Python
今日头条王烨：真正数据驱动的公司是这样使用数据的 原创
随着今日头条的发展，数据量递增式爆棚，今日头条基础数据平台架构师王烨见证了基础数据平台从无到有、从小到大的历程，故他由来解读平台演进过程中踩的哪些，再合适不过。

2017-04-10 10:05:47

今日头条数据驱动使用数据
Jarvis对大数据分析的未来将会有哪些帮助？
Jarvis使用许多人工智能技术，如语音识别，自然语言处理，强化学习和面部识别，用PHP，Objective-C和Python编写。

2017-04-10 09:06:23

Jarvis大数据人工智能
Hadoop环境中管理大数据存储八大技巧
目前大数据行业也越来越火爆，从而导致国内大数据人才也极度缺乏，下面介绍一下关于Hadoop环境中管理大数据存储技巧。

2017-04-10 08:56:46

Hadoop环境数据存储技巧
Uber开源数据可视化工具deck.gl获重大升级
deck.gl 是一个 WebGL 驱动的框架，专门用于大规模探索和可视化数据集。

2017-04-10 08:26:17

数据可视化工具deck.gl
有望取代Spark的实时机器学习框架Ray
一个新的项目旨在为实时处理开发一种速度更快的框架，可用来支持用Python编写的机器学习应用。

2017-04-08 17:32:39

人工智能乔丹Ray
挨踢部落坐诊第四期:Java消息队列的应用场景和作用 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2017-04-07 11:16:08

消息队列；索引；App
Spark程序运行常见错误解决方法以及优化
task倾斜原因比较多，网络io,cpu,mem都有可能造成这个节点上的任务执行缓慢，可以去看该节点的性能监控来分析原因。以前遇到过同事在spark的一台worker上跑R的任务导致该节点spark task运行缓慢。

2017-04-07 09:02:06

Spark方法优化
数据分析中会常犯哪些错误，如何解决？
经典的冰淇凌销量和游泳溺水人数成正比的数据，这并不能说明冰淇凌销量的增加会导致更多的人溺水，而只能说明二者相关，比如因为天热所以二者数量都增加了。这个例子比较明显，说起来可能会有人觉得怎么会有人犯这样的错误，然而在实际生活、学习、工作中，时不时的就会有人犯这样的错误。

2017-04-07 08:43:46

数据分析错误解决
创业公司做数据分析(五)微信分享追踪系统
本文重点探讨数据采集层中的微信分享追踪系统。

2017-04-06 22:40:52

数据分析追踪系统微信
创业公司做数据分析(六)数据仓库的建设
本文将重点探讨数据处理层中数据仓库的建设。在第二篇运营数据系统一文，有提到早期的数据服务中存在不少问题，虽然在做运营Dashboard系统时，对后台数据服务进行了梳理，构建了数据处理的底层公共库等，但是仍然存在一些问题。

2017-04-06 22:15:07

数据分析数据存储数据仓库
创业公司做数据分析(四)ELK日志系统
本文将重点探讨数据采集层中的ELK日志系统。日志，指的是后台服务中产生的log信息，通常会输入到不同的文件中，比如Django服务下，一般会有nginx日志和uWSGI日志。这些日志分散地存储在不同的机器上，取决于服务的部署情况了。如果我们依次登录每台机器去查阅日志，显然非常繁琐，效率也很低，而且也没法进行统计和检索。因此，我们需要对日志进行集中化管理，将所有机器上的日志信息收集、汇总到一起。

2017-04-06 21:29:58

数据分析ELK架构
智能数据湖势在必行
由大数据触发的数据驱动的做法是一种最好的理解。如今，各个组织正在各种数据结构，格式和分布式地理数据源位置等方面进行竞争，并在时间框架和数量上超过了现有系统的能力。

2017-04-06 13:58:42

数据湖大数据数据管理
监测和管理：现代数据中心的主要考虑因素
对于ASHRAE及其指导方针，我们都有一定程度的了解。但是，业内专家或将告诉您说：数据中心的部署可以是独特于企业组织的要求的。这一点在当今的往往被用作进行大数据处理、云工作负载、虚拟化等等工作的中心枢纽的企业数据中心甚至更为真实。加上新型数据中心架构(如融合)，使得我们将在数据中心看到新的监控和管理需求。

2017-04-06 13:33:46

数据中心大数据
大数据独角兽Palantir之核心技术探秘
如果说谷歌是互联网大数据的霸主(确实如此，我在前文《从Tensorflow看谷歌的云端人工智能战略》有详细解读)，那么Palantir的目标就是做未来企业级大数据霸主，这家公司的愿景就是做企业和政府领域的Google。

2017-04-06 12:43:48

大数据谷歌Palantir
OLTP类系统数据结转更优实践
本文着重介绍了京东数据结转平台的技术架构，及OLTP类系统数据结转最佳实践，探讨解决大数据背景下的数据结转问题。

2017-04-06 09:56:52

大数据数据结转技术架构
Hive的查询注意事项以及优化总结
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别，所以需要去掉原有关系型数据库下开发的一些固有思维。

2017-04-06 09:49:55

Hive注意事项优化
是英雄还是狗熊？大数据那些事之SparkSQL
SparkSQL最主要的东西有两个，一个是DataFrame全面取代了RDD。我必须为这个叫声好。作为一个根红苗正的关系数据库思想熏陶出来的人，带有RDD的Spark总给我一种干爹干妈做的数据处理的产品的感觉。用上DataFrame顿时有回到亲爹亲妈做的产品的感觉。期间的差距，可能是无法言语表达的。

2017-04-06 09:35:10

大数据SparkSQLSpark
手机基站定位数据可视分析
在对轨迹进行可视化时，传统的可视化方法直接将轨迹数据一一绘制在地图上，由于相互遮挡等原因，不适用于大量数据的可视化。采用聚集可视化的方法，将对象个体数据转换为聚集值，能够观察移动对象的群体特征，同时也能减少刻画群体特征的数据量。

2017-04-06 08:42:18

手机定位数据可视
启动大数据项目之前需要问的5个问题
全球每天创造2.5EB字节的数据（即10亿千兆字节）。但它并不总是这样。根据IBM公司的计算，世界上90％的数据只是在过去两年创建的，而且报告中显示，企业使用数据可以节省数百万美元，并以前所未有的方式提高工作效率。

2017-04-05 15:32:42

大数据项目问题
玩不转大数据就别勉强了，或许“小数据”才是真正的终南捷径
数据的收集、分析、应用以及获取最新的数据技术的重要性不言而喻。作为工具，大数据可以帮助我们做出更明智的战略决策、降低成本、更精准地触达受众、理性评估风险、优化产品、更高效地运营业务。随着数据分析工具的推广和普及，预计2019年大数据市场规模将达到数千亿美元。

2017-04-05 12:58:53

大数据小数据
Python vs R : 在机器学习和数据分析领域中的对比
为了鼓励新工具的出现，机器学习和数据分析领域似乎已经成了“开源”的天下。Python 和 R 语言都具有健全的生态系统，其中包括了很多开源工具和资源库，从而能够帮助任何水平层级的数据科学家展示其分析工作。

2017-04-01 14:23:35

PythonR机器学习
Apache Spark 内存管理详解
Spark 作为一个基于内存的分布式计算引擎，其内存管理模块在整个系统中扮演着非常重要的角色。理解 Spark 内存管理的基本原理，有助于更好地开发 Spark 应用程序和进行性能调优。

2017-04-01 14:01:50

Apache Spar内存管理
在 Apache Hive 中轻松生存的12个技巧
Hive可以让你在Hadoop上使用SQL，但是在分布式系统上优化 SQL 则有所不同。这里是让你可以轻松驾驭Hive的12个技巧。

2017-04-01 13:43:05

ApacheHive生存
为什么自然语言处理是商业智能的未来
自然语言处理，也被称为计算机语言学，结合了机器学习、人工智能和允许我们和类人机器对话的语言学。

2017-03-30 14:52:34

自然语言商业智能
首届中国国际大数据产业博览会将于5月26日在筑开幕
3月30日，首届中国国际大数据产业博览会（以下简称数博会）在北京召开新闻发布会，记者从会上获知，经党中央、国务院批准，同意于2017年5月26—29日在贵州省贵阳市举办首届数博会。

2017-03-30 11:34:07

国际大数据产业
秒拍邓铮：如何做到面对二十亿视频播放请求而不慌 原创
人们的消费习惯日益碎片化，在微博上播放次数较多的视频，绝大多数在3分钟以内。即使这样，还有很多人在拖进度条，大家就是想尽快看到亮点。作为每日需要处理二十亿以上播放请求的大型视频网站，如何精准高效的将用户的每次请求迅速的真正实现播放，是充满挑战的一件事。

2017-03-29 14:38:05

高可用视频调度秒拍
飞贷CTO陈定玮：两次重大商业模式改造背后的技术创新 原创
技术创新是商业模式改造的前提，面对高并发、庞大数据量、负载、风险和欺诈等问题，飞贷自研中间件，构建自有风控系统，基于开源平台和技术，根据自身特性进行开发。这样一个商业上勇于创新，技术上愿先行趟坑且转型非常成功的金融科技公司，定有很多宝贵的财富值得后来者学习和借鉴。

2017-03-29 10:45:42

飞贷商业模式技术创新
为什么自然语言处理是商业智能的未来
阶层控制越来越多的财富，自动化的发展使得基层岗位越来越少，未来工人阶层如何生存？有一位大学教授开了个脑洞，他的逻辑很清晰：人民币玩家是游戏公司的金主，想要他们乐乐呵呵掏钱，游戏公司就得养活一群穷玩家

2017-03-28 17:52:58

自然语言处理商业智能
关于数据治理，你需要知道些什么？
每个有效的企业数据计划都离不开数据治理，也就是精心设计的政策，以明确职责、解决不同利益相关方之间的冲突，提供维护和扩展，保护敏感信息。

2017-03-28 15:47:17

数据治理数据库
kylin与superset集成实现数据可视化
Apache kylin是一个开源分布式引擎，提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。而superset是airbnb开源的一款数据可视化工具。

2017-03-28 14:57:23

kylinsuperset可视化
BBC：大数据带来的弊病？近因效应
现今如此多大数据被收集与分析所带来的问题。当你想寻求更长远的视角而开始回顾过去时，你会发现现在的东西太多而过去的东西又太少。目光短浅深深地植入在高估以历史为代价的短期趋势的强大的结构倾向中。

2017-03-28 14:46:02

大数据弊病分析
批发行业转型，你需要搞定啥?
电商平台的崛起，推动着批发行业的转型，全渠道策略面临三大痛点

2017-03-28 13:59:15

批发行业SAP
从底层到应用，那些数据人的必备技能
数据源头，各种炫酷新技术，搭建Hadoop、Hive、Spark、Kylin、Druid、Beam~，前提是你要懂Java，很多平台都是用Java开发的。

2017-03-28 09:26:01

数据必备技能
Hive源码编译及阅读修改调试
Hive起完全分布式的MR任务也可追踪，但是需要修改节点机上的MR启动时Java参数，而且Hive起一个MR任务时，只有当MR启动后才能知道哪个节点机上启动了该任务，之后才能进行Remote debug连接，这在运行环境为完全分布式时会比较麻烦。但如果运行环境为伪分布式，那么追踪可能会更方便些。

2017-03-27 15:15:43

Hive源码编译
聊聊MapReduce处理过程中的数据类型与数据格式
对于MP的处理过程我想大部分人都已经知道了其原理，思路不难，这是肯定的，但是整个过程中需要考虑的细枝末节的点还挺多的，MP的输入输出格式就是其中的一点，那本文就带领大家看看MP中的格式设置问题。

2017-03-27 14:58:03

MapReduce数据类型数据格式
在四大数据管理使用案例中全胜，Teradata客户始终保持极高忠诚度
Gartner报告开篇的重要结论（Key Findings）即勾勒出当前市场格局：“传统分析型数据管理解决方案（DMSA）厂商已为产品增加非关系型数据访问功能，在市场上重获主导地位。”

2017-03-27 11:31:16

Teradata天睿
Hive map阶段缓慢，优化过程详细分析
Hive支持多种压缩格式，有的压缩格式支持split，而有的并不支持，比如LZO。当不支持split的时候，数据块有多大，Hive的map任务就得处理多大，而Hive表的分区数据有可能存在不均衡的现象，就会导致有的map快，有的map慢。当遇到LZO格式的时候，最好的方式是建立索引，可以加快处理速度。

2017-03-27 10:48:03

Hive map优化分析
2017 Gartner数据科学魔力象限出炉，16位上榜公司花落谁家？
2017年Gartner数据科学平台（在2016年被称作“高级分析平台”）的魔力象限报告于近期出炉，哪些企业成为MQ的新宠儿？

2017-03-22 23:02:31

数据科学魔力象限
解读Wikibon 2017年大数据分析预测报告
Wikibon最近完成了2017年大数据全球预测，该报告的作者是Wikibon分析师George Gilbert，以及Wikibon的Ralph Finos和Peter Burris，涉及到大数据的市场规模、增长和趋势等。

2017-03-22 22:52:52

大数据分析预测报告
强势解析eBay BASE模式、去哪儿及蘑菇街分布式架构
互联网行业是大势所趋，从招聘工资水平即可看出，那么如何提升自我技能，满足互联网行业技能要求？需要以目标为导向，进行技能提升，本文主要针对高并发分布式系统设计、架构(数据一致性)做了分析，祝各位早日走上属于自己的”成金之路”。

2017-03-22 22:51:03

强势eBayBASE模式
Hadoop1.0和Hadoop2.0的区别
今天我们讲讲如何选择不同的Hadoop版本。

2017-03-22 20:21:16

Hadoop框架分布式
315面部识别遭质疑 安全堪忧或将成为新的潜在威胁？ 译文
面部识别正快速成为主流，而公众也越来越多地接受将面部识别扫描作为日常生活的组成部分。但未来的安全前景并不乐观，面对新的技术时代，我们也许有必要将面部识别视为一种新的潜在威胁。

2017-03-22 10:57:44

315面部识别安全
上一页 1 ··· 117118119120121 ··· 179
点赞

51CTO技术栈公众号

业务
速览
在线客服