51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
鸿蒙开发者社区
WOT全球技术创新大会
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
精品班厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
CTO训练营技术经理研习营LeaTech峰会
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8594内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8594 条
在人工智能和大数据产品的开发中，有哪些需要特别注意的点？
人工智能是近年来科技发展的重要方向，大数据的采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据产品的开发过程中，有哪些特别需要注意的要点?人工智能领域的算法大师、华盛顿大学教授Pedro Domingos对此进行了深入思考。

2017-07-24 12:48:23

人工智能大数据产品注意点
企业“数据压力锅”即将爆炸，CIO该如何防止爆锅？
随着全球“数字宇宙”的快速膨胀，企业存储在云上及数据中心的海量数据，正在形成“压力锅”，并濒临“爆锅”状态。作为全球数据集成领域的领导者，Informatica的企业数据治理解决方案结合人工智能和机器学习CLAIRE引擎，可跨越多个业务系统访问、发现、清洗、集成和交付数据，为防止企业数据“爆锅”提供基础保障。

2017-07-24 09:50:28

大数据大数据技术
解析常见的数据分析模型——行为事件分析
行为事件分析法主要用于研究某行为事件的发生对企业组织价值的影响以及影响程度。企业借此来追踪或记录用户行为及业务过程，如用户注册、浏览产品详情页、成功投资、提现等，通过研究与事件发生关联的所有因素来挖掘用户行为事件背后的原因、交互影响等。

2017-07-24 09:18:55

大数据数据分析行为事件分析
大数据和个性化设计是用户体验（UX）的未来
以人为本的设计侧重于最终用户的需求，开发人员为每个用户定制个性化解决方案。尽管以人为本的设计有着明显的好处，但它仍处于起步阶段。它仍然是一个新颖的概念的原因是它在大数据出现之前是不可能的。

2017-07-24 09:18:29

大数据设计UX
剖析大数据平台的数据处理
无论是采集数据，还是存储数据，都不是大数据平台的最终目标。失去数据处理环节，即使珍贵如金矿一般的数据也不过是一堆废铁而已。数据处理是大数据产业的核心路径，然后再加上最后一公里的数据可视化，整个链条就算彻底走通了。

2017-07-21 14:22:17

大数据大数据平台数据处理
摩拜尹大飞：人工智能助力百万辆单车精细化运营 原创
7月21日上午WOTI2017主会场，摩拜首席数据科学家尹大飞进行了主题为《人工智能助力百万辆单车精细化运营》的精彩演讲。以下是演讲实录，让我们先睹为快！

2017-07-21 10:10:56

摩拜WOTI人工智能
外媒速递：关于云数据仓库的几项关键思考 原创
数据的增长与多元化趋势给传统数据仓库体系带来巨大压力，并直接推动各类新兴技术方案的诞生。在这样的时代背景之下，云解决方案迅速普及，同时凭借着按使用量计费且易于上手的规模化优势切实同市场需求相对接。

2017-07-21 08:54:12

云数据大数据Kubernetes
10款超好用的开源大数据分析工具
考虑到现有技术解决方案的复杂性与多样化，企业往往很难找到适合自己的大数据收集与分析工具。然而，混乱的时局之下已经有多种方案脱颖而出，证明其能够帮助大家切实完成大数据分析类工作。下面我们将整理出一份包含十款工具的清单，从而有效压缩选择范畴。

2017-07-20 16:40:36

大数据分析工具
分布式数据库和Hadoop都不够好，于是我们设计了分布式SQL计算系统
为了解决分布式数据库下，复杂的 SQL难以实现的问题;在有了一些分布式数据库和 Hadoop 实际应用经验的基础上，对比两者的优点和不足，加上自己的一些提炼和思考, 设计了一套综合两者的系统，利用两者的优点， 补充两者的不足。具体的说， 使用数据库水平分割的思想实现数据存储，使用 MapReduce的思想实现 SQL 计算。

2017-07-20 13:17:35

大数据数据库SQL计算
游戏服务器架构演进(完整版)
游戏服务器，是一个会长期运行程序，并且它还要服务于多个不定时，不定点的网络请求。所以这类服务的特点是要特别关注稳定性和性能。这类程序如果需要多个协作来提高承载能力，则还要关注部署和扩容的便利性;同时，还需要考虑如何实现某种程度容灾需求。由于多进程协同工作，也带来了开发的复杂度，这也是需要关注的问题。

2017-07-20 10:35:51

大数据游戏服务器架构
听Cloudera首席架构师Doug Cutting谈Hadoop与人工智能 原创
Doug Cutting是开源界的技术大神，无论是2000年的Lucene，还是后来基于Lucene衍生的企业级搜索项目Solr以及ElasticSearch，当然还包括后来风靡全球的Hadoop，他经手的每个开源项目都影响甚广并表现出色，尽管笔者不是长期奋战在技术一线的程序员，但也久闻大名，这次采访让笔者期待已久。

2017-07-20 10:31:33

ClouderaDoug CuttinHadoop
Teradata天睿公司收购StackIQ 增强Teradata Everywhere和IntelliCloud部署能力
Teradata天睿公司宣布收购StackIQ。此次交易达成后，Teradata天睿公司将能够发挥StackIQ在开源软件与大型集群配置方面的专业能力，简化与自动化Teradata Everywhere的部署，帮助客户在不同混合云环境下迅速、灵活地部署Teradata解决方案，将有助于加快技术创新，开发出全新业务分析应用程序。

2017-07-20 09:59:52

TeradataStackIQIntelliClou
大数据对IT系统安全来说是一把双刃剑
大数据产业如今正在蓬勃发展，并将变得更加有利可图，在这种情况下，似乎大数据不会很快地发生，它会带来一个问题：大数据对人们来说只有好处吗?更具体地说，它在安全方面是为人们带来便利还是阻碍?

2017-07-20 08:55:47

大数据IT系统安全
大数据如何解决大问题
对许多行业来说,大数据不再是“大忽悠”,其应用意味着从客户分析开始,通过真正了解客户需求,并预测未来行为,从而为客户提供更好的服务。

2017-07-20 07:30:16

大数据数据互联网
发挥大数据及其产业在推动发展方式转变上的作用
大数据时代的到来，互联网成为基础设施，数据变成重要资源，这不仅意味着海量、多样、快速的数据处理和技术创新，更为重要的是改变了传统要素的组合方式。这种变化客观上要求必须转变传统的经济增长方式，实现创新驱动发展。

2017-07-20 06:51:59

大数据互联网数据
人工智能和机器学习如何帮助IT团队解决数据管理问题
掌握和处理大量数据对于IT部门来说是一个挑战。以下是人工智能(AI)和机器学习如何帮助人们分类、组织和汇总大量信息的方法。

2017-07-20 06:27:22

机器学习人工智能数据
大数据治理需要具备哪些能力和关键技术？
从企业数据资产管理和提升数据质量，到自服务和智能化的数据应用，大数据治理的内容在不断发展和完善，其落地实施的过程中会遇到各种各样的难题和挑战。本篇文章通过分析大数据治理建设中的沟沟坎坎，总结出了大数据治理需要具备的能力和关键技术。

2017-07-20 06:08:04

大数据自服务智能化
每个人都应该知道的25个大数据术语
如果你初来乍到，大数据看起来很吓人！根据你掌握的基本理论，让我们专注于一些关键术语以此给你的约会对象、老板、家人或者任何一个人带来深刻的印象。

2017-07-20 01:59:19

大数据算法数据
大数据时代必须破解的重大现实课题
当今，社会信息化和网络化的发展导致数据爆炸式增长，全球数据量大约每两年翻一番，这意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。大数据时代已经到来，大数据渗透到各个行业领域，逐渐成为一种生产要素发挥着重要作用，成为未来竞争的制高点。然而，大数据掀起新一轮生产率提高和生活方式改变的同时，随之而来的是安全挑战，这是我们必须破解的重大现实课题。

2017-07-19 14:40:37

大数据数据隐患数据安全
智能数据变革来临：我为什么看好Chinapex创略模式
在不少人认为这是一个创新的时代，这是一个变革的年代。因为唯有创新与变革，才能给今天的中国社会与经济注入“新动能”。过去的十多年，因为互联网技术和模式的出现，中国社会经济不断创造“新动能”，我们的广大企业积极参与创造了诸多创新奇迹。

2017-07-19 13:59:07

大数据Chinapex创略应用
大数据应用方向思考
本文是作者针对大数据应用方向提出了九大方面的见解。

2017-07-19 11:04:40

大数据大数据应用方向
超实用的数据可视化零基础教程之实战案例篇
将数据可视化后，我们可以发现数据中更大的意义，最重要的还是实践做出来，这篇文章简单的讲解了下可视化的整个过程，我们如何寻找数据，以及做出有意义的可视化图表出来。希望更多的人兴趣，一起来做数据可视化。

2017-07-18 14:40:05

大数据数据可视化
Apache Flume之正则过滤器
在当今的大数据世界中，应用程序产生大量的电子数据 – 这些巨大的电子数据存储库包含了有价值的、宝贵的信息。 对于人类分析师或领域专家，很难做出有趣的发现或寻找可以帮助决策过程的模式。 我们需要自动化的流程来有效地利用庞大的，信息丰富的数据进行规划和投资决策。 在处理数据之前，收集数据，聚合和转换数据是绝对必要的，并最终将数据移动到那些使用不同分析和数据挖掘工具的存储库中。

2017-07-18 14:10:31

大数据Apache Flum过滤器
Python Crawler – 网信贷黑名单数据爬取
现在我要获取的是“姓名、身份证、手机号、微信、支付宝”，这里我使用的是XPATH来获取这些数据，因为这样更简单一些。

2017-07-18 09:15:23

Python Craw数据爬取
如何做好大数据产品设计架构和技术策略？
很多人都看过不同类型的书，也接触过很多有关大数据方面的文章，但都是很零散不成系统，对自己也没有起到多大的作用，所以作者第一时间，带大家从整体体系思路上，了解大数据产品设计架构和技术策略。

2017-07-17 16:06:58

大数据产品设计架构技术策略
银行如何通过大数据预测并防止用户流失？
在现今这个万物互联的时代，在爆炸式的社交媒体中，坏消息的传播速度惊人。经调查，调查显示，有接近63%的用户使用在线个人网络以及社交网站作为获取可靠银行产品信息的来源。并且，有45%的用户会在社交媒体中对他们获得的服务作出评价。因此通过数据，跟踪到用户的想法并及时的作出相应的决策为客户提供更好的服务及合理的定价策略。

2017-07-17 15:02:51

大数据银行用户流失
人工智能和大数据的开发过程中需要注意这12点
人工智能是近年来科技发展的重要方向，在大数据时代，对数据采集、挖掘、应用的技术越来越受到瞩目。在人工智能和大数据的开发过程中，有哪些特别需要注意的要点?

2017-07-17 14:15:43

大数据人工智能注意要点
HBase原理－要弄懂的sequenceId
本文从hbase中非常重要的一个变量(sequenceId)入手，将其所涉及到的WAL模块、Flush模块分别进行了说明。文中只讲了一个大概，很多细节知识并没有深究，有兴趣的同学可以根据文中所讲内容深入源码，相信会比较容易。

2017-07-17 13:59:02

大数据HBase原理sequenceid
发展“大数据+环保”，需转变“重建设，轻管理”思维 原创
‘十三五’环保产业迎来良好开局，但在政策和市场双向给力的大背景下，环保产业企业自身却依然存在很多不容忽视的问题值得更多决策者警醒。比如具体到围绕“水、气、土”等核心资源展开的节能减排、环境监测与预报等，市场对环保企业的技术服务能力、顺应变化的反应力、综合管理水平等都提出了更高的要求和需求。

2017-07-17 13:19:04

大数据云计算环保
你以为自己真的了解用户画像？其实猫腻可多了
“用户画像”并不是最近才出现的，只是近几年谈得比较多。对用户进行画像分析就是将用户信息标签化的过程，打标签是为了帮助理解且方便计算机处理。除了分析数据源，“用户画像”最关键的是根据用户行为及数据，构建模型产出标签、权重。简单的说，就是要设计标签体系，并规定符合该行为的人对应的标签。

2017-07-14 13:07:03

大数据用户画像
谁在人肉搜索？——网络人肉搜索主体的Logistic回归模型分析
本文发表于《广告大观(理论版)》2010年02期，主要使用SPSS软件对一份包含5758个样本的数据进行Logistic回归分析，考察网络人肉搜索参与主体的人口统计特征、基本网络使用情况以及具体的网络参与行为对其参与人肉搜索的影响程度。研究发现23-27岁的男性低收入群体、经常参与网络口水战的人、在网络上爱说谎的人、网络发言是为了发泄情绪的人、网络发言为了引起别人注意的人、更愿意讨论陌生人的私人话题的人、在网络和现实中表现不一的人更容易参与人肉搜索。而且是否参与人肉搜索与网龄和每天上网时间相关。

2017-07-14 10:59:30

大数据人肉搜索网络行为
数据湖恶化成了数据沼泽?你一定没有注意这3点
在Apache Hadoop等技术的支持下，组织一直在寻求构建数据湖——企业范围的数据管理平台，允许以原生格式存储所有数据。数据湖可通过提供给一个单一的数据存储库来打破信息孤岛问题，整个组织都可以使用从业务分析到数据挖掘的所有东西。原始和不受约束，数据湖被认为是一个包罗万象的大数据。

2017-07-14 09:28:47

数据湖Hadoop存储
谁拥有你的数据？谁又动了你的数据？
很多时候我们不会去阅读服务协议，却习惯于签署、通过它们。但现在，这越来越成为一个民生问题了。像 UPS 和亚马逊这样的物流公司，能通过他们先进的监控网络，对员工进行微观管理。而国际零售商和快餐连锁店，则可以利用复杂的数据反馈效率算法生成雇员的时间表。孟山都的“智能农场”技术从大批独立的农民那里提取出有价值的内部数据，而优步司机甚至可以通过建立规模空前的细节数据库，来帮助开发他们的自动驾驶替代品。

2017-07-14 09:13:53

大数据安全
大数据泄露你的行踪？隐私不再是隐私
虽然大数据是大势所趋，也能为我们的生活带来很多便利与进步，但是，当自己的生活有可能完全暴露在别人眼前，甚至受到监控。我们是否应该认真看待这件事情的重要性，在享受科技带来的进步与方便之余，也能同时保护自己的个人隐私?

2017-07-14 08:49:53

大数据隐私普及
有效利用大数据资源，释放数据隐藏的价值
数据的真实价值就像漂浮在海洋中冰山，第一眼只能看到冰山一角，而绝大部分则隐藏在表面之下。在大数据时代，数据的价值仍然存在，只是处于“休眠”状态，而要解锁这些数据的价值，就必须通过统计人员的不懈努力并借助新一代的方法和工具，来释放数据隐藏的价值。

2017-07-13 10:14:20

大数据动向数据价值
Hadoop会取代数仓吗？看硅谷专家怎么说
一想数据管理世界中的那个伟大的存在–数据仓库吧。在过去的二十年中，尽管其他的系统和软件在许许多多的迭代、变革中演进，甚至完全被新模型所抛弃，数据仓库这个老骨干却安然屹立。她可能会偷偷地给自己的面颊，皱纹整容，也可能会激起一些不那么令人深刻的模仿，但是没有什么能长期的吸引她的注意力。

2017-07-13 09:48:22

Hadoop数据仓库
大数据面临的风险和现存问题
人们在谈论大数据的美好图景时当然没有完全忘记它可能带来的风险，但担忧多集中于大数据的后果，如信息安全，而没有集中于如何看待大数据本身。本文将就当前尤其国内技术环境下，进入大数据时代所面临的风险和存在的问题做简要分析，以希望能厘清概念，澄清一些误解。

2017-07-13 09:48:17

大数据动向风险和问题
数据可视化的7个好处
大量研究结果表明人类通过图形获取信息的速度比通过阅读文字获取信息的速度要快很多，那么将数字以可视化的形式展示出来还有其它什么好处，本文详细列举了7种优势。

2017-07-13 09:21:05

大数据数据可视化
数据可视化——“科学与艺术的结合”
数据可视化，是关于数据视觉表现形式，在大数据领域中，素来有“科学与艺术的结合”的说法。这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。

2017-07-12 16:07:49

大数据数据可视化
数据专家必知必会的7款Python工具
我咨询了我们真正的数据专家，收集整理了他们认为所有数据专家都应该会的七款 Python 工具。The Galvanize Data Science 和 GalvanizeU 课程注重让学生们花大量的时间沉浸在这些技术里。当你找第一份工作的时候，你曾经投入的时间而获得的对工具的深入理解将会使你有更大的优势。

2017-07-12 15:32:12

大数据大数据技术Python
数据赋能变现时代，应用有哪些有效的变现方式？
应用变现可以通过商品延伸、增值服务和广告服务的主流方式，也有小比例通过金融支付的方式变现，不过从现实操作来看，广告服务始终还是最具效率的方式。

2017-07-12 08:44:24

数据变现应用
Kafka和消息队列之间的超快速比较
Kafka最初是由Linkedin社区开发的一项技术。简而言之，它有点像消息队列系统，但它与消息队列系统不同的就是它能够支持pub/sub，可以在许多服务器上进行扩展，并重新播放消息。

2017-07-11 16:19:50

大数据Kafka消息队列
挨踢部落坐诊第七期：王者农药福利局究竟是用什么函数写出来的？ 原创
挨踢部落是为核心开发者提供深度技术交流，解决开发需求，资源共享的服务社群。基于此社群，我们邀请了业界技术大咖对开发需求进行一对一突破，解除开发过程中的绊脚石。以最专业、最高效的答复为开发者解决开发难题。

2017-07-11 15:47:14

PythonPHP FC
《网络安全法》实施一个月，大数据创业进入迷茫期
《网络安全法》正式实施前后，像一场寒流，席卷了整个大数据行业。首先，3万多家做数据接口的公司可能直接关门。其次，新三板上市的数据堂公司，另外还有14家数据型的公司，被介入查封。再次，2017年5月20号左右，最高人民法院和最高人民检察院出台了一个《关于打击倒卖公民隐私数据的办法》，此办法将让很多做大数据营销的公司在法律上出现一些障碍。

2017-07-11 14:10:07

大数据动向
10 亿级海量数据运算下，Apache Spark 的四个技术应用实践 原创
本文主要介绍 Apache Spark 如何实现苏宁中台商品价格信息的 TB 级别复杂业务数据处理运算，以及其中碰到的问题和解决方案。

2017-07-11 09:59:22

Apache Spar技术数据
如何利用数据赚钱？大数据价值变现的10种商业0模式及利弊分析
当大数据应用在不同的领域和不同的场景下，所产生的意义及其所代表的意义也都不一样，你没有办法用一句话完全概况。大数据是互联网时代不可或缺的产物，不管你愿不愿意，大数据就在那里，你我都是大数据的制造者同时也是受惠者，这个生态圈的闭环已经形成，而且还在不断的延伸到各行各业，为不同的行业创造着更新、更大的价值。

2017-07-11 08:25:07

大数据商业模式0模式
浅谈金融大数据
金融大数据是大数据技术在金融行业的应用，也指在经济和金融活动之中产生的海量数据。金融大数据的应用带动了金融行业的转型，成为了行业新的驱动力和增长模式。

2017-07-11 06:07:59

金融大数据互联网
工业互联网怎么让大数据产生价值？
中国需要加速从低成本生产向高附加值、高科技制造转型。这是一个非常严峻的挑战。大部分新兴市场国家在转型中失败，陷入“中等收入陷阱”无法自拔：在这种境况中，人均收入没有能够向发达国家的高水平靠拢，而是停滞不前。

2017-07-11 05:11:20

工业互联网大数据
打破数据统一的七大原则
数据统一在数据分析领域里是个长期的挑战，从事数据分析的从业者希望在数据分析之前，来自不同实体的数据能够在同一个地方呈现出来。

2017-07-11 05:03:54

数据分析大数据数据
大数据应用价值发现的三大方法
大数据价值的发现与其所处的应用场景密切相关。概括起来，大数据价值发现可以划分为三大类：数据服务、数据分析和数据探索。

2017-07-11 04:16:30

大数据数据大数据应用
上一页 1 ··· 105106107108109 ··· 172
点赞

51CTO技术栈公众号

业务
速览
在线客服