51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
WOT技术大会
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术24年11月软考PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9049内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9049 条
十大最受欢迎的机器学习和数据科学Python库
在数据科学方面，Python的语法与数学语法最为接近，因此是数学家或经济学家等专业人士最容易理解和学习的语言。本文将罗列机器学习和数据科学应用程序中最有用的十大Python工具

2018-05-03 06:49:51

机器学习数据科学Python
大数据的8个最佳实践
大数据如果应用不当可能很容易失控，并可能消耗企业资源和预算。在这里将介绍避免混乱的一些大数据的最佳实践。

2018-05-02 13:59:01

大数据数据收集数据科学
大数据发展到现在，面临的主要挑战是什么？
大数据越来越火，大数据发展到现在，有了一定的技术和商业积累，但是发展到至今，还有很多难题等待我们解决，最主要的挑战，属于成本、实时性、安全等三方面的挑战。

2018-04-27 22:59:10

大数据数据运营
企业大数据工作的任务、工具及挑战
大数据的核心是数据，与大小无关，数据已经成为战略资产。数据是人类活动在网络空间的映射，蕴含人类生产、生活的规律，挖掘数据潜在价值，对国家治理、社会管理、企业决策和个人生活影响深远。

2018-04-27 13:21:29

大数据IT企业数据分析
如何选择数据平台的建设方案
业务跑的好好的，各系统稳定运行，为何还要搭建企业的数据平台?这样的问题，心里想想就可以了，不要大声问出来。我来直接回答一下，公司一般在什么情况下需要搭建数据平台，对各种数据进行重新架构。

2018-04-27 13:11:02

数据平台分析数据整合
数据危机再起！外卖平台信息泄露拷问企业数据资产管理
前不久刚发生了Facebook数据泄露事件，Facebook首席执行官马克·扎克伯格在长达10个小时里接受了近百名美国议员的拷问，回答了关于数据隐私、虚假信息、监管等共计600个问题。

2018-04-27 12:06:59

数据泄露数据管理安全
华为发布新一代企业级分布式数据仓库FusionInsight LibrA
在华为全球金融峰会上，华为发布了新一代企业级分布式数据仓库FusionInsight LibrA 解决方案，旨在为各行业客户提供统一的、可扩展的、高性能的数据分析平台。LibrA支持全并行计算、行列混存、向量化执行、弹性伸缩资源等技术，实现万亿数据关联分析秒级响应和全文检索，从而帮助客户快速分析、挖掘数据价值。

2018-04-26 18:23:37

华为
观点:Gartner只是否定Hadoop一体化平台模式
很多Hadoop忠实使用者对这篇报告进行了大量抨击，一个比一个理由丰富，言辞激烈。但是，很多人都错误得或者没有完全理解这篇报告。

2018-04-26 14:49:25

Hadoop数据基础架构
在算法交易中使用大数据分析
随着大数据的蓬勃发展及其在股票市场上的应用，特别是算法交易，使得投资者获得了良好的回报。认识到在大数据领域的潜力，Intellipaat正在提供关于大数据和数据科学的课程。

2018-04-26 14:11:44

算法大数据分析投资银行
数据科学家的离职潮背后，有怎样的扎心真相？
提到数据科学家，大多数人的印象一定是“精通算法”、“全栈开发能力”、“行业理解独到”、“领导力超群”......但事实上，这群全能的独角兽也有着自己的职业焦虑。今天这位来自英国的数据侠，即将扑灭我们心中对这个职业“憧憬的小火苗”，谈谈现实中的数据科学家。

2018-04-26 14:08:27

数据科学家程序员大数据
大家都在说的分布式系统到底是什么？
本文主要简单介绍了分布式系统的概念、分布式系统的特点、常用的分布式方案以及分布式和集群的区别等。这是我博客中之前发过的一篇文章，关于分布式的问题最近准备再扩展一些文章，遂把一些基础文章在公众号再发一遍，给没看过的朋友看一下。

2018-04-26 11:05:55

分布式系统集中式系统数据处理
2018年的20个主要的大数据认证
“大数据”一词反映了一个非常实际的增长趋势。而大数据认证的数量也在不断增加，尽管不尽相同。这些资格来自供应商、教育机构、独立或行业机构。他们需求量很大。

2018-04-25 17:51:56

大数据大数据认证数据分析
七年一剑 华丽蜕变：WOT2018揭秘技术背后的真相 原创
当下互联网技术的不断演进，使得人工智能、新零售、短视频、VR/AR、IoT、区块链等都埋下了变革的种子，并且不断的萌芽和成长。创新技术逐渐落地应用，新商业模式逐步成熟，更多的互联网企业也迫不及待、更加激进地进行业务扩张。

2018-04-25 14:47:28

WOT2018WOT技术峰会
“大数据杀熟”未必都错，且看它背后的定价思维
在本月复旦大学MBA项目的一次公开课上，复旦大学管理学院产业经济学系骆品亮教授与听众探讨了“大数据杀熟背后的定价思维”。这一话题表面上看是营销问题，深度分析后你会发现，它实际上属于产业经济学的话题。

2018-04-25 08:58:29

杀熟大数据价格
大数据有道之spark选择去重
spark是基于内存运算的大数据分布式并行计算框架，本身具有丰富的API，可实现与HDFS、HBase、Hive、Kafka、Elasticsearch、Druid等组件的交互，同时也是优秀的MapReduce替代方案。

2018-04-25 08:45:46

大数据
数据挖掘领域十大经典算法之—K-Means算法（超详细附代码）
k-means算法比较简单。在k-means算法中，用cluster来表示簇;容易证明k-means算法收敛等同于所有质心不再发生变化。本文为您带来基本的k-means算法流程

2018-04-25 08:10:50

算法k-means代码
大数据整体市场规模达1000亿，金融、政务等行业应用占据七成份额
近日，爱分析在京举办了2018·中国大数据高峰论坛并在会上发布了《中国大数据行业报告》(以下简称报告)。《报告》称，2017年大数据行业整体市场规模1000亿，其中行业应用细分市场规模为700亿，是大数据行业最大细分领域，大数据在金融、政务、互联网成熟度最高。

2018-04-25 07:18:26

大数据政务金融
究竟应该聚多少类？聚类分析
聚类分析(Cluster analysis)是一组将研究对象分为相对同质的群组(Clusters)的统计分析技术。 聚类分析区别于分类分析(Classification analysis) ，前者是无监督学习，而后者是有监督学习。本文通过一个实例对几种常见确定聚类数目的方法进行介绍。

2018-04-24 15:19:52

聚类分析数据方法
互联网公司大数据杀熟越来越厉害，这里有几个办法避开它
越来越多的人在反思算法带来的负面效应。自从微博用户 @廖师傅廖师傅抱怨了自己用手机打车和订酒店遭遇到的“大数据杀熟”，更多人在社交网络上表达共鸣——面对同一段行程、同一家酒店或者同一个商品，基于互联网公司的用户画像，不同的用户会看到截然不同的价格。

2018-04-24 15:13:14

大数据杀熟互联网
甲骨文携手巨大集团 树立制造业数字化转型新典范
巨大集团全球品牌及营销中心首席营销官刘素娟指出：“我们积极投身数字化转型，并希望在构建完整的营销与电商平台之后，简化营销与客户管理工作，让营销人员与门店将更多精力投入在客户关系的经营上。”

2018-04-24 14:28:27

甲骨文巨大集团制造业
数据流时代，Teads如何做到每天赋予1000亿事件价值？
在这篇文章中，我们描述了如何协调Kafka，Dataflow和BigQuery共同采集和转换大数据流。当增加了模式和延时的约束时，调优和重新排序成了很大的挑战，下面展示了我们是如何解决它的。

2018-04-24 10:53:28

数据流Kafka数据处理
3月份Github上最热门的数据科学和机器学习项目
Analytics Vidhya 近日发布了GitHub上3月份最热门的5个数据科学和机器学习项目，本月的名单从Google Brain的AstroNet到人造神经网络可视化工具，这都是非常棒的项目，相信一定可以扩展你的机器学习视野。

2018-04-23 14:01:04

数据科学机器学习开发
【WOT2018】黄东旭：如何运用HTAP数据库帮到你?来听听TiDB的故事 原创
PingCAP是国内首家开源的新型分布式数据库公司，其独立研发的分布式数据库产品TiDB是一款定位于HTAP(Hybrid Transactional/Analytical Processing)混合事务/分析处理数据库的融合、创新型数据库产品。为了实现这一目标，TiDB在架构上将计算和存储层进行高度的抽象和分离，对混合负载的场景通过IO优先级队列，智能副本调度，行列混合存储等技术使其变为可能。

2018-04-23 13:49:03

大数据数据库HTAP
【报告观点】2018年大数据领域的十大趋势 译文
众多企业正在慢慢将大数据迁移到云端，但仍然没有克服与孤岛、员工技能短缺和数据治理有关的挑战。本文为您带来《2018年大数据成熟度调查报告》中所包含十大要点，着重表明了大数据领域的几大趋势。

2018-04-23 13:38:35

大数据数据分析企业
Python数据挖掘与机器学习技术入门实战
什么是数据挖掘?什么是机器学习?又如何进行Python数据预处理?本文将带领大家一同了解数据挖掘和机器学习技术，通过淘宝商品案例进行数据预处理实战，通过鸢尾花案例介绍各种分类算法。

2018-04-23 11:11:52

数据挖掘机器学习Python
泼冷水：为什么如此多的数据科学家正在抛弃他们的工作？
在你的印象中数据科学是21世纪最性感的工作，他不仅能够带来满意的薪酬，而且领域内大量高技能的“极客” 会帮你享受到思想碰撞的乐趣。那么，为什么有这么多的数据科学家在寻找新的工作呢?

2018-04-22 07:36:04

数据科学家数据科学工作
详解：大数据分析的学习之路
随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么工作的?需要哪些技能?让我们一起来看看吧。

2018-04-20 12:12:18

数据分析可视化数据挖掘
干货整理：处理不平衡数据的技巧总结
在银行欺诈检测，市场实时竞价或网络入侵检测等领域通常是什么样的数据集呢?在这些领域使用的数据通常有不到1%少量但“有趣的”事件，例如欺诈者利用信用卡，用户点击广告或者损坏的服务器扫描网络。

2018-04-20 11:33:22

不平衡数据数据集模型
如何选择正确的数据集成工具
为了满足各类业务需求，我们必须将数据与其他数据源的记录系统相集成，从而支持分析、面向客户的应用程序或者内部工作流。而这又带来了新的问题——我们该如何选择正确的数据集成工具，从而对各类数据加以归纳?今天的文章将就此展开探讨。

2018-04-20 10:54:52

数据集成数据科学工具
本周六京东、闪闪泛娱技术大咖进行区块链应用场景解读

2018-04-20 09:01:06

TechNeo／沙龙／
资源控制在大数据和云计算平台中的应用
本文针对大数据平台中资源控制这个层面来详细介绍资源控制在不同操作系统上的具体技术实现，以及大数据平台和资源控制的集成。

2018-04-19 10:39:45

大数据资源控制大数据平台
UMStor Hadapter：大数据与对象存储的柳暗花明
计算机技术领域，何尝不是一个江湖。往具体了说，比如有 Windows 和 Linux 系统级别的缠斗;往抽象了说，有私有云和IOE的概念对垒等。虽说技术不像侠客论剑般交手那么直接，但是背后的暗潮涌动还是能让人嗅到一丝火花的气息。今天我们要讨论的当然不是江湖，而是要掰扯掰扯“数据湖data lake”。

2018-04-19 10:13:43

Hadapter大数据数据湖
Spark streaming中持久保存的RDD/有状态的内存
以spark streaming为例，就是希望有个数据集能够在当前批次中更新，再下个批次后又可以继续访问。一个最简单的实现是在driver的内存中，我们可以自行保存一个大的内存结构。这种hack的方式就是我们无法利用spark提供的分布式计算的能力。

2018-04-18 08:54:28

RDD内存Spark
Hadoop 3中的磁盘管理大招解密
DataNode 使用基于轮询的策略写入新块。但是，在长期运行的集群中，由于 HDFS 中大规模文件删除或通过磁盘热交换特性添加新 DataNode 磁盘等事件，DataNode 仍然可能创建了显著不平衡的卷。

2018-04-18 08:24:24

磁盘管理解密
12个顶级大数据工具
许多大数据分析工具最初像大数据软件框架Hadoop一样都是开源项目，但商业实体迅速涌现，为开源产品提供了新工具或商业的支持和开发。根据这个行业领域的专家顾问的建议，以下列出一系列主要的大数据分析工具，并列出三个主​​要类别。

2018-04-17 12:58:52

大数据工具大数据数据可视化
世界顶尖战略咨询公司常用数据分析模型
波特的五种竞争力分析模型被广泛应用于很多行业的战略制定。这五种竞争力就是企业间的竞争、潜在新竞争者的进入、潜在替代品的开发、供应商的议价能力、购买者的议价能力。这五种竞争力量决定了企业的盈利能力和水平。

2018-04-17 11:43:59

竞争分析波士顿
预计2021年中国大数据市场规模将达到898亿元
随着移动互联网、智能终端和数据传感器的出现，数据正以超出想象的速度快速增长。据相关数据报告显示，2014年全球数据总量为6.2ZB(万亿GB)，2015年全球数据总量达8.6ZB。目前全球数据的增长速度在每年40%左右，预计到2020年全球的数据总量将达到40ZB。

2018-04-17 10:56:10

大数据互联网规模
大数据之谜Spark基础篇，核心RDD特征分析讲解
RDD(Resilient Distributed Datasets)弹性分布式数据集，是分布式内存的一个抽象概念。我们可以抽象的代表对应一个HDFS上的文件，但是他实际上是被分区的，分为多个分区撒落在Spark集群中的不同节点上。

2018-04-17 09:03:01

SparkRDD大数据
DataHunter打造数据协作平台，加速驱动企业数字化转型
DataHunter是一家专注于业务数据可视化分析展示的科技公司，该公司近日宣布，已完成千万级A轮融资，投资方为Ventech China(银泰资本)。

2018-04-16 16:25:18

DataHunter数字化转型数据
大数据工程师面试题集锦：互联网公司篇！
大数据工程师是近几年异常火爆的职位，市场需求旺盛，众多互联网公司都打出了高薪招聘的广告，本文整理了网络上部分技术人员分享的各大互联网公司大数据类(Hadoop、Spark等)面试题以及面试时需要注意的一些问题，希望对各位技术人员有所帮助。

2018-04-16 12:38:37

大数据工程师面试
数据科学简介：通过对数据分类进行预测（二）
机器学习已成功应用于许多预测和分类问题，包括航班晚点、信用评分和股票价格。在这里，我将探讨两种重要算法：概率神经网络和基于密度的聚类 (DBSCAN)。

2018-04-16 12:14:34

数据科学机器学习神经网络
数据科学简介：分数据、结构和数据科学管道（一）
本文探讨了一种用于机器学习的通用数据管道，其中涵盖了数据工程、模型学习和操作。本系列的下一篇文章将探讨使用公有数据集进行预测的两种机器学习模型。

2018-04-16 11:11:56

数据科学管道数据分析数据整理
深入理解HBase的系统架构
物理上来说，HBase是由三种类型的服务器以主从模式构成的。这三种服务器分别是：Region server，HBase HMaster，ZooKeeper。其中Region server负责数据的读写服务。用户通过沟通Region server来实现对数据的访问。

2018-04-16 11:04:23

HBaseRegion Serv数据库
做大数据项目最头痛的是什么
启动项目前至少要落实五个问题。其实我个人并不是正儿八经的大数据开发，然而这些年太多项目都挂个“大数据”的头衔，以至于我也被拖下水了。所以处理具体需求时会格外谨慎。这两年大数据淡了，人工智能又开始喧嚣了，各位同仁继续打起精神警惕起来哇。

2018-04-15 21:39:04

大数据项目应用
数据分析技术给商业模式带来颠覆的五种方式
近年来，越来越多大型企业开始投资数据分析技术，希望借此证明“我可以做得更好”。而云计算的兴起，也使得规模有限的初创企业也可拥有将大数据技术与高级数据分析加以结合的能力。在今天的文章中，我们将共同探讨数据分析技术给商业模式带来颠覆的五种方式。

2018-04-15 15:27:26

数据分析大数据技术云计算
【WOT2018】易观智库CTO郭炜：Lambda架构已死，新一代去ETL化的IOTA架构 原创
2018WOT全球软件与运维技术峰会重量级嘉宾，拥有13年大数据工作经验的资深专家——易观智库CTO郭炜将在5月18日的2018WOT峰会上分享他的最新观点，那就是Lambda架构已死，新一代去ETL化的IOTA架构才是未来，郭炜将就Lambda与Kappa架构的发展及优缺点展开，分享IOTA大数据架构的思路及优缺点，以及易观在IOTA架构领域的实践经验，以下为郭炜先生整理出的实践心得，供大家先睹为快。

2018-04-13 15:34:50

大数据架构WOT2018
OpenStack如何在大数据用例中扮演关键角色
OpenStack 控制计算、存储和网络资源池。本文主要关注 OpenStack 如何在大数据用例中扮演关键角色。现在，数据随处生成，数据量呈指数增长。来自 Web 服务器、应用程序服务器、数据库服务器的数据以用户信息、日志文件和系统状态信息的形式提供。

2018-04-12 18:00:43

OpenStack大数据容器
大数据、人工智能与云计算的融合与应用
人工智能、大数据与云计算三者有着密不可分的联系。人工智能从1956年开始发展，在大数据技术出现之前已经发展了数十年，几起几落，但当遇到了大数据与分布式技术的发展，解决了计算力和训练数据量的问题，开始产生巨大的生产价值

2018-04-12 16:58:15

大数据人工智能云计算
DataHunter完成千万级A轮融资 加速拓展行业布局
4月11日，国内领先的业务数据协作平台DataHunter正式宣布，已完成千万级A轮融资，投资方为Ventech China。本次融资将帮助DataHunter进一步加强在数据可视化分析展示领域的市场布局，并为公司产品研发和行业拓展提供重要驱动力。

2018-04-12 12:28:56

DataHunter融资数据
大数据领域的12大工具，试试看哪个更好用 译文
为了满足旺盛需求，大数据工具在迅速遍地开花。在大数据这一概念和业务战略出现以来的十年间，市面上出现了成千上万执行各种任务和流程的工具，它们都承诺可为你节省时间和资金，发掘业务洞察力从而实现创收。显然，一个不断增长的市场呈现在大数据分析工具的面前。

2018-04-12 10:02:57

大数据领域工具
上一页 1 ··· 99100101102103 ··· 181
点赞

51CTO技术栈公众号

业务
速览
在线客服