51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8816内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8816 条
Kafka的存储机制以及可靠性
kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。

2018-05-07 10:20:38

Kafka存储机制
Accordion :一种HBase内存压缩算法
人们对基于HBase的产品的读写速度要求越来越高。在理想情况下，人们希望HBase 可以在保证其可靠的持久存储的前提下能并拥有内存数据读写的速度。为此，在HBase2.0中引入Accordion算法。

2018-05-07 09:48:49

AccordionHBase内存
从术语到Spark，10篇必读大数据学习资源
本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。

2018-05-06 16:59:14

大数据python数据可视化
3分钟了解“关联规则”推荐
“把啤酒放在尿布旁，有助于提升啤酒销售量”是关联规则推荐的经典案例，今天，和大家聊聊“关联规则推荐”，正文不含任何公式，保证PM弄懂。

2018-05-06 16:26:03

关联规则数据分析关联规则推荐
原来Java大数据才是真正的高富帅！
国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。开发程序员的工作大多是重复性劳动，容易产生疲惫感，薪资在工作2-5年内就达到了一个峰值，再要提升就比较困难，这样就导致了很多程序员最终转行做了其他行业。

2018-05-05 15:35:47

大数据互联网程序员
将大数据转化为大价值的10种途径
现如今，现代化的商务智能解决方案可以通过用户友好的解决方案来降低企业进入的大数据项目的壁垒，并进一步的提升大数据的价值。这允许企业组织内的更多的相关人员(不仅仅只有数据科学家)能够就您企业所收集的数据进行访问、分析和协作。

2018-05-05 14:53:11

大数据价值项目
让你挂掉数据科学家面试的4宗罪
新手需要不断的学习，才能成长为一名具有创造力的数据科学家。另外，作为小白的你可能急切想得到一份数据科学的职位。但你在面试的时候，面试官让你“挂掉”的原因可能有数百种。

2018-05-05 07:46:39

数据科学面试大数据
企业主数据的管理和实施
企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。

2018-05-04 15:14:42

主数据数据管理数据仓库
让你挂掉数据科学家面试的4宗罪
对于立志在数据科学领域有一定作为的新手来说，“数据科学家”可不仅仅是一个光彩照人的代名词。新手需要不断的学习，才能成长为一名具有创造力的数据科学家。

2018-05-04 15:09:25

数据科学面试数据科学家
建立物联网和大数据之间的联系
关于什么是大数据及其可带来的价值的热烈讨论已经开始消退。然而，当专家们开始大量使用大数据和物联网的技术组合时，人们又再一次试图定义物联网与大数据连接的方式。

2018-05-04 14:01:19

物联网大数据互联网
Facebook利用hashtag解决训练数据难题
人工标注数据需要耗费大量人力成本和时间，对模型训练数据集的规模扩大带来限制。Facebook 在图像识别方面的最新研究利用带有 hashtag 的大规模公共图像数据集解决了该问题，其最佳模型的性能超越了之前最优的模型。

2018-05-04 13:51:14

Facebookhashtag数据集
大数据挖掘机器学习人工智能的维恩图战争
大数据也是一个宽泛的概念。机器学习和深度学习则是内涵外延比较明确的概念，公认有包含关系。人工智能则是更大的范畴，但是人工智能和大数据、数据科学都不是一回事情。

2018-05-04 11:10:41

数据科学人工智能大数据
甲骨文提供全方位云服务 助海能达致胜全球专网通信市场
随着我国国民经济快速发展、大型展览活动增加，以及在我国具有自主知识产权的PDT标准的驱动下，专网通信衍生出百亿蓝海市场。专网是指在特定的区域进行信号覆盖的专业网络，它以极强的安全性和稳定性，满足特定行业进行组织管理、安全生产、指挥调度的通信需求，有效弥补了公网通信所无法涉及的领域，成为我国信息化建设的重要一环。

2018-05-03 14:02:03

甲骨文通信市场
HBase运维基础——元数据逆向修复原理
本文不打算着重编写一个工具怎么使用，而是从HBase的运维基础知识介绍开始讲解。为了能帮助大部分读者提高HBase运维能力，后续会写个“HBase运维系列” 专题系列文章，欢迎持续交流。

2018-05-03 10:00:23

HBase运维数据
数据挖掘领域十大经典算法之C4.5算法（超详细附代码）
C4.5是决策树算法的一种。决策树算法作为一种分类算法，目标就是将具有p维特征的n个样本分到c个类别中去。常见的决策树算法有ID3,C4.5,CART。

2018-05-03 09:36:53

算法数据挖掘C4.5
优秀数据科学家的基本技能和特征
如今，数据科学家就是王者。那么，成为数据科学专家需要什么素质呢?据IT主管、行业分析师、数据科学家和其他人士称，以下特征和技能非常重要。

2018-05-03 09:11:51

数据科学家职业数据科学
成为大数据顶尖程序员，先过了下面问题！（附答案解析）
在过去的2017年有不少大数据学成准备参加工作，在参加工作前最重要的一轮就是大数据的面试，小编收集了一些2018春招大数据面试题及答案，希望可以帮到准备或者正在参加大数据面试的朋友们。

2018-05-03 08:49:24

大数据程序员面试
十大最受欢迎的机器学习和数据科学Python库
在数据科学方面，Python的语法与数学语法最为接近，因此是数学家或经济学家等专业人士最容易理解和学习的语言。本文将罗列机器学习和数据科学应用程序中最有用的十大Python工具

2018-05-03 06:49:51

机器学习数据科学Python
大数据的8个最佳实践
大数据如果应用不当可能很容易失控，并可能消耗企业资源和预算。在这里将介绍避免混乱的一些大数据的最佳实践。

2018-05-02 13:59:01

大数据数据收集数据科学
大数据发展到现在，面临的主要挑战是什么？
大数据越来越火，大数据发展到现在，有了一定的技术和商业积累，但是发展到至今，还有很多难题等待我们解决，最主要的挑战，属于成本、实时性、安全等三方面的挑战。

2018-04-27 22:59:10

大数据数据运营
企业大数据工作的任务、工具及挑战
大数据的核心是数据，与大小无关，数据已经成为战略资产。数据是人类活动在网络空间的映射，蕴含人类生产、生活的规律，挖掘数据潜在价值，对国家治理、社会管理、企业决策和个人生活影响深远。

2018-04-27 13:21:29

大数据IT企业数据分析
如何选择数据平台的建设方案
业务跑的好好的，各系统稳定运行，为何还要搭建企业的数据平台?这样的问题，心里想想就可以了，不要大声问出来。我来直接回答一下，公司一般在什么情况下需要搭建数据平台，对各种数据进行重新架构。

2018-04-27 13:11:02

数据平台分析数据整合
数据危机再起！外卖平台信息泄露拷问企业数据资产管理
前不久刚发生了Facebook数据泄露事件，Facebook首席执行官马克·扎克伯格在长达10个小时里接受了近百名美国议员的拷问，回答了关于数据隐私、虚假信息、监管等共计600个问题。

2018-04-27 12:06:59

数据泄露数据管理安全
华为发布新一代企业级分布式数据仓库FusionInsight LibrA
在华为全球金融峰会上，华为发布了新一代企业级分布式数据仓库FusionInsight LibrA 解决方案，旨在为各行业客户提供统一的、可扩展的、高性能的数据分析平台。LibrA支持全并行计算、行列混存、向量化执行、弹性伸缩资源等技术，实现万亿数据关联分析秒级响应和全文检索，从而帮助客户快速分析、挖掘数据价值。

2018-04-26 18:23:37

华为
观点:Gartner只是否定Hadoop一体化平台模式
很多Hadoop忠实使用者对这篇报告进行了大量抨击，一个比一个理由丰富，言辞激烈。但是，很多人都错误得或者没有完全理解这篇报告。

2018-04-26 14:49:25

Hadoop数据基础架构
在算法交易中使用大数据分析
随着大数据的蓬勃发展及其在股票市场上的应用，特别是算法交易，使得投资者获得了良好的回报。认识到在大数据领域的潜力，Intellipaat正在提供关于大数据和数据科学的课程。

2018-04-26 14:11:44

算法大数据分析投资银行
数据科学家的离职潮背后，有怎样的扎心真相？
提到数据科学家，大多数人的印象一定是“精通算法”、“全栈开发能力”、“行业理解独到”、“领导力超群”......但事实上，这群全能的独角兽也有着自己的职业焦虑。今天这位来自英国的数据侠，即将扑灭我们心中对这个职业“憧憬的小火苗”，谈谈现实中的数据科学家。

2018-04-26 14:08:27

数据科学家程序员大数据
大家都在说的分布式系统到底是什么？
本文主要简单介绍了分布式系统的概念、分布式系统的特点、常用的分布式方案以及分布式和集群的区别等。这是我博客中之前发过的一篇文章，关于分布式的问题最近准备再扩展一些文章，遂把一些基础文章在公众号再发一遍，给没看过的朋友看一下。

2018-04-26 11:05:55

分布式系统集中式系统数据处理
2018年的20个主要的大数据认证
“大数据”一词反映了一个非常实际的增长趋势。而大数据认证的数量也在不断增加，尽管不尽相同。这些资格来自供应商、教育机构、独立或行业机构。他们需求量很大。

2018-04-25 17:51:56

大数据大数据认证数据分析
七年一剑 华丽蜕变：WOT2018揭秘技术背后的真相 原创
当下互联网技术的不断演进，使得人工智能、新零售、短视频、VR/AR、IoT、区块链等都埋下了变革的种子，并且不断的萌芽和成长。创新技术逐渐落地应用，新商业模式逐步成熟，更多的互联网企业也迫不及待、更加激进地进行业务扩张。

2018-04-25 14:47:28

WOT2018WOT技术峰会
“大数据杀熟”未必都错，且看它背后的定价思维
在本月复旦大学MBA项目的一次公开课上，复旦大学管理学院产业经济学系骆品亮教授与听众探讨了“大数据杀熟背后的定价思维”。这一话题表面上看是营销问题，深度分析后你会发现，它实际上属于产业经济学的话题。

2018-04-25 08:58:29

杀熟大数据价格
大数据有道之spark选择去重
spark是基于内存运算的大数据分布式并行计算框架，本身具有丰富的API，可实现与HDFS、HBase、Hive、Kafka、Elasticsearch、Druid等组件的交互，同时也是优秀的MapReduce替代方案。

2018-04-25 08:45:46

大数据
数据挖掘领域十大经典算法之—K-Means算法（超详细附代码）
k-means算法比较简单。在k-means算法中，用cluster来表示簇;容易证明k-means算法收敛等同于所有质心不再发生变化。本文为您带来基本的k-means算法流程

2018-04-25 08:10:50

算法k-means代码
大数据整体市场规模达1000亿，金融、政务等行业应用占据七成份额
近日，爱分析在京举办了2018·中国大数据高峰论坛并在会上发布了《中国大数据行业报告》(以下简称报告)。《报告》称，2017年大数据行业整体市场规模1000亿，其中行业应用细分市场规模为700亿，是大数据行业最大细分领域，大数据在金融、政务、互联网成熟度最高。

2018-04-25 07:18:26

大数据政务金融
究竟应该聚多少类？聚类分析
聚类分析(Cluster analysis)是一组将研究对象分为相对同质的群组(Clusters)的统计分析技术。 聚类分析区别于分类分析(Classification analysis) ，前者是无监督学习，而后者是有监督学习。本文通过一个实例对几种常见确定聚类数目的方法进行介绍。

2018-04-24 15:19:52

聚类分析数据方法
互联网公司大数据杀熟越来越厉害，这里有几个办法避开它
越来越多的人在反思算法带来的负面效应。自从微博用户 @廖师傅廖师傅抱怨了自己用手机打车和订酒店遭遇到的“大数据杀熟”，更多人在社交网络上表达共鸣——面对同一段行程、同一家酒店或者同一个商品，基于互联网公司的用户画像，不同的用户会看到截然不同的价格。

2018-04-24 15:13:14

大数据杀熟互联网
甲骨文携手巨大集团 树立制造业数字化转型新典范
巨大集团全球品牌及营销中心首席营销官刘素娟指出：“我们积极投身数字化转型，并希望在构建完整的营销与电商平台之后，简化营销与客户管理工作，让营销人员与门店将更多精力投入在客户关系的经营上。”

2018-04-24 14:28:27

甲骨文巨大集团制造业
数据流时代，Teads如何做到每天赋予1000亿事件价值？
在这篇文章中，我们描述了如何协调Kafka，Dataflow和BigQuery共同采集和转换大数据流。当增加了模式和延时的约束时，调优和重新排序成了很大的挑战，下面展示了我们是如何解决它的。

2018-04-24 10:53:28

数据流Kafka数据处理
3月份Github上最热门的数据科学和机器学习项目
Analytics Vidhya 近日发布了GitHub上3月份最热门的5个数据科学和机器学习项目，本月的名单从Google Brain的AstroNet到人造神经网络可视化工具，这都是非常棒的项目，相信一定可以扩展你的机器学习视野。

2018-04-23 14:01:04

数据科学机器学习开发
【WOT2018】黄东旭：如何运用HTAP数据库帮到你?来听听TiDB的故事 原创
PingCAP是国内首家开源的新型分布式数据库公司，其独立研发的分布式数据库产品TiDB是一款定位于HTAP(Hybrid Transactional/Analytical Processing)混合事务/分析处理数据库的融合、创新型数据库产品。为了实现这一目标，TiDB在架构上将计算和存储层进行高度的抽象和分离，对混合负载的场景通过IO优先级队列，智能副本调度，行列混合存储等技术使其变为可能。

2018-04-23 13:49:03

大数据数据库HTAP
【报告观点】2018年大数据领域的十大趋势 译文
众多企业正在慢慢将大数据迁移到云端，但仍然没有克服与孤岛、员工技能短缺和数据治理有关的挑战。本文为您带来《2018年大数据成熟度调查报告》中所包含十大要点，着重表明了大数据领域的几大趋势。

2018-04-23 13:38:35

大数据数据分析企业
Python数据挖掘与机器学习技术入门实战
什么是数据挖掘?什么是机器学习?又如何进行Python数据预处理?本文将带领大家一同了解数据挖掘和机器学习技术，通过淘宝商品案例进行数据预处理实战，通过鸢尾花案例介绍各种分类算法。

2018-04-23 11:11:52

数据挖掘机器学习Python
泼冷水：为什么如此多的数据科学家正在抛弃他们的工作？
在你的印象中数据科学是21世纪最性感的工作，他不仅能够带来满意的薪酬，而且领域内大量高技能的“极客” 会帮你享受到思想碰撞的乐趣。那么，为什么有这么多的数据科学家在寻找新的工作呢?

2018-04-22 07:36:04

数据科学家数据科学工作
详解：大数据分析的学习之路
随着大数据的愈演愈热，相关大数据的职业也成为热门，给人才发展带来带来了很多机会。数据科学家、数据工程师、数据分析师已经成为大数据行业最热门的职位。它们是如何定义的?具体是做什么工作的?需要哪些技能?让我们一起来看看吧。

2018-04-20 12:12:18

数据分析可视化数据挖掘
干货整理：处理不平衡数据的技巧总结
在银行欺诈检测，市场实时竞价或网络入侵检测等领域通常是什么样的数据集呢?在这些领域使用的数据通常有不到1%少量但“有趣的”事件，例如欺诈者利用信用卡，用户点击广告或者损坏的服务器扫描网络。

2018-04-20 11:33:22

不平衡数据数据集模型
如何选择正确的数据集成工具
为了满足各类业务需求，我们必须将数据与其他数据源的记录系统相集成，从而支持分析、面向客户的应用程序或者内部工作流。而这又带来了新的问题——我们该如何选择正确的数据集成工具，从而对各类数据加以归纳?今天的文章将就此展开探讨。

2018-04-20 10:54:52

数据集成数据科学工具
本周六京东、闪闪泛娱技术大咖进行区块链应用场景解读

2018-04-20 09:01:06

TechNeo／沙龙／
资源控制在大数据和云计算平台中的应用
本文针对大数据平台中资源控制这个层面来详细介绍资源控制在不同操作系统上的具体技术实现，以及大数据平台和资源控制的集成。

2018-04-19 10:39:45

大数据资源控制大数据平台
UMStor Hadapter：大数据与对象存储的柳暗花明
计算机技术领域，何尝不是一个江湖。往具体了说，比如有 Windows 和 Linux 系统级别的缠斗;往抽象了说，有私有云和IOE的概念对垒等。虽说技术不像侠客论剑般交手那么直接，但是背后的暗潮涌动还是能让人嗅到一丝火花的气息。今天我们要讨论的当然不是江湖，而是要掰扯掰扯“数据湖data lake”。

2018-04-19 10:13:43

Hadapter大数据数据湖
Spark streaming中持久保存的RDD/有状态的内存
以spark streaming为例，就是希望有个数据集能够在当前批次中更新，再下个批次后又可以继续访问。一个最简单的实现是在driver的内存中，我们可以自行保存一个大的内存结构。这种hack的方式就是我们无法利用spark提供的分布式计算的能力。

2018-04-18 08:54:28

RDD内存Spark
上一页 1 ··· 9495969798 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服