51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课免费课排行榜短视频直播课软考学堂
全部课程软考信创认证华为认证厂商认证IT技术PMP项目管理免费题库
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
账号设置 退出

大数据

9258内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 9258 条
下一代大数据即时分析架构--IOTA架构
经过这么多年的发展，已经从大数据1.0的BI/Datawarehouse时代，经过大数据2.0的Web/APP过渡，进入到了IOT的大数据3.0时代，而随之而来的是数据架构的变化

2018-05-17 11:31:45

大数据IOTA架构数据架构
分享：我的第一次数据科学家实习经历
在写本文时，正是我在 Quantum Invention 做数据科学家实习生的倒数第二天。此刻，我坐在笔记本电脑屏幕前，再回想起过去几个月的学习历程，非常艰辛但充满成就感。

2018-05-17 10:57:38

数据科学实习学习
重磅！2017年京津冀大数据产业发展分析报告正式发布（附完整版下载）
2018年5月16日-18日，第二届世界智能大会在天津举办。作为世界智能大会专题论坛之一的大数据产业发展高峰论坛，16日下午在天津梅江会展中心举办，聚焦大数据产业的新时代应用。

2018-05-17 10:45:03

大数据分析报告京津冀
“空姐遇害案”引出的一份数据报告：打脸地域黑、黑车最危险、23点以后乘车最不安全
空姐打滴滴顺风车遇害案虽然以嫌疑人溺亡结案告一段落，但是这一悲剧引发的舆论纷争仍在发酵。部分媒体因不当言论引发网民声讨，此外，一些刺耳的声音，如“河南人如何如何”“女性穿着太暴露”等不负责任的说法也陆续出现网络上。

2018-05-16 09:49:23

数据地域黑黑车
大数据专家成为行业热门职位
本文将介绍信息架构师、数据库设计师、数据所有者、数据管理员、数据库管理员和数据科学家的工作和内容。而根据数据库和企业的规模，可能会将多个配置文件合并到一个工作描述中。

2018-05-16 09:00:24

数据质量数据管理数据科学家
数据分析与机器学习如何为业务安全赋能？
本文给出了几个通过数据分析和机器学习的方法检测业务系统中异常的案例。可以看出由于业务系统的功能不同，其数据源和分析方法有较大的差别。

2018-05-16 08:44:55

业务安全数据分析机器学习
达观数据：知识图谱和 Neo4j 浅析
在当前大数据行业中， 随着算法的升级， 特别是机器学习的加入，“找规律”式的算法所带来的“红利”正在逐渐地消失，进而需要一种可以对数据进行更深一层挖掘的方式，这种新的方式就是知识图谱。

2018-05-16 08:26:39

知识图谱Neo4j
BAT、网易、京东等如何做大数据风控的？
大数据风控目前应该是前沿技术在金融领域的最成熟应用，相对于智能投顾、区块链等还在初期的金融科技应用，大数据风控目前已经在业界逐步普及，从BATJ这样的大企业，到交易规模比较大的网贷平台，再到做现金贷、消费金融的创业公司，都在通过大数据风控技术来控制贷款规模扩张中的风险。

2018-05-16 08:16:24

京东互联网金融
R语言相关关系可视化函数梳理（附代码）
当考察多个变量间的相关关系时，通常将多个变量的两两关系以矩阵的形式排列起来，R提供了散点图矩阵、相关矩阵等多种可视化方案，囊括了众多函数。本文对R语言相关关系可视化的函数进行了初步梳理(全篇框架如下)，后续大家可根据个人需求及函数功能择优选择。

2018-05-16 07:53:51

R函数可视化
企业构建大数据平台的痛点、思路与解决路径
创建大数据平台，是个系统性的工程，并不像简简单单开发一款APP一样，需要深度了解当下以及未来的技术发展。曾几何时，组织多半会选择以增量方式实现大数据解决方案。而并非每个分析和报告需求、大型数据集或来自多个数据源的临时报告执行并行处理的项目，都对大数据解决方案有着重要需求。

2018-05-15 15:26:20

大数据平台 CIO
一篇文章让你知道什么是大数据挖掘技术
大数据如果想要产生价值，对它的处理过程无疑是非常重要的，其中大数据分析和大数据挖掘就是最重要的两部分。在前几期的科普中，小编已经为大家介绍了大数据分析的相关情况，本期小编就为大家讲解大数据挖掘技术，让大家轻轻松松弄懂什么是大数据挖掘技术。

2018-05-14 14:00:15

大数据数据挖掘方法
Kafka Connect如何实现同步RDS binlog数据?
本文将演示如何在E-MapReduce上实现将RDS binlog实时同步到Kafka集群中。实验中使用VPC网络环境，以下实例创建时默认都是在VPC环境下。

2018-05-14 13:51:39

RDS Binlog架构Kafka集群
如何利用大数据和个性化推动网络销售
采用网站个性化服务和使用大数据推动在线销售是每个营销专业人士的想法。人们已经从不知道如何使用大数据的时代转向拥有太多数据，并且不得不将其缩减到其真正需要的一切。那么人们需要什么级别或个性化服务来真正推动销售呢?

2018-05-14 12:48:04

大数据销售企业
数据+进化算法=数据驱动的进化优化？进化算法 PK 数学优化
数据驱动的进化优化是什么，仅仅就是数据 + 优化算法吗?数据驱动的进化优化适用于哪些应用场景?传统的数学优化方法是否迎来了新一轮的挑战。本文将为您深入浅出的解答以上问题。

2018-05-14 12:30:37

数据驱动算法优化
杀熟、窥私，暗黑的大数据能否成就善良？
这篇文章主要罗列了三种应用大数据的案例，在这些巨量的数据背后，可能没有所谓消费行为和用户分析，但却有演变历史的真相和直面苦难的真实;可能没有办法谋求商业模式，但却可以做到高效的犯罪监管。我们期待，在分封制的数字王国里，能出现更多类似于此的大数据解药。

2018-05-14 12:05:15

大数据挖掘数据
教你用Python解决非平衡数据问题（附代码）
本次分享的主题是关于数据挖掘中常见的非平衡数据的处理，内容涉及到非平衡数据的解决方案和原理，以及如何使用Python这个强大的工具实现平衡的转换。

2018-05-14 10:43:53

平衡数据数据分析Python
我分析了上亿条“绝地求生”比赛数据，找到了最强“吃鸡”攻略！
在尝到了落地 3 分钟就被毙、跑不过毒倒在半路上失血致死、站在草丛中被不明方向的子弹狙击而亡、出门舔箱被猪队友当作敌人干掉等 100 种死法之后，我突发奇想：我做数据分析的，怎么就不能给自己弄个独家吃鸡攻略呢？！

2018-05-14 08:33:06

比赛数据攻略
8大工业大数据应用场景，看清物联网时代的工业生产！
工业大数据的典型应用包括产品创新、产品故障诊断与预测、工业生产线物联网分析、工业企业供应链优化和产品精准营销等诸多方面。本文将对工业大数据在制造企业的应用场景进行逐一梳理。

2018-05-14 00:17:21

物联网工业大数据大数据应用
从概念到应用：一文搞定数据科学和机器学习的最常见面试题
机器学习方向的面试可以说是非常恐怖了。你觉得自己什么都知道，但面试的时候却很容易陷入窘境。其实很多问题可以事先准备，本文搜集了一些机器学习方向面试时常见的题目，希望能在求职路上助你一臂之力。

2018-05-13 16:06:55

数据科学机器学习面试
大数据告诉你，母亲节送妈妈什么礼物会让她更开心
又到母亲节，据说，“母亲节给妈妈送什么礼物”是世界第2大难题，仅次于第1难的“今天吃什么?”那么这第2大难题应该如何解决呢?显然它不会有一个万能的标准答案，但我们可以给你提供一些线索，希望能帮助你开开脑洞，找到属于你自己的标准答案。

2018-05-13 15:43:37

大数据母亲节礼物
在现实世界中使用数据科学的专家提示
许多企业正在采用和部署大数据应用程序以获得竞争优势，但其中许多企业正在“在工作中学习”，尽其所能地反复试验，但所获得的结果不一。为了提供行业指导，行业媒体记者James Maguire与两位数据科学领域的专家进行了探讨与交流，讨论如何将这种快速发展的技术用于当今的业务。

2018-05-11 15:36:43

数据科学算法数据分析
想挑战智商？10大机器学习算法，看懂你就是数据科学家
想成为数据科学家?你得是个博闻强识，又对新鲜事物保持好奇心的人。正因为如此，数据科学家会掌握几乎所有的常见算法，并精通其中一门，这样可以快速适应新领域的问题。

2018-05-11 14:44:30

机器学习数据科学家算法
中大奖的秘密！彩票的数学知识
2005年2月，美国的一个彩票品种，就出现了漏洞，被麻省理工学院的学生发现了。随后的七年，这个学生反复购买这个品种，一共赚到了300万美元。本文介绍他怎么做的，以及其中的数学原理。我依据的材料，主要来自数学教授 Jordan Ellenberg 在斯坦福大学的一次演讲(Youtube)。

2018-05-11 09:43:55

彩票算法抽奖
工业互联网必须走出的第一步是什么？
众所周知，以太网已经成为家庭、企业及数据中心网络连接和互通的最广泛的通信协议标准。然而因为其确定性、实时性、可靠性等因素，传统以太网并不适用于工业数据通讯。

2018-05-10 22:04:27

工业互联网互联网大数据
报告:连续六年调研大企业数据变革,结果如何
围绕“数据”话题，NewVantage Partners已连续六年对全球各领域的大型企业高管如何看待数据进行调研。每年，调查回复率都在增长，而且据调查结果显示，如何有效数据利用的紧迫性在逐年增加。

2018-05-10 14:22:49

大数据AI人工智能
基于Hadoop的大数据平台实施——整体架构设计
大数据的热度在持续的升温，继云计算之后大数据成为又一大众所追捧的新星。我们暂不去讨论大数据到底是否适用于您的公司或组织，至少在互联网上已经被吹嘘成无所不能的超级战舰。

2018-05-10 13:42:11

Hadoop架构大数据
大数据对比分析，技术面试里的那些门道
众所周知，技术能力的评价是技术求职者的重要的一项指标。但是，求职者的面试表现到底是如何被判定的呢?怎样的面试分数统计才能更加靠谱地衡量求职者的真实水平呢?美国的在线技术面试平台 interviewing.io 通过分析海量数据，给出了自己的答案。

2018-05-10 12:55:51

大数据对比分析面试
Spark的误解-不仅Spark是内存计算，Hadoop也是内存计算
市面上有一些初学者的误解，他们拿Spark和Hadoop比较时就会说，Spark是内存计算，内存计算是Spark的特性。请问在计算机领域，MySQL,Redis,SSH框架等等他们不是内存计算吗？依据冯诺依曼体系结构，有什么技术的程序不是在内存中运行，需要数据从硬盘中拉取，然后供CPU进行执行？

2018-05-10 09:51:39

Spark内存Hadoop
spark 自己的分布式存储系统 - BlockManager
BlockManager 是 spark 中至关重要的一个组件， 在 spark的的运行过程中到处都有 BlockManager 的身影， 只有搞清楚 BlockManager 的原理和机制，你才能更加深入的理解 spark。 今天我们来揭开 BlockaManager 的底层原理和设计思路，

2018-05-10 09:34:21

spark存储系统
2018年7款最佳免费数据分析工具 译文
数据分析软件不一定价格高昂才有效果。这些免费工具可以帮助公司发掘新的洞察力，从各个数据源得出宝贵的预测。希望这七款分析工具(按首字母顺序排列)，能帮助你找到最适合自己的解决方案。

2018-05-10 09:00:57

数据分析工具可视化
100+个自然语言处理数据集大放送，再不愁找不到数据！
奉上100多个按字母顺序排列的开源自然语言处理文本数据集列表（原始未结构化的文本数据），快去按图索骥下载数据自己研究吧！

2018-05-10 08:20:23

自然语言数据集数据
做了这么多年Java程序员，我想转大数据了
对于Java程序员，大数据的主流平台hadoop是基于Java开发的，所以Java程序员往大数据开发方向转行从语言环境上更为顺畅，另外很多基于大数据的应用框架也是Java的，所以在很多大数据项目里掌握Java语言是有一定优势的。

2018-05-09 11:04:35

Java程序员大数据
我国大数据交易的发展现状、面临困难及政策建议
在国家政策的积极推动、地方政府和产业界的带动下，贵州、武汉等地开始率先探索大数据交易机制。本文梳理了我国大数据交易现状及存在问题，针对性地提出了促进我国数据资源开放、推动数据应用和释放数据价值的政策建议。

2018-05-08 15:07:02

大数据国家政策大数据交易
中小型企业大数据体系建设的核心技术选型
本文分享的主题是中小型企业基于大数据技术的项目实践，笔者将从大数据技术栈开始说起，并在后文分享自己在工程实践中的一些具体经验。

2018-05-08 14:35:03

大数据数据处理存储
Hadoop 3.0版本测试，终将计算与存储解耦！
2018年，关于大数据基础设施的讨论不再围绕使用高质量的数据布局算法减少网络流量的方法展开。相反，现在有更多关于如何可靠地降低分布式存储成本的讨论。

2018-05-08 10:46:31

Hadoop大数据存储
创建有效的大数据模型的6个技巧
数据建模是一门复杂的科学，涉及组织企业的数据以适应业务流程的需求。它需要设计逻辑关系，以便数据可以相互关联，并支持业务。然后将逻辑设计转换成物理模型，该物理模型由存储数据的存储设备、数据库和文件组成。

2018-05-08 10:00:00

大数据模型技巧
为什么数据分析计划总是失败?
报告发现，近40%的响应组织没有单独的数据治理预算，约46%的组织没有正式的数据治理策略。有专家表示，许多企业数据项目中存在弱点并不意外，下面是7个此类问题的数据实践。

2018-05-07 15:30:13

数据治理分析数据集
如何利用散点图矩阵进行数据可视化
本文，我们将介绍如何使用 Seaborn 可视化库(https://seaborn.pydata.org/)在 Python 中启动和运行散点图矩阵。我们将看到如何为快速检查数据而创建默认散点图矩阵，以及如何为了更深入的分析定制可视化方案。

2018-05-07 14:50:27

可视化数据散点图
数据增强：数据有限时如何使用深度学习 ？ （下）
你精通机器学习的相关概念，并能将其应用于机器学习模型。打开浏览器搜索相关数据，很可能会找到一系列数据以及上百幅相关照片。

2018-05-07 14:38:23

数据机器学习人工智能
NanoNets :数据有限时如何应用深度学习？(上)
我觉得人工智能就像是去建造一艘火箭飞船。你需要一个巨大的引擎和许多燃料。如果你有了一个大引擎，但燃料不够，那么肯定不能把火箭送上轨道;如果你有一个小引擎，但燃料充足，那么说不定根本就无法成功起飞。所以，构建火箭船，你必须要一个巨大的引擎和许多燃料。

2018-05-07 14:32:28

人工智能深度学习数据
Kafka的存储机制以及可靠性
kafka通过topic来分主题存放数据，主题内有分区，分区可以有多个副本，分区的内部还细分为若干个segment。所谓的分区其实就是在kafka对应存储目录下创建的文件夹，文件夹的名字是主题名加上分区编号，编号从0开始。

2018-05-07 10:20:38

Kafka存储机制
Accordion :一种HBase内存压缩算法
人们对基于HBase的产品的读写速度要求越来越高。在理想情况下，人们希望HBase 可以在保证其可靠的持久存储的前提下能并拥有内存数据读写的速度。为此，在HBase2.0中引入Accordion算法。

2018-05-07 09:48:49

AccordionHBase内存
从术语到Spark，10篇必读大数据学习资源
本文给想进入大数据领域的朋友提供了一系列的资源，由浅入深，比如“需要了解的51条大数据术语”、“学习python的四个理由”、“十一个必须要参加的大数据会议”等有趣的话题。

2018-05-06 16:59:14

大数据python数据可视化
3分钟了解“关联规则”推荐
“把啤酒放在尿布旁，有助于提升啤酒销售量”是关联规则推荐的经典案例，今天，和大家聊聊“关联规则推荐”，正文不含任何公式，保证PM弄懂。

2018-05-06 16:26:03

关联规则数据分析关联规则推荐
原来Java大数据才是真正的高富帅！
国内大多数大型互联网公司的程序员被称作研发工程师，但实际上国内几乎没有研发项目，只能叫做开发。开发程序员的工作大多是重复性劳动，容易产生疲惫感，薪资在工作2-5年内就达到了一个峰值，再要提升就比较困难，这样就导致了很多程序员最终转行做了其他行业。

2018-05-05 15:35:47

大数据互联网程序员
将大数据转化为大价值的10种途径
现如今，现代化的商务智能解决方案可以通过用户友好的解决方案来降低企业进入的大数据项目的壁垒，并进一步的提升大数据的价值。这允许企业组织内的更多的相关人员(不仅仅只有数据科学家)能够就您企业所收集的数据进行访问、分析和协作。

2018-05-05 14:53:11

大数据价值项目
让你挂掉数据科学家面试的4宗罪
新手需要不断的学习，才能成长为一名具有创造力的数据科学家。另外，作为小白的你可能急切想得到一份数据科学的职位。但你在面试的时候，面试官让你“挂掉”的原因可能有数百种。

2018-05-05 07:46:39

数据科学面试大数据
企业主数据的管理和实施
企业主数据是用来描述企业核心业务实体的数据，比如客户、合作伙伴、员工、产品、物料单、账户等;它是具有高业务价值的、可以在企业内跨越各个业务部门被重复使用的数据，并且存在于多个异构的应用系统中。本文将针对主数据管理的概念以及主数据管理解决方案的实施等方面跟大家作一个探讨。

2018-05-04 15:14:42

主数据数据管理数据仓库
让你挂掉数据科学家面试的4宗罪
对于立志在数据科学领域有一定作为的新手来说，“数据科学家”可不仅仅是一个光彩照人的代名词。新手需要不断的学习，才能成长为一名具有创造力的数据科学家。

2018-05-04 15:09:25

数据科学面试数据科学家
建立物联网和大数据之间的联系
关于什么是大数据及其可带来的价值的热烈讨论已经开始消退。然而，当专家们开始大量使用大数据和物联网的技术组合时，人们又再一次试图定义物联网与大数据连接的方式。

2018-05-04 14:01:19

物联网大数据互联网
上一页 1 ··· 102103104105106 ··· 186
点赞

51CTO技术栈公众号

业务
速览
在线客服