51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
IT证书
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8806内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8806 条
三招提升数据不平衡模型的性能（附python代码）
针对数据不平衡问题有相应的处理办法，比如对多数样本进行采样使得其样本数量级与少样本数相近，或者是对少数样本重复使用等。最近恰好在面试中遇到一个数据不平衡问题，这也是面试中经常会出现的问题之一，现向读者分享此次解决问题的心得。

2018-06-11 16:20:22

数据不平衡数据集算法
从人脸识别到情感分析，这有50个机器学习实用API！
还在为找不到机器学习的API而烦恼吗?本篇文章将介绍一个包含50+关于人脸和图像识别，文本分析，NLP，情感分析，语言翻译，机器学习和预测的API列表。

2018-06-10 08:35:30

机器学习API脸识别
10本必读的机器学习和数据科学免费在线电子书
KDnuggets 网站编辑 Matthew Mayo 挑选了一些机器学习和数据科学相关的书籍。是时候让你的书架上新增几本机器学习和数据科学书籍了，最重要的是这些书籍全部有免费的电子版!!!

2018-06-08 16:39:53

机器学习数据科学书籍
Kaggle 20G数据集强势分析“绝地求生”，科学吃鸡攻略拿走不谢！
在吃鸡的过程中你是否捧着手机战战兢兢，一会儿激动得起飞、一会儿手抖得厉害;是否有过落地3分钟就被毙、跑不过毒倒在半路上失血致死、站在草丛中被不明方向的子弹狙击而亡、出门舔箱被猪队友当作敌人干掉……想游戏里活得更久怎么办，大数据分析来帮你。

2018-06-08 16:33:34

大数据游戏吃鸡
数据解读：中国高校招生如何不平等？
根据清华大学校内论坛的信息，我抓取了2006到2013年间各省(即各考区)就读清华的人数。由于清华在中国高等教育中占据特殊地位，这份数据不失为探索中国高校招生地域不平等问题的起点。

2018-06-08 16:28:23

高校招生清华北大
大数据存储平台之异构存储实践深度解读
在数据被视为公司资产的时代，每个公司基本都会保存最近数年的数据，而这些数据尤其是冷数据的累积也给存储平台带来了甜蜜的负担。下面就来分享下如何解决这些“负担”。

2018-06-07 16:33:31

大数据冷热数据存储平台
如何克服数据湖与客户互动分析之间的瓶颈
创建客户的完整视图，并通过最佳渠道实时互动。当今在商业领域的竞争就是了解你的客户。消费者期待个性化的服务和令人满意的体验，而与他们互动品牌无关的东西都可能导致客户选择其他品牌。

2018-06-07 16:10:08

数据湖客户互动互动分析
Python数据预处理：使用Dask和Numba并行化加速
作为旧金山大学的一名数据科学硕士，会经常跟数据打交道。使用Apply函数是我用来创建新特征或清理数据的众多技巧之一。现在，我只是一名数据科学家，而不是计算机科学方面的专家，但我是一个喜欢捣鼓并使得代码运行更快的程序员。现在，我将会分享我在并行应用上的经验。

2018-06-07 15:58:52

Python函数数据
人工智能与大数据的区别
人工智能和大数据是人们耳熟能详的流行术语，但也可能会有一些混淆。人工智能和大数据有什么相似之处和不同之处?它们有什么共同点吗?它们是否相似?能进行有效的比较吗?

2018-06-07 15:22:58

人工智能大数据比较
有些决策不能，也永远不该委托给机器
由于数据偏差、系统内置偏见，不了解统计数据以及过度信任机器的决策者，还有其他众多的挑战，算法永远不会给我们“完美”的结果。那么，在算法和你的判断产生出入时，你将在多大程度上依赖算法？

2018-06-07 07:59:40

算法机器数据分析
腾云大学与美世咨询联合发布会圆满举行，全面明确行业定义
《专业数据人才教育行业生态报告》发布会今日举行，美世咨询中国区副总裁兼战略客户部总经理乔鲁诺先生对专业数据人才市场规模与现状做出介绍；TalkingData CEO助理、腾云大学（TalkingData University）执行校长杨慧女士则对专业数据人才定义、专业数据人才教育行业生态结构等问题做出明确回答。

2018-06-06 19:14:09

TalkingData腾云大学美世咨询
当开源技术遇上大数据创新
大数据新兴技术不断涌现，让我们更容易更精准的从海量繁杂的数据中提取有用价值。开源作为一种推动大数据技术创新的新模式，正广受技术开发人员的热爱。

2018-06-06 15:00:27

开源大数据大数据项目
全球十大数据治理解决方案提供商
数据治理主要是企业内部部署的解决方案，该领域的大多数领导者都是一些传统的软件公司，其中大部分的企业已经在某种程度上向云端过渡。而Gartner公司认为，未来几年，数据治理也将转向云计算。

2018-06-06 14:39:04

大数据数据中心云环境
人工智能与大数据的完美结合
人工智能(AI)已经存在几十年了。然而，最近随着“大数据”的出现，它得到了越来越多的关注。那么，大数据为什么会引起对人工智能的关注呢?答案很简单，人工智能可以用传统人类无法处理的方式来处理大数据集。

2018-06-06 14:21:36

人工智能大数据数据处理
干货 ：基于用户画像的聚类分析
聚类(Clustering)，顾名思义就是“物以类聚，人以群分”，其主要思想是按照特定标准把数据集聚合成不同的簇，使同一簇内的数据对象的相似性尽可能大，同时，使不在同一簇内的数据对象的差异性尽可能大。通俗地说，就是把相似的对象分到同一组。

2018-06-06 14:17:44

聚类分析算法大数据
避免数据备份中的7大风险
如今，全球各地的组织和个人所存储和传输的数据量激增。数据已经无处不在，随着文件规模的增加，其倍增的速率正在快速增长，需要备份的数据比以往更多。

2018-06-06 14:15:12

数据备份勒索软件数据
Kafka解惑之时间轮 (TimingWheel)
Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器(SystemTimer)。

2018-06-06 10:14:32

Kafka时间轮任务
开源模式下的云计算和大数据现状
开源云计算带来的好处很多，其中最吸引人的就是可以帮助企业降低成本。另外，开源模式消除了供应商的限制和壁垒，并且可让技术变得更加协作，合作者会不断更新开源软件，使该技术得到持续的完善和发展。

2018-06-06 10:06:05

云计算大数据开源
还不收藏？Spark动态内存管理源码解析！
Spark有两种内存管理模式，静态内存管理(Static MemoryManager)和动态（统一）内存管理（Unified MemoryManager）。动态内存管理从Spark1.6开始引入，在SparkEnv.scala中的源码可以看到，Spark目前默认采用动态内存管理模式，若将spark.memory.useLegacyMode设置为true，则会改为采用静态内存管理。

2018-06-06 08:28:37

Spark内存管理
数据开启基础设施现代化之门
实现数字化转型的致胜点在于业务和技术的完美结合，而云在其中扮演着一个至关重要的角色——数字化转型的基石。目前，大多数企业正处于传统架构和新型IT架构并存的状态，在上云的道路上，众多企业采用了多云部署的策略，即采用超过一家的云服务商来构建和提供云服务。

2018-06-05 13:43:49

数据基础设施
大数据分析系统Hadoop的13个开源工具
Hadoop是由Apache基金会开发的一个大数据分布式系统基础架构，最早版本是2003年原Yahoo!DougCutting根据Google发布的学术论文研究而来。

2018-06-05 12:06:20

Hadoop开源工具
数据科学“内战”：统计vs.机器学习
和武侠世界里有少林和武当两大门派一样，数据科学领域也有两个不同的学派：以统计分析为基础的统计学派，以及以机器学习为基础的人工智能派。而本文将从数据科学的研究目标和挑战聊起，用几个简单的例子，对比数据科学圈这两大门派之争。

2018-06-05 11:30:22

数据科学机器学习统计学
零售业强竞争，大数据如何帮助弱者角逐
大数据时代，数据分析已经渗透到各行各业，这里也包括零售行业。目前，各大中小型零售商都在努力为客户提供更好的购物体验，用有限的预算为顾客提供满意的服务。零售商业内存在很强的竞争压力，不断的技术创新使得行业景观变化迅速。

2018-06-05 11:20:33

大数据人工智能零售
当大数据满足数据可视化时，如何使数据变得可操作
如今，数据科学家可以使用数据可视化来使他们的信息更具可操作性插图、图表、图表和电子表格可以把枯燥的报告变成有启发性的内容，更容易收集洞察力和可操作的结果。

2018-06-05 10:47:37

数据可视化数据分析
深度:Hadoop对Spark五大维度正面比拼报告！
为了增加混淆，Spark和Hadoop经常与位于HDFS，Hadoop文件系统中的Spark处理数据一起工作。但是，它们都是独立个体，每一个体都有自己的优点和缺点以及特定的商业案例。本文将从以下几个角度对Spark和Hadoop进行对比：体系结构，性能，成本，安全性和机器学习。

2018-06-04 11:28:49

HadoopSpark数据
伯克利发布迄今为止最大驾驶数据集BDD100K，含10万段视频
日前，伯克利发布了迄今最大、最多样化的带有丰富注释的驾驶视频数据集 BDD100K。大家可以访问 http://bdd-data.berkeley.edu 获取该数据集。同时，他们也在 arXiv 上发布了关于该数据集的报告，大家也可以利用该数据集参加他们主办的的 CVPR 2018 挑战赛。

2018-06-04 11:09:04

数据集自动驾驶道路区域
用Python将数据写到CSV文件
我们从网上爬取数据，最后一步会考虑如何存储数据。如果数据量不大，往往不会选择存储到数据库，而是选择存储到文件中，例如文本文件、CSV 文件、xls 文件等。因为文件具备携带方便、查阅直观。

2018-06-04 10:04:48

Python数据语言
你的数据化经营为何屡战屡败，118位CTO给出的7个管理经验
成功的企业数字化案例显然有自己的共同点：重视数据质量、重视数据上下文、以及建立有效的数据管理体制。而失败的企业则各有各的问题。

2018-06-03 15:45:33

数据分析数据数据科学
如何在万亿级别规模的数据量上使用 Spark？
Spark 作为大数据计算引擎，凭借其快速、稳定、简易等特点，快速的占领了大数据计算的领域。本文主要为作者在搭建使用计算平台的过程中，对于 Spark 的理解，希望能给读者一些学习的思路。

2018-06-01 09:42:43

数据Spark规模
什么是预测分析技术?将数据转化为对未来的见解
根据Zion Market Research 市场研究机构2017年发布的报告，预测分析技术已获得众多组织的支持，预计到2022年全球市场将达到约109.5亿美元，2016年至2022年期间的复合年增长率(CAGR)约为21%。

2018-05-31 21:57:13

预测分析技术传统分析算法
Facebook科学家：别给算法模型喂垃圾数据了…
在最近的一次谈话中，Facebook人工智能研究科学家Moustapha Cissé告诉我，“你吃什么你就是什么，而我们正在给算法模型喂垃圾食品。”如果你不知道食物中有什么，你就很难合理饮食。同理，如果你不理解训练数据的原理，就不能训练出偏差更小的模型。

2018-05-31 21:41:57

数据手册人工智能数据集
Amas：基于大数据平台技术开发的统一监控平台
Amas是基于大数据平台技术开发的统一监控平台，其特点包括：全维度监控指标，覆盖从操作系统、中间件、大数据平台(Hadoop/Spark/HBase/Kakfa等)到代码级别、可扩展、自定义的采集框架，支持不同语言(Python/Perl/Shell/...)开发的采集器等

2018-05-31 21:14:49

Amas大数据监控平台
短视频现状如何？大数据告诉你抖音较火，快手较赚钱！
近年来，“短视频”的热度一直高居不下。截止2018年2月，短视频综合平台与短视频聚合平台活跃用户规模分别达到4.035亿人与1.655亿人。短视频对用户的生活方式正带来深刻的变革。

2018-05-31 21:11:24

短视频抖音快手
一文理清Apache Spark内存管理脉络
本文旨在梳理出 Spark 内存管理的脉络，抛砖引玉，文中阐述的原理基于 Spark 2.1 版本，阅读本文需要读者有一定的 Spark 和 Java 基础，了解 RDD、Shuffle、JVM 等相关概念。

2018-05-31 20:49:50

Spark堆内内存优化机制
WOT干货大放送：大数据架构发展趋势及探索实践分享 原创
WOT大数据处理技术分会场，PingCAP CTO黄东旭、易观智库CTO郭炜、Mob开发者服务平台技术副总监林荣波、宜信技术研发中心高级架构师王东及商助科技(99Click)顾问总监郑泉五位讲师，分别针对时下热门的HTAP数据库TiDB、去ETL化的IOTA架构、数据工厂架构、实时敏捷大数据理念实践、基于场景的大数据营销等话题，展开实践分享。

2018-05-31 16:13:12

大数据架构趋势
页面可视化搭建工具的前生今世
页面可视化搭建, 是一个历久弥新的话题. 更广义上讲, 页面是 GUI 的一部分, GUI 的拖拉生成在各种开发工具上很常见, 如 Android Studio, Xcode, Visual Studio 等. 前端页面早在十几年前就能用 Dreamweaver, Frontpage 等工具可视化搭建出来.

2018-05-31 12:12:12

页面可视化工具
2018年数据科学和机器学习调查:Python完胜R语言，Hadoop被抛弃！
近日，数据科学网站KDnuggets发布 2018年数据科学和机器学习工具调查结果。

2018-05-31 09:40:55

数据机器学习Python
可视化的三大误区，哪些可视化工具受欢迎？
数据可视化主要旨在借助于图形化手段，清晰有效地传达与沟通信息。为了有效地传达思想概念，美学形式与功能需要齐头并进，通过直观地传达关键的方面与特征，从而实现对于相当稀疏而又复杂的数据集的深入洞察。

2018-05-31 08:25:13

误区工具可视化
大数据的4大宏观趋势
一系列不同的趋势正在影响大数据举措，但四个总体主题正在成为2018年影响大数据的关键因素：云计算、机器学习、数据治理，以及对速度的需求。

2018-05-30 11:53:27

大数据数据分析数据
深入浅出：大妈也能看懂的大数据分布式计算
本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。

2018-05-30 09:27:15

大数据分布式计算
数据科学目标、挑战以及门派
就像“一千个人眼里有一千个哈姆雷特”一样，对于什么是数据科学也有很多种不同的解读，并由此衍生出很多相关概念，比如数据驱动、大数据、分布式计算等。但这些概念都没能全面地描述数据科学的内涵，本文将从目标、挑战和门派三个方面来阐述什么是数据科学。

2018-05-29 22:34:26

数据科学数据分析工程
一文读懂 Spring Boot、微服务架构和大数据治理三者之间的故事
微服务的诞生并非偶然，它是在互联网高速发展，技术日新月异的变化以及传统架构无法适应快速变化等多重因素的推动下诞生的产物。

2018-05-29 15:33:33

Spring Boot微服务大数据
大数据技术在金融行业的典型应用
从发展特点和趋势来看，“金融云”快速建设落地奠定了金融大数据的应用基础，金融数据与其他跨领域数据的融合应用不断强化，人工智能正在成为金融大数据应用的新方向，金融行业数据的整合、共享和开放正在成为趋势，给金融行业带来了新的发展机遇和巨大的发展动力。

2018-05-29 09:38:40

大数据金融行业银行业
全球大数据发展的新动向与新趋势
目前，伴随移动互联网、智能硬件和物联网的快速普及，全球数据总量呈现指数级增长态势，与此同时，机器学习等先进的数据分析技术创新也日趋活跃，使得大数据隐含的价值得以更大程度的显现，一个更加注重数据价值的新时代正悄然来临。

2018-05-28 22:26:18

大数据智能终端数据挖掘
高效的数据压缩编码方式 Protobuf
Protocol buffers 很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式 。

2018-05-28 21:51:25

Protocol bu数据存储序列化
十张图告诉你大数据的增长趋势
在McKinsey 2018年1月的研究报告 “Analytics Comes of Age”中，以大数据分析为代表的高级分析技术对于销售与营销、研究与开发(R&D)、包括分销在内的供应链管理(SCM)、工作场所管理与运行等领域的营收促进效果最为明显。

2018-05-28 21:17:57

大数据分析软件
Teradata助力企业实现数字化转型 规避投资风险 原创
全球领先的数据和分析解决方案供应商Teradata天睿公司在近日举办的“2018 Teradata大数据峰会”上正式发布Teradata Everywhere和感知型企业理念。

2018-05-28 18:10:15

Teradata数字化转型大数据
一文简述如何使用嵌套交叉验证方法处理时序数据
本文简要讲解了交叉验证和嵌套交叉验证，并介绍了针对单个时序数据和多个时序数据的嵌套交叉验证方法。

2018-05-28 11:03:22

交叉验证时序数据数据集
Spark调优的关键—RDD Cache缓存使用详解
Spark的开发调优有一个原则，即对多次使用的RDD进行持久化。如果要对一个RDD进行持久化，只要对这个RDD调用cache()和persist()即可。

2018-05-28 08:54:45

SparkRDD Cache缓存
简单快捷的数据处理，数据科学需要注意的命令行
对很多数据科学家而言，他们的数据操作经常需要使用 Pandas 或者 Tidyverse。理论上，这个说法没有任何错误，毕竟这就是这些工具存在的原因。然而，对于分隔符转换这样的简单任务而言，这些工具往往是大材小用，我们可以直接使用命令行快速处理。

2018-05-28 08:42:56

数据处理数据科学命令行
上一页 1 ··· 9293949596 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服