51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8810内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8810 条
Python常用的算法——贪心算法（又称贪婪算法），你知道吗？
贪心算法(又称贪婪算法)是指，在对问题求解时，总是做出在当前看来是最好的选择。也就是说，不从整体最优上加以考虑，他所做出的的时在某种意义上的局部最优解。

2019-10-29 15:09:52

Python贪心算法代码
为什么数据科学的专业认证越来越重要？
数据科学家是当下非常受欢迎的技术人才之一。美国职场网站Glassdor的数据显示，数据科学家已连续四年位居美国职业之首，并日益成为业务增长的重要组成部分。随着对数据科学人才需求的增加以及人们对数据科学重要性认识的加深，有必要进一步规范这一职业。

2019-10-29 15:03:34

数据科学认证职业
学习Kafka，先从这四个基础概念入手
Kafka 是一个消息系统，原本开发自 LinkedIn，用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础。现在它已被多家不同类型的公司 作为多种类型的数据管道和消息系统使用。

2019-10-29 14:54:20

Kafka消息系统分布式
刚刚更新过的大数据书单推荐给你
给大家推荐一份大数据书单，好像这份书单很久没有人更新过了，我搜罗了一份与您共享。

2019-10-29 14:48:17

大数据书单虚拟化
人工智能和自动化改善过程挖掘的6种方法
创建企业的数字孪生、识别机器人流程自动化(RPA)等自动化技术并将孤立的任务连接到流程中，是首席信息官推进流程时发现的几种方法。

2019-10-29 14:07:24

大数据人工智能技术
云计算数据仓库的下一步是什么
如果说多云是当今数据仓库采用的战略，那么跨云就是它对未来的愿景。这种预测来自于一种普遍的需求，即在不同云计算提供商的不同区域之间，甚至在不同的云平台之间无缝地移动和交换数据。

2019-10-28 13:54:45

多云数据云计算
不到70行Python代码，轻松玩转RFM用户分析模型
本文从RFM模型概念入手，结合实际案例，详解Python实现模型的每一步操作，并提供案例同款源数据，以供同学们知行合一。

2019-10-26 13:59:35

PythonRFM模型数据
永洪科技发布桌面智能分析产品 让人人都是数据分析师成为可能 原创
10月25日，以“智同道合，数创未来”为主题的数据分析技术与应用高峰论坛在北京举行。本届论坛由永洪科技主办，永洪科技专家携手众多合作伙伴、行业专家，共同探讨前沿的大数据技术发展，分享大数据成功实践经验，并见证永洪科技自主研发的黑科技的诞生。

2019-10-25 15:55:18

永洪科技大数据分析
如何从企业IT人员成长为优秀的数据分析师？
大公司里的IT技术人员以系统为中心来处理数据，他们一般都拥有许多技能，比如编程、系统开发、系统支持、商业支持以及跨职能团队合作的能力，也正是这些技能使得他们能胜任数据分析师的工作。

2019-10-25 15:48:09

数据分析师IT技术人员数据科学
10分钟零基础就可搞懂的Hadoop架构原理，阿里架构师详解
我今天花了大半个下午的时间，写了这篇hadoop的架构，全篇都是以大白话的形式，也算是为后面更加详细的每一部分开了个好头吧，如果喜欢请点转发和关注，如果有疑问，直接在评论里说出来，大家一起解决，才能进步。

2019-10-24 15:15:19

Hadoop框架数据
Excel，Python全都靠边站，这才是数据分析应该有的样子
面对这么庞大的数据，python还不太熟练的她束手无策，excel就更不用说了，这么大的数据卡死简直是分分钟的事，万般无奈之下，她向专业做数据分析的我请教该怎么办。

2019-10-24 15:11:10

数据分析PythonFineBI
10分钟零基础就可搞懂的Hadoop架构原理，阿里架构师详解
我今天花了大半个下午的时间，写了这篇hadoop的架构，全篇都是以大白话的形式，也算是为后面更加详细的每一部分开了个好头吧，如果喜欢请点转发和关注，如果有疑问，直接在评论里说出来，大家一起解决，才能进步。

2019-10-24 11:03:56

HadoopGoogle硬件
51信用卡被查引发“爬虫技术”争议 是否侵犯个人信息？
据中国之声报道：近日，“51信用卡”被查事件，让本就处在风口浪尖的大数据风险控制领域，再添一把“火”。业内人士透露，在隐私保护薄弱、数据安全存在漏洞的国内互联网环境中，爬虫技术往往与信息来源违法、滥用等问题交织在一起。

2019-10-24 10:40:40

技术爬虫互联网
官方调研重磅发布，Pandas或将重构？
为指引 Pandas 未来开发方向，Pandas 官方团队于 2019 年夏搞了一次调研，这次调研历时 15 天，共有 1250 条反馈数据。问卷数据保存在 data 文件夹的 2019.csv.zip 文件里。

2019-10-24 09:45:03

Pandas数据分析重构
数据科学：合成数据如何解决匿名化问题？
现在，随着GDPR的生效，企业在保护数据时必须格外小心。传统匿名通常不是真正的匿名，最终个人身份是可以识别的。对数据添加额外级别匿名化的一种方法是引入合成数据。

2019-10-23 19:33:24

数据科学保护数据匿名化
数据分析必会的六大实用模型
对于刚刚接触数据分析的人来说，经常会有这样的困惑和疑问：数据分析究竟难不难?难的话难在哪?为什么有时候作分析不知道从何下手，只能眉毛胡子一把抓?

2019-10-23 19:27:38

数据分析模型分析
公司如何选择数据库？DynamoDB、Hadoop和MongoDB 大比拼
随着公司数据存储方式的不断扩展，本文旨在比较公司使用的一些更现代的数据库系统——了解DynamoDB，Hadoop和MongoDB可以提供哪些功能将帮助用户针对业务模型做出更好的决策。

2019-10-23 15:06:23

HadoopMongoDB数据库
如何用通俗地解释大数据
根据调研机构Forrester公司的调查，目前全球32%的电信决策者正在应用或扩展边缘计算设施，另有27%的电信决策者表示计划在一年内构建边缘基础设施。而组织采用边缘计算的主要动力包括对带宽、成本和延迟的敏感性。

2019-10-23 14:51:49

大数据存储技术
数据分析师：数据驱动型业务决策的关键角色
随着组织快速发展其分析能力，数据分析师的角色需求很大。根据调研机构IDC公司今年4月预测，大数据和业务分析解决方案的收入将达到1,891亿美元，到2022年将实现两位数的增长。

2019-10-23 14:29:09

数据分析师数据科学统计
以“矩·变”为主题 神策2019数据驱动大会于北京举行
10月22日，以“矩•变”为主题的神策2019数据驱动大会在北京维景国际大酒店顺利举行，来自全球大数据各大行业的专家聚首北京，融合国际前沿技术与行业实践，深入探讨大数据时代下的新生态、新洞察、新趋势。

2019-10-22 13:58:11

神策数据驱动大会
改进大数据分析以应对网络安全挑战
为了应对网络安全挑战和威胁，组织必须改进大数据分析。这就是大数据分析很重要的原因。大容量存储和移动计算的进步带来了“大数据”这个新兴技术。而其这些技术的进步和发展带来了可以实时处理大量信息的解决方案和工具。这就是大数据分析的需求变得如此“巨大”的原因。

2019-10-22 13:33:44

大数据数据分析技术
适用于数据项目的7种强大的开源工具
功能强大的数据项目开源工具将使企业的业务更加无缝和功能化。无论是数据科学专业人士还是想要帮助企业成功地完成数据科学项目的IT部门，需要使用一些必不可少的数据科学工具。

2019-10-22 11:11:16

大数据工具容器
使用DC/OS为企业数据科学加速！ 译文
这篇逐步介绍的教程介绍了使用Tensorflow将DC/OS Data Science Engine设置成PaaS，用于支持分布式多节点多GPU模型训练。

2019-10-22 08:00:22

数据科学AWSDC
数据及分析的未来是增强分析？
2019年，在澳大利亚悉尼举行的Gartner数据与分析峰会上，Gartner将增强分析作为今年十大战略趋势、整体IT十大战略趋势之一推到了公众面前。在Gartner 最新发布的魔力象限报告中，明确指出增强型分析功能是 BI 产品发展的最重要、也是最显著的发展趋势之一。

2019-10-21 13:12:41

数据分析增强分析人工智能
从关系型数据库到分布式机器学习，揭秘腾讯大数据十年发展历程
大数据技术在过去10多年中极大改变了企业对数据的存储、处理和分析方式。如今，大数据技术逐渐成熟，涵盖了计算、存储、数仓、数据集成、可视化、NOSQL、OLAP分析、机器学习等丰富领域。在未来，大数据技术还会往引擎容器化、大数据机器学习、数据湖等方面不断延伸。

2019-10-21 12:09:26

腾讯大数据数据库
区块链与大数据不得不说的互补关系
区块链和大数据都是新一代信息技术，它们的概念不同，应用领域也有着一定的区别。区块链和大数据也是两种正在蓬勃发展的技术，同样也是两种互补的技术。

2019-10-21 10:18:29

区块链大数据
Python爬虫44万条数据揭秘：如何成为网易音乐评论区的网红段子手
获取数据,其实逻辑并不复杂：爬取歌单列表里的所有歌单url、进入每篇歌单爬取所有歌曲url，去重、进入每首歌曲首页爬取热评，汇总。

2019-10-18 15:36:24

网易歌单热评
谷歌首席科学家：搞研究的痛苦，搞工程的人不懂
谷歌首席科学家、谷歌大脑技术负责人Vincent Vanhoucke(万努克)最近发出的一篇“劝退文”，引发海外科研学者的热议。

2019-10-18 15:07:14

数据科学职业生涯万努克
面试问：Kafka为什么速度那么快？该怎么回答
Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。

2019-10-18 14:54:04

Kafka写入磁盘
对PB级非结构化数据的要求
IT专业人员在试图找到支持PB级非结构化数据集的存储基础设施时面临的挑战之一是，必须将需求作为一个整体来考虑，因为所有元素都需要协同工作。

2019-10-18 13:07:14

PB数据非结构化数据数据集
数据科学中一些不常用但很有用的Python库
提到数据科学的python包，大家想到的估计是numpy，pandas，scikit-learn之类的，这里给大家介绍一些不常用，但是非常有用的python包，就像是痒痒挠，虽然大部分时间用不上，但是真要用起来，还是挺爽的。

2019-10-18 09:25:45

Python苹果公司算法
大数据和人工智能如何协同工作
人工智能和机器学习如何帮助组织从大数据中获得更好的业务见解?需要了解人工智能和大数据分析的下一步发展。大数据技术并不像几年前那样广受关注，但这并不意味着大数据技术没有得到发展。如果说有什么不同的话，那就是大数据的规模正在变得越来越大。

2019-10-17 11:13:27

大数据人工智能
如何使Pandas来加速你的代码？
Pandas是为一次性处理整个行或列的矢量化操作而设计的—循环遍历每个单元格、行或列并不是这个库的设计用途。因此，在使用Pandas时，你应该考虑到矩阵操作是高度并行化的。

2019-10-17 09:57:08

Python设计电脑
使用Spark Streaming SQL进行PV/UV统计
使用Spark Streaming SQL，并结合Redis可以很方便进行PV/UV的统计。本文将介绍通过Streaming SQL消费Loghub中存储的用户访问信息，对过去1分钟内的数据进行PV/UV统计，将结果存入Redis中。

2019-10-17 09:25:56

Spark StreaPVUV
大数据时代下如何打造“智慧交通”
当今时代，数据已经渗透到每一个行业和业务职能领域，对于海量数据的挖掘和运用，因为近年来，互联网和信息行业的发展而进一步引发关注。仅从交通管理角度出发，探索在大数据时代背景下，如何在智能交通的基础上进一步打造智慧交通警务

2019-10-17 09:19:49

大数据智慧交通
一文详解被阿里腾讯视作核心机密的大数据平台架构
提到大数据分析平台，不得不说Hadoop系统，Hadoop到现在也超过10年的历史了，很多东西发生了变化，版本也从0.x进化到目前的2.6版本。

2019-10-17 08:26:21

大数据平台架构腾讯
如何成为大数据领域的佼佼者？
在2019年，数据分析是企业发展需求最大的、最热门的的工作之一。数据分析需要的技术领域包括Python、C ++和Java等编程语言，机器学习和AI经验、定量分析能力、数据挖掘以及SQL / NoSQL数据库和算法开发等技能。

2019-10-16 19:03:09

大数据大数据技术
商业数据可视化可不是比谁图画得漂亮，这些常见误区你了解吗
数据可视化是指利用数据分析工具增加数据的视觉化效果，表达对数据信息的见解。商业领域是使用数据分析最多的地方，销售人员利用可视化数据向客户展示不同的产品，分析人员通过数据画像研究客户的偏好，企业的管理者也需要根据企业经营状况的绩效指标推算经营目标。

2019-10-16 16:40:17

数据可视化数据图表
互联网大数据与物联网大数据的区别 你有必要了解下
互联网大数据和物联网大数据的最大区别是：互联网大数据来源更加广泛，数据也更加多样;物联网大数据的数据格式会比互联网大数据更加规范标准;互联网大数据产生者主要是人，物联网大数据产生者是物。

2019-10-15 15:30:03

互联网大数据物联网
Python处理大数据的2个神奇操作
Python有个处理大数据的库，结合xlrd库，在做一些大数据的处理统计工作的时候很好用，譬如做性能测试，你的结果数据如何统计，python有个库pandas，这个就很擅长做这个工作，这里就讲2个pandas的骚操作。

2019-10-15 15:15:31

Python大数据函数
机器学习与预测分析的区别在何处？
如今，认知学习的应用比以往更为普遍。通常意义上讲，认知学习与认知计算就是涉及AI技术与信号处理的操作过程或技术平台。

2019-10-14 16:57:19

机器学习预测分析 区别
5大数据分析方法，小白也能挑战的数据分析
在数据分析中，三种核心数据分析思维是框架型的指引，实际应用中还是需要很多技巧工具的，这里详细地介绍了7种数据分析技巧，它们分别是象限法，多维法，假设法，指数法，二八法。

2019-10-14 15:57:36

数据分析多维度二八法
微软数据可视化工具SandDance已经开源
SandDance是微软研究院很受欢迎的数据可视化工具，今年年早些时候微软已经将该工具开源，并在GitHub上发布。今天虫虫就和大家就一起来学习一下该工具。

2019-10-14 15:51:40

可视化技术微软数据库
大盘点：8月Github上7个值得关注的数据科学项目
本文带你来看看GitHub上创建于2019年8月的7个数据科学项目。笔者所选项目的范围十分广泛，涉及从机器学习到强化学习的诸多领域。

2019-10-14 15:41:37

数据科学GitHub机器学习
Apache Hive VS Spark：不同目的，同样成功
Hive和Spark凭借其在处理大规模数据方面的优势大获成功，换句话说，它们是做大数据分析的。本文重点阐述这两种产品的发展史和各种特性，通过对其能力的比较，来说明这两个产品能够解决的各类复杂数据处理问题。

2019-10-14 10:09:28

ApacheHiveSpark
2019年六个不错的数据分析工具
数据科学家是21世纪的热门工作。工欲善其事必先利其器。数据分析工具何其多，究竟用哪样才合适?Lewis Chou在Medium上分析了3类6种工具的特点和适用场景，看完这篇文章，相信你就可以知道了。

2019-10-12 14:47:58

Excel大数据数据库
如何为数据集选择正确的聚类算法
应用聚类算法比选择最佳算法要容易得多。 每种类型都有其优缺点，如果您想要一个整洁的集群结构，就必须认真考虑。本文介绍了最广泛的聚类算法及其深入阐述。根据每种方法的特殊性，提供了对使用其应用的建议。

2019-10-12 10:11:02

数据集聚类算法
物联网解决方案中的大数据处理
物联网和大数据正在走向胜利之路。不过，要想从这一创新中获益，还需要解决一些挑战和问题。在本文中，我们很高兴与大家分享多年来在物联网咨询领域积累的知识。

2019-10-12 05:17:11

物联网大数据IOT
Python分析信用卡反欺诈！骗我程序员，不存在的
本文试着从数据分析师的角度，设想“拿到数据该如何寻找规律、选哪种模型来构建反欺诈模型?”的角度来分析，以业务导向为主，不深究算法原理;

2019-10-11 19:51:19

Python数据结构信用卡
SparkSQL访问Hive遇到的问题及解决方法
SparkSQL访问Hive遇到的问题及解决方法，需要先将hadoop的core-site.xml，hive的hive-site.xml拷贝到project中。

2019-10-11 19:45:28

SparkSQLHiveHadoop
上一页 1 ··· 7172737475 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服