51CTO首页
AI.x社区
博客
学堂
精品班
直播训练营
企业培训
鸿蒙开发者社区
WOT技术大会
AIGC创新中国行
公众号矩阵
移动端
短视频免费课程课程排行直播课软考学堂
全部课程厂商认证IT技术2024年软考PMP项目管理软考资讯
在线学习
文章资源问答课堂专栏直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO题库小程序
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
账号设置 退出

大数据

8819内容  
大数据话题包括大数据相关的最新资讯、前沿技术、使用技巧、应用案例等内容，涉及数据分析、数据可视化、商业智能、Hadoop、Spark、数据湖、数据仓库、等领域。
文章 博文帖子课程
共 8819 条
数据治理之参考数据与主数据管理
主数据管理和参考数据管理，是我们眼前大型企业必备核心数据治理工作。

2023-01-04 09:54:02

数据治理
2022年第十七届中国企业年终评选榜单揭晓：亿万克分布式存储在大型数据仓库的解决方案荣获2022年度 IT行业优秀解决方案奖 原创
截止到2022年12月28日，激扬创新动能，掘金数字时代｜2022年第十七届中国企业年终评选榜单正式揭晓。亿万克分布式存储在大型数据仓库的解决方案凭借其良好的扩展能力、高可靠性及数据安全性，荣获2022年度 IT行业优秀解决方案奖。

2023-01-04 09:44:26

解决方案数据安全
网易邮箱数仓演进之路
展望未来，邮箱业务会持续发展，甚至会尝试突破业务的领域边界。预计会有更多针对特定领域的数据应用出现。这些应用实际上是把调用数仓算力的门槛降低了，会给数据支撑工作带来更大的压力。

2023-01-03 17:43:39

网易邮箱数仓
基于沉淀数据的尾部流量建模方法
在当前的市场情况下，市场上的机构都面临着信贷市场的规模增长开始进入存量阶段，流量的价格日益昂贵的问题。

2023-01-03 14:10:32

沉淀数据大数据
数据又双叒叕波动了？五步法，准确识别数据异常波动
“对数据进行监控，分析指标异动原因”是数据分析常见工作内容。这个需求看似简单，可实际做起来却让很多同学很困惑：到底指标波动多大算大？为啥有时候看起来没多大波动，业务却很紧张问原因，有时候波动很大业务又不着急呢？

2023-01-03 11:34:08

数据异常波动
​图表示学习技术在药物推荐系统中的应用
如果能够利用大数据人工智能技术，充分挖掘此信息并提取相关知识，则有可能帮助我们理解这些高水平机构中医疗专家的一些诊疗方式和思想，进而支撑智慧复诊、医疗影像分析、慢性病随访等一系列的下游智慧医疗的应用，这些具有显著的意义。

2022-12-30 15:35:30

智慧医疗人工智能
Pandas处理大数据的性能优化技巧
Pandas是Python中最著名的数据分析工具。在处理数据集时，每个人都会使用到它。但是随着数据大小的增加，执行某些操作的某些方法会比其他方法花费更长的时间。

2022-12-30 15:29:35

数据分析工具Pandas
金融数据治理实践与思考
在这几年的金融行业的数据治理过程中，有哪些具体的实践？为了帮助大家解决这些困扰，本文将对金融数据治理的实践与思考，做一个梳理和总结。

2022-12-30 15:27:13

金融行业数据治理
数据中心的计算和存储要「分家」？
到底为什么需要Diskless架构？Diskless架构能发挥怎样的优势？

2022-12-30 14:47:36

数据中心架构
数据中台项目管理实践分享
本文总结了企业级数据中台项目的实践经验，希望能够为正在规划或者已在实施数据中台类项目的企业和个人提供经验。

2022-12-30 11:46:00

数据中台
人货匹配模型搞懂没？大家都在讨论它
所谓电子商务，还是商务，本质上运作的逻辑是一样的。不同的是，互联网上用户行为能留下充分的数据记录，因此能进行相对准确的分析。再也不用像传统门店那样，靠研究人员现场肉眼观察消费动线了。

2022-12-29 11:45:52

人货匹配模型电子商务
ClickHouse与Hive的区别，终于有人讲明白了
ClickHouse目的在于压榨单机性能，并没有真正的分布式表，数据都在本地，这也使得ClickHouse不需要复杂的调度，直接在本机执行SQL即可。而Hive的数据都在HDFS上，在真正任务前需要依据数据分布确定更复杂的物理计划，然后将Spark程序调度到对应的Data Node上，调度的过程非常消耗时间。

2022-12-28 18:31:43

Hive性能分布式表
我不建议你抄大厂的用户画像，为什么？
从本质上看，对非互联网大厂而言，想靠一己之力收集全量用户信息是不可能的，也不能吃透这些互联网平台的广告规则与收费机制。因此对抗外部信息不足的办法，是做好内部管控，在内部对自己家的产品/内容/运营能力做好盘点，从而有充足的准备应对外部挑战。

2022-12-28 11:44:19

用户画像互联网用户信息
从数据到见解：商业智能(BI)如何改变医疗服务？
数据分析为医疗保健业务带来了巨大的好处，包括降低治疗成本、预测疾病爆发和提高患者生活质量的能力。

2022-12-26 15:48:41

数据分析医疗保健
Cloudera：十大安全实践为云数据湖仓安全保驾护航
数据湖仓的架构设计包含一个复杂的组件生态系统，其中每个组件都是一条可以使用数据的潜在路径。从规避风险的角度而言，有的企业可能不愿将生态系统迁移到云端，但经过多年的发展，云数据湖仓已经变得更加安全、合理，相比本地数据湖仓具有明显的优势。

2022-12-26 15:20:16

数据湖仓Cloudera
数据孤岛是业务效率的无声杀手
打破数据孤岛是改进组织数据管理和实现数据有效利用以实现业务目的的重要一步。组织可以使用多种策略来打破数据孤岛并促进跨部门和团队共享和使用数据。

2022-12-26 15:04:44

数据孤岛数据管理
图像处理工具Python扩展库，你了解吗？
opencv 是一个非常流行的数据可视化图形库，它底层使用 c++进行开发，拥有非常高效的执行效率。

2022-12-26 00:43:26

python扩展库可视化
求职数据分析，项目经验该怎么写
首先得正本清源：什么是项目？答：项目是在特定时间内，集合特定资源，为达成特定目标所做的工作。简而言之一句话：项目不是临时性工作，是特事特办。

2022-12-26 00:00:03

求职数据分析项目
在OKR中，我看到了数据驱动业务的未来
数字化时代，新商业模式、新技术应用，都需要大量技术手段运营，需要试点，不再是拉横幅、喊口号、打鸡血能解决问题的了。因此可以期待，在未来，OKR方法能更深入地使用，能真正带来数据驱动。​

2022-12-26 00:00:02

数据驱动业务
2023展望：新的一年将给大数据分析领域带来什么？
数据仓库一直很受欢迎，尤其是在云端。但SAS执行副总裁兼首席信息官Jay Upchurch表示，预计2023年将有更多客户从传统数据仓库转向实时数据存储和分析。

2022-12-25 15:33:36

数据分析数据仓库数据存储
阿里云ADB基于Hudi构建Lakehouse的实践
今天非常高兴能够借这个机会和大家分享下阿里云 ADB 基于 Apache Hudi 构建 Lakehouse 的应用与实践。

2022-12-23 16:52:22

Lakehouse数据湖
火山引擎云原生大数据在金融行业的实践
大数据架构向云原生演进是行业的重要趋势，火山引擎协助关键金融客户在大数据云原生方向进行了深度实践，形成了整体解决方案，本文将分享火山引擎云原生大数据在金融行业的实践。

2022-12-23 09:29:52

大数据
《数据成熟度指数》报告：64%的企业领袖认为大多数员工“不懂数据”
来自世界各地的数百位行业领袖接受了“关于数据在其组织中的作用”的调查和采访，64%的受访者表示员工对数据缺乏理解。

2022-12-22 14:32:41

大数据
肯睿中国（Cloudera）：2023年企业数字战略三大趋势预测
随着越来越多的行业在数字化方面趋于成熟并广泛采用这些技术，2023年将成为企业寻求跨业务职能部署新兴技术解决方案的关键一年。以下列举了在未来一年中可能主导业务重心的三大关键趋势。

2022-12-21 14:22:15

ClouderaCDP
大数据在医疗保健领域的使用案例
使用大数据分析技术促进健康，帮助医疗干预和管理至关重要。大数据分析可以增强患者体验、提高效率、降低费用并提高服务质量。

2022-12-21 09:48:12

大数据
夯实数据智能底座 共筑数字经济发展“新基石” 原创
12月15日，在第三届银行业数字化创新（中国）峰会上，中电金信“源启数据资产平台”正式发布。该平台是中国电子金融级数字底座“源启”的重要组成，基于DataOps和DataFabric理念，以数据资产积累和数据价值创造为目标，利用大数据技术、AI技术以及数据安全技术，打造集数据管控平台、数据中台和AI平台为一体的数据智能底座。

2022-12-19 10:35:57

中电金信数据智能
2022 Gartner全球云数据库管理系统魔力象限发布 腾讯云数据库入选
12月16日，在刚刚发布的 Gartner® 2022年度《云数据库管理系统魔力象限》研究报告中，腾讯云数据库进入特定领域者（Niche Players）象限。

2022-12-16 17:56:34

Gartner腾讯云数据库
场景化、重实操，分享一个实时数仓实践案例
本文将从一个实际业务场景和一个模拟数仓构建的案例来说明如何利用 EasyData 实时开发平台来建设实时数仓。

2022-12-15 17:50:14

场景化重实操实时数仓
Denodo预测2023年数据管理和分析的未来
我们可以看到，在与数据管理基础设施和架构相关的领域内出现了很多创新。以下是Denodo认为将在 2023 年产生最大影响的五大趋势，这些趋势与数据和分析有关。

2022-12-14 15:53:22

数据管理数据分析
利用数据推动可持续发展
通过优先考虑数据驱动的可持续发展计划，企业可以领先于新的和不断变化的监管标准。

2022-12-14 15:37:23

大数据
七步走！做出高质量的数据分析项目
数据分析项目特别需要仪式感！因为数据分析成果很少能成为白花花的银子，等年底做总结的时候可能大家都忘得差不多了。因此一定要做足仪式。比如项目启动时和合作方一起开个会，开到中午大家一起大圆桌搓一顿。项目结束汇报时专门约上大老板，汇报完合影留念。

2022-12-14 14:13:01

数据分析项目
Arctic的湖仓一体践行之路
简单说，我们可以把数据湖当做一个存储各类结构化、半结构化和非结构化数据的池子，这个池子可以是私有化的 hadoop 集群，也可以是云端的对象存储，因为我们要存储体量非常大的原始数据和明细数据，这个池子的成本必须足够低，开启 EC 的 HDFS 或对象存储无疑是最佳选择。这个大需要多大？

2022-12-13 17:42:47

Arctic存储湖仓
数据让我们的建筑越来越智能
推动这种增长的关键因素是什么？在很大程度上，这是对降低运营成本、提高生产力、提高能源效率和提高安全性的需求。此外，5G 技术的出现和智慧城市项目的兴起有望在未来几年为智能建筑行业创造有利可图的机会。

2022-12-13 11:13:34

数据传感器
大数据十问：落地、效率与开发，如何齐头并进？
近日，英特尔大数据技术全球 CTO 戴金权老师围绕「大数据」的十个问题给出了自己的观点。

2022-12-12 15:36:48

大数据
分布式计算MapReduce究竟是怎么一回事？
MapReduce是Hadoop提供的一个分布式计算框架，对于大数据开发人员来说，只要关注于自己的业务，实现他们提供的Map和Reduce接口，接下来底层都交给Hadoop来处理。

2022-12-11 09:27:01

MapReduceHadoop框架
淘系数据模型治理优秀实践
本次分享题目为淘系数据模型治理，主要介绍过去一年淘系数据治理工作的一些总结。

2022-12-09 09:39:01

数据治理
谈谈如何构建优化的流数据架构
流处理最初是一种“特定群体”技术。但随着 SaaS、物联网和机器学习的快速发展，各行各业的组织现在都在试行或全面实施流分析。很难找到一家没有应用程序、在线广告、电子商务网站或物联网产品的现代公司。这些数字资产中的每一个都会创建实时事件数据流。人们越来越渴望整合流式数据基础架构，从而使复杂、强大和实时的分析成为可能。

2022-12-08 16:02:39

数据架构工具
大数据分析对医疗保健的影响
随着人口的增长，普通人的寿命也在增加。这凸显了医疗保健专业人员需要快速应对影响患者健康的挑战。医疗保健分析能够最大限度地降低治疗和可预防疾病的成本，并提高整体生活质量。通过使用大数据，医疗从业人员能够收集大量数据，并从得出的见解中得出最佳策略。

2022-12-08 10:15:38

大数据医疗保健
当我们说大数据Hadoop，究竟在说什么？
本文讲解了大数据开发中最流行的软件Hadoop, 它主要分为3部分，管理文件存储的hdfs, 统一管理资源和任务的调度平台Yarn，以及提供了一种计算引擎MapReduce, 基于这三个"磐石"，可以构建出整个大数据生态。

2022-12-08 08:40:25

大数据Hadoop存储
Cloudera：巧用数字化转型工具，助力企业降本增效
Cloudera提供了各种帮助企业加速数据和AI计划的工具。其中就包括通用数据分配（UDD）和应用机器学习原型（AMP）这两个特定领域。

2022-12-07 13:58:56

Cloudera
2022年及以后大数据的五个发展趋势
随着技术的发展，收集的数据量呈指数级增长，而且在短时间内没有放缓的迹象。企业正在致力于利用大数据分析来保持竞争力。以下概述了2022年及以后大数据的5个发展趋势。

2022-12-07 13:37:34

大数据数据分析
ClickHouse在自助行为分析场景的实践应用
在巨大的数据量面前，想追求极致的性能及全部场景适应性，必须在某些技术方案上进行取舍。ClickHouse从底层列式存储到上层向量化并行计算，都没有考虑存算分离、弹性扩展的技术方案，甚至于横向扩容数据需要手动re-balance。因此，如果要实现云上的可动态伸缩、存算分离，ClickHouse需要重构底层代码。

2022-12-07 08:31:45

ClickHouse并行计算数据
网易严选离线数仓治理实践
前面关于各个治理项目都有提到需要推送待办任务给数据开发处理，所以我们需要一个通用的消息通知机制。再结合到我们大多数巡检场景都可以基于元数据+SQL的形式识别，于是我们采用UDF的方法，对接消息中心的接口，实现了消息通知的SQL化。

2022-12-06 17:52:57

离线数仓治理
2023 年数据治理趋势
尽管整个组织的数字孪生还没有普及到整个数据领域，但是数据治理的许多基本方面——当通过实时访问控制和情景适应性的镜头应用时——可以模拟它们详细描述当前发生的事情的能力。

2022-12-06 10:04:33

数据治理趋势
一份“靠谱”的年度经营计划，你学会了吗？
做经营分析的同学们则被夹在中间，一边被要求“科学合理地进行测算”，另一边又得对领导们拍脑袋/扯皮出的结论“给予合理解释，科学地分配到每个月”，那是要多郁闷，有多郁闷。到底合理的年度经营计划该咋定，经营分析又该怎么发挥作用？今天给大家捋一捋。

2022-12-05 11:38:11

分析师数据作用
漫谈对大数据的思考
“大数据”已跃升为我们行业中最受炒作的术语之一，但炒作不应使人们忽视这样一个事实，即这是数据在世界上的作用真正重要的转变。

2022-12-05 11:29:14

大数据数据管理
测试一下，读懂数据的能力，你有吗？
因为这就是孤零零一个数字，啥含义都没有。想读懂数据，至少它得是一个明确的数据指标。包含了指标名称，使用场景，计算口径。同样是180，我们换成：成年女性，身高180cm。是不是一下清晰很多了。

2022-12-03 18:24:13

数据能力场景
用艺术的眼光探索数据之美
在深入分析的情况下，我们应该用数据图形表示技术的思想。我们经常使用bar charts, histograms, pie charts, boxplots, heatmaps, scatter plots, line plots等等这些典型的图，这些图对于数据可视化是必不可少的。

2022-12-02 15:11:52

数据分析数据可视化
聊聊数据分析成果如何落地
数据分析成果落地难，本质上是难在“做项目”上。因为数据分析涉及数学、统计学、计算科学等等理论，很多同学会本能地倾向于“做学问”，忘了我们是在企业，企业是为了赚钱而努力。

2022-12-02 11:40:00

数据分析成果
数据分析项目的五个坑点，千万不要对号入座！
所谓：猛将必发于卒伍，宰相必起于州郡。好的数据分析师，不是一上来就搬弄模型，而是能从数据细节里，读出企业的问题；能基于哪怕最简单的数据基础，设计出可行方法帮助业务从低端向高端升级。这才是好的数据分析师真正起到的作用。

2022-12-01 11:44:32

数据分析项目B2B
上一页 1 ··· 1516171819 ··· 177
点赞

51CTO技术栈公众号

业务
速览
在线客服