鸿蒙开发者社区

WOT全球技术创新大会

公众号矩阵

移动端

短视频免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2024年软考 PMP项目管理软考资讯

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

数据库

1.5w内容

关注

数据库话题为数据库工程师和数据库管理人员提供数据库相关新闻资讯、前沿技术、管理和开发技巧、使用案例等内容，涉及SQL Server、MySQL、MariaDB、PostgreSQL、Redis、MongoDB等数据库。

文章博文帖子课程

共 1.5w 条

对比Hadoop 分析Spark受多方追捧的原因

作者Mikio Braun是柏林工业大学机器学习专业的博士后，他通过描述了自己对Spark逐步认识的过程，为我们剖析了Spark的原理和应用。

2014-03-26 11:09:27

Apache Spark是大数据领域的下一个大家伙吗？

Spark是一个基于内存in-memory数据处理平台，兼容于Hadoop 数据源但是比Hadoop MapReduce运行得快得多。.特别适合于机器学习处理。

2014-03-26 10:59:14

Apache Spark的R语言前端：SparkR

SparkR是一个R语言包提供了一个轻量级的前端，用于从R语言中使用Apache Spark。SparkR通过RDD类暴露Spark API，允许用户以交互方式在集群上从R shell运行jobs。

2014-03-26 10:52:24

Google的大数据基因组学梦

未来，在 Google 上搜索一个人，将会呈现出一种全新的结果。现在，位于山景城的硅谷巨头 Google 邀请遗传学家将手中的遗传信息上传到该公司开发的云设施上，与此同时， Google 还为科学家提供了如何导入、处理、存储以及搜索 DNA 数据的操作说明。

2014-03-26 09:06:27

Google 大数据

用友UAP曾小青:基于数据挖掘的客户细分方法

企业和商家更加重视客户的消费行为，用友集团UAP中心大数据专家曾小青表示，将消费数据进行挖掘，以此作为客户分类的参考依据，可以更好提高客户满意度，并提供更准确的决策依据。

2014-03-24 11:02:28

同步或异步不同大数据分析的存储选择

目前市场上有两种类型的大数据分析方式——同步的和异步的，两种都有各自在存储容量和特性上的要求。

2014-03-24 10:54:10

大数据分析

”云计算“可作为大数据分析的使能器

大数据的出现使业务智能真正地走入了21世纪。但事实上“大数据”词代表的并不是解决方案，而是一类问题。在这些PB数量级的数据中，隐藏着怎样的价值？我们从中能得什么，并且使之指导业务部署的方方面面。但这一巨大量数据实际上有用的没有多少。所以为了利用其隐藏的价值，企业需要收集、过滤，并通过情感分析应用、定位工具以及其它的技术来分析它，从中产生有用的信息，从而为今后的业务发展服务。

2014-03-21 13:42:37

虚拟运营商颠覆八大行业，大数据起航

19家虚拟运营商牌照，170手机号码，100XX客服号码，运营商高管离职潮等等一系列事件，即将引爆一场中国通信业前有未有的新格局，中国八大行业（新媒体、电子商务、移动游戏、终端渠道、行业应用、云计算、物流、第三方支付等等）在虚拟运营商的到来，快速颠覆着这些行业运营思维，重塑行业商业模式，170手机号码尽情飞舞八大行业。

2014-03-20 14:37:13

虚拟运营商

大数据应用程序最佳选择：是SQL还是NoSQL？

执行大数据[注]项目的企业面对的关键决策之一是使用哪个数据库，SQL还是NoSQL?SQL有着骄人的业绩，庞大的安装基础;而NoSQL正在获得可观的收益，且有很多支持者。我们来看看两位专家对这个问题的看法。

2014-03-20 14:02:17

MapReduce连接：复制连接

复制连接是map端的连接。复制连接得名于它的具体实现：连接中最小的数据集将会被复制到所有的map主机节点。复制连接有一个假设前提：在被连接的数据集中，有一个数据集足够小到可以缓存在内存中。

2014-03-20 09:49:51

气象大数据的商业服务与研究

在过去服务中，气象局提供天气预报，不知道行业怎么用，行业拿了天气预报也不知道应该怎么用，这困扰了气象系统十几年，现在大数据时代来了，终于看到了这个问题改变的希望。

2014-03-19 15:10:43

气象大数据

德国波茨坦借助大数据减少雾霾

汽车尾气排放是造成雾霾的重要原因之一。空气质量差的时候，能否减少汽车的行驶量，以减少空气的“负担”？德国城市波茨坦借助大数据技术已经实现了这个场景。

2014-03-19 10:40:14

治霾治污提速亟须大数据思维

相较于模糊的语言表述,直观的数据显然更具传播优势。但人们对于水污染乃至整个环境状况的知情权与知情欲,显然不止于此。比如,这2.8亿人口如何分布?不安全饮用水到底有多严重?是哪些因素造成?有怎样的具体危害?这些都比一个大数字更“接地气”。而要给出这一类“数字背后的数字”,就必然要牵涉时下一个传播度颇高的概念——“大数据”。

2014-03-19 09:53:38

大数据雾霾

大数据可帮助预测未来40日天气情况

天气是很难预报、无法控制的。但是现在有一家公司试图利用大数据来预测天气。

2014-03-19 09:48:46

国家气象信息中心沈文海:气象大数据如何落地

国家气象信息中心副总工程师沈文海在采访中说，虽然气象部门还没有充分做好迎接大数据浪潮的准备，但是大数据和云计算带来的新的理念和技术架构却会给这个领域的IT建设一种新的思路和方向。

2014-03-19 09:41:47

气象大数据

中国即将引爆气象大数据

世界的本质就是数据，大数据将开启一次重大的时代转型。那么，气象部门怎样迎接大数据时代？气象业务又会发生哪些变革？存在哪些困境？

2014-03-19 09:40:32

大数据气象

Redis超时问题分析汇总

Redis在分布式应用中占据着越来越重要的地位，短短的几万行代码，实现了一个高性能的数据存储服务。最近dump中心的cm8集群出现过几次redis超时的情况，但是查看redis机器的相关内存都没有发现内存不够，或者内存发生交换的情况，查看redis源码之后，发现在某些情况下redis会出现超时的状况，相关细节如下。

2014-03-18 13:27:55

Redis 数据存储

MapReduce连接：重分区连接

连接是关系运算，可以用于合并关系（relation）。对于数据库中的表连接操作，可能已经广为人知了。在MapReduce中，连接可以用于合并两个或多个数据集。例如，用户基本信息和用户活动详情信息。用户基本信息来自于OLTP数据库。用户活动详情信息来自于日志文件。

2014-03-18 10:23:11

SVM的Map-Reduce数据挖掘算法

SVM支持向量机，最近十五年机器学习界的明星算法，学术界也是各种研究，现今已经达到一个瓶颈，屋漏偏逢连夜雨，随着深度学习的雄起，SVM弄的一个人走茶凉的境遇(也许正是90年代神经网络的感受吧，呵呵)，现在讲一讲关于SVM的并行。

2014-03-18 10:16:58

常用MapReduce数据挖掘算法之均值、方差

本文讲讲一些机器学习算法的map-reduce并行策略，尽管有些算法确实不适合map-reduce计算，但是掌握一些并行思想策略总归不是件坏事，大家如果对某个算法有更好的并行策略，也请多多指教，欢迎大家交流，OK，下面先从一个最基本的均值、方差的并行开始。

2014-03-17 15:28:48

动手实战SQL Server死锁

最近的一个项目由于客户明确提出要做下性能压力测试，使用的工具就是VS自带的压力测试工具。以前其它项目做压力测试后反馈的其中一个重要问题就是数据库的死锁。没想到我们这个项目测试时死锁同样的发生了，我之前的项目由于很少参与压力测试，基本上也不会去了解死锁，以及死锁如何解决的问题。

2014-03-17 10:34:48

使用Windows Azure搭建Hadoop集群

本文主要内容是使用Windows Azure的VIRTUAL MACHINES和NETWORKS服务安装CDH (Cloudera Distribution Including Apache Hadoop)搭建Hadoop集群。

2014-03-17 10:05:45

如何协调大数据与隐私

在很多方面，“大数据”和“加密”是对立的，前者收集、存储和分析信息，以此来揭示对学者、法律实施和企业有用的规律；而后者的目标是窥探隐藏的数据。这个议题(tension)是本周的一个由白宫科技政策办公室和麻省理工共同举办的会议的核心，这次会议有来自学术界、政界和商界的许多专家人士出席，他们探讨了加密技术以及其它以隐私为导向的技术，可以保护大数据所涉及的信息。

2014-03-17 09:48:23

企业大数据如何起步：先做好小数据分析

目前国内外关于大数据的谈论很多，大多是谈运营级别的，或者说从服务端、服务方提得较多一些。笔者要跟大家交流的问题是作为各类企业尤其是客户方的企业来说，大数据跟他们有什么关系，或者说作为企业方怎样去参与，这是企业方现在面临的最大问题。

2014-03-17 09:45:04

大数据中非结构化数据的挖掘：文本

非结构化数据是大数据数据多样化的的一个特点，而点击流中的数据是多样化数据的一部分。依托强大的网站分析工具，可以得到最细粒度的原始数据（Raw Data），如果这些原始数据仅仅用来看看报表，那意义太小。非结构化化数据包括文本、视频、文档、音频、甚至地理位置信息等等，本篇介绍的是点击流中的非结构化数据的文本挖掘应用——当然，核心还是如何更好的应用这些非结构化数据。

2014-03-14 09:52:15

非结构化数据

Zabbix企业应用：固定端口监控Redis

本文介绍使用固定端口模式监控redis，先展示效果图，看看是否能满足你的需求，然后再看看具体的监控配置方案。

2014-03-13 14:56:34

Zabbix 端口监控

用过滤器从背景噪音中分离重要大数据信息

大数据已经在媒体和IT企业中大量提及，但是有多少企业真正在使用大数据？又有多少企业从大数据中受益呢？真正使用好大数据是不容易的事情。

2014-03-13 14:17:10

关于用户行为大数据计算

用户行为类数据是最常见的大数据形式，比如电信的通话记录、网站的访问日志、应用商店的app下载记录、银行的账户信息、机顶盒的观看记录、股票的交易记录、保险业的保单信息，连锁超市会员的购物信息、交通违法信息、医疗就诊记录。

2014-03-13 10:45:40

阿里金融大数据授信法：“水文模型”审贷

2月20日，阿里金融旗下的阿里小贷最新数据出炉，2013年阿里小贷全年新增投放贷款1000亿元。截至2014年2月中旬，阿里小贷累计投放贷款超过1700亿元，服务小微企业逾70万家，户均贷款余额不超过4万元，不良率小于1%。

2014-03-12 16:43:50

大数据授信

银行加速布局大数据鏖战金融大数据“霸权”

当阿里金融崛起，腾讯借道微信破局之际，百度也不甘沉寂参与推出理财产品，“三马”联手打造的互联网保险巨头--众安在线保险也即将开业。互联网巨头频频发力，对传统金融巨头而言，是颠覆？融合？还是“鸡蛋碰石头”,最终无力挑战？在竞相追逐互联网金融概念的浮华背后，是否存在隐忧。

2014-03-12 16:38:43

光大银行杨兵兵：大数据改变金融运营模式

光大银行信息科技部总经理杨兵兵表示，大数据改变金融运营模式，以前所谓的定制服务，经常是为了高端客户。但是，现在由于数据的掌握和分析，银行也可以为更多的客户进行定制。

2014-03-12 14:04:59

大数据颠覆传统金融？

2013年是互联网金融元年，互联网技术在金融业的应用犹如在银行主导的传统金融业的死水中投入一颗石子。互联网金融未来发展的一大趋势是大数据的应用，而这也改变了人们对金融本质的传统认识。此前学界广泛认为金融的本质是中介，还有人认为金融的本质是对风险的控制与管理，然而随着互联网金融的发展，已经有人开始对金融进行重新定义，金融就是大数据。

2014-03-12 10:31:32

金融行业特写：大数据分析驱动民生银行创新

曾几何时，作为行业规则的制定者，银行整合信息的能力无人匹敌。互联网的出现打破了银行原有的优势。在新的行业规则下，信息不再如以往一样，由用户主动且标准化的准确推送。银行必须做出“让步”去主动吸引客户，在遵循规则的前提下，去适应全新的生存环境。

2014-03-12 10:25:00

大数据民生银行

如何让Hadoop结合R语言做大数据分析？

R是GNU的一个开源工具，具有S语言血统，擅长统计计算和统计制图。由Revolution Analytics发起的一个开源项目RHadoop将R语言与Hadoop结合在一起，很好发挥了R语言特长。广大R语言爱好者借助强大工具RHadoop，可以在大数据领域大展拳脚，这对R语言程序员来说无疑是个喜讯。作者从一个程序员的角度对R语言和Hadoop做了一次详细的讲解。

2014-03-12 10:17:22

大数据分析软件如何管控互联网金融风险？

互联网的快速发展，给我们的生活带来了诸多便利，也改变了我们的传统生活模式。如同凯文·凯利在《失控》一书中所描述的，网络的出现，宣告着乌合之众登上历史大舞台，原来只能“一将功成万骨枯”的炮灰生命其历程或将从此改变。网络的出现极大改变了社会之间的关系，在这样一个类似于神经网络架构的社会中，无数“神经元”通过传递汇聚信号形成较为统一的“命令”而控制“躯体”的“运动”，它们通过不断发散又不断汇聚信息的机制，成就了无数个体思维的综合而成的群体智慧进而造就统一的群体活动。

2014-03-12 10:10:31

大数据分析

大数据到底能帮传统企业什么忙？

大数据对企业来说有什么用？对于这个连IT界都众说纷纭的事情，要让希望使用大数据产品和服务的企业主们来说，更是一头雾水。其实，从传统企业的运行流程来看，大数据主要能够在了解用户、锁定资源、规划生产、做好运营、开展服务等方面，帮上企业的忙。

2014-03-12 09:58:10

周涛：传统行业更需要大数据

就在一个“Big Bang”的大爆炸声之后，“大数据”的话题在全球同步热传，从硅谷到杭州。一场关乎每个人生活、工作和思维的大变革正在发生，一场深刻的产业革命呼之欲出，我们准备好了吗？

2014-03-12 09:53:30

零售业大数据分析那些事儿

随着大数据时代的到来，数据分析已经成为了零售业非常重要的一环，也是精细化运营的基础。

2014-03-12 09:45:44

谈谈陌陌争霸在数据库方面踩过的坑(Redis篇)

在陌陌争霸之前，我们并没有大规模使用过 Redis 。只是直觉上感觉 Redis 很适合我们的架构：我们这个游戏不依赖数据库帮我们处理任何数据，总的数据量虽然较大，但增长速度有限。由于单台服务机处理能力有限，而游戏又不能分服，玩家在任何时间地点登陆，都只会看到一个世界。所以我们需要有一个数据中心独立于游戏系统。而这个数据中心只负责数据中转和数据落地就可以了。Redis 看起来就是最佳选择。

2014-03-09 23:29:12

手游开发数据库

谈谈陌陌争霸在数据库方面踩过的坑(mongoDB篇)

无论什么系统，在对性能有要求的环境下，完全当黑盒用都是不行的。游戏更是如此。上篇我就谈过，我们绝对不可能把游戏里数据的变化全部扔到数据库中去做。传统数据库并非为游戏设计的。

2014-03-09 23:22:26

手游开发数据库

Windows下Redis的安装使用

Redis是一个key-value存储系统。Redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。本文中，作者分享了在Windows下进行安装和使用Redis的技巧。

2014-03-04 09:53:29

Redis 存储系统

正确使用PostgreSQL的数组类型

在Heap中，我们依靠PostgreSQL支撑大多数后端繁重的任务，我们存储每个事件为一个hstore blob，我们为每个跟踪的用户维护一个已完成事件的PostgreSQL数组，并将这些事件按时间排序。

2014-03-03 10:10:37

PostgreSQL 数组

把ElasticSearch当成是NoSQL数据库

Elasticsearch 可以被当成一个 "NoSQL"-数据库来使用么? NoSQL 意味着在不同的环境下存在不同的东西, 而erestingly 它并不是真的跟 SQL 有啥关系. 我们开始只会觉得 "可能"而已, 所以细细研究了 Elasticsearch 的各种属性，包括它已经为了成就最具灵活性，可伸缩性和性能优异的分析查询引擎的那些属性。

2014-02-27 10:08:33

不玩虚的，金融大数据为何四步走？原创

金融大数据，目前有四个阶段。第一阶段是基于数据存储；第二阶段是分布式计算；第三阶段是大数据挖掘与分析；第四阶段是数据服务。本文中，51CTO记者对话金融大数据行业专家张子良，共同探讨金融大数据为何四步走这个难题。

2014-02-27 09:27:57

金融大数据

大数据精确分析提高能效物联网助力雾霾治理

随着春节的脚步逐渐接近，这个冬天也终于走到了尾声，对于被雾霾折磨了一季的人们来说，简直就是云开日出一般的感觉。冬去春来，虽然雾霾天气会因为季节的因素而得到遏制，但下个冬天它又会回来。要彻底告别雾霾，必须借助科技的力量对它进行全面的分析与检测，才能有效的预警和治理，而数据采集及分析，正是物联网技术所擅长的。

2014-02-25 15:44:31

大数据已经说滥了？数据落地哪儿那么容易

有很多网友吐糟，大数据、云计算这些词汇近几年已经用滥了！但是我们静下心来仔细想想，当数据量激增以及云计算市场需求的不断变换，对于大量数据处理的要求也提升了不少，软硬件系统和设备的高难度兼容措施，以及数据可视化困难等等一系列问题依旧困扰着很多用户，我们磨破嘴皮所说的大数据技术真正“落地”了吗？

2014-02-24 09:51:56

Hadoop虽然强大，但不是万能的

随着 Hadoop 应用的不断拓展，使很多人陷入了对它的盲目崇拜中，认为它能解决一切问题。虽然Hadoop是一个伟大的分布式大型数据计算的框架，但Hadoop不是万能的。比如在下面这几种场景就不适合使用Hadoop。

2014-02-17 10:56:21

PostgreSQL的最佳特性你用了吗？

SQL语句通常不是很容易理解，特别是你阅读别人已经写好的语句。因此，很多人指出我们应该遵循在其他语言中遵循的原则，像加上注释和功能模块化。

2014-02-17 10:54:13

PostgreSQL 数据库

Hadoop日志分析工具：White Elephant

White Elephant 是一个Hadoop日志收集器和展示器，它提供了用户角度的Hadoop集群可视化。White Elephant 是全球最大的职业社交网站Linkedin开发的一套分析Hadoop作业日志的系统，完全开源。

2014-02-12 10:28:50

Oracle发布大数据一体机编码工具

甲骨文已经发布了一款将会让开发者更容易为大数据一体机编写应用程序代码的工具。这款名为Big Data Lite的工具捆绑了Oracle Linux、Cloudera软件、Hadoop和大量甲骨文的云连接器，是为了在甲骨文的大数据一体机上复制可用的环境。

2014-02-12 09:15:17

Oracle 大数据

上一页 1 ··· 119 120 121 122 123 ··· 309 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客鸿蒙开发者社区

教育

51CTO学堂精培企业培训 CTO训练营