开源基础软件社区

WOT全球技术创新大会

公众号矩阵

移动端

免费课程课程排行直播课软考学堂

精品班厂商认证 IT技术 2023年软考 PMP项目管理

在线学习企业服务

CTO训练营技术经理研习营 LeaTech峰会

文章资源问答开源课堂专栏直播

51CTO

开源基础软件社区

51CTO技术栈

51CTO官微

51CTO学堂

51CTO博客

CTO训练营

开源基础软件社区订阅号

51CTO学堂APP

51CTO学堂企业版APP

开源基础软件社区视频号

账号设置退出

前端

2.0w内容

关注

分享前端领域的前沿热点、技术实战、框架应用和使用案例，为开发者学习前端技术提供参考。

文章博文帖子课程

共 2.0w 条

Cloudera Impala

Impala是由Cloudera开发，一个开源的Massively Parallel Processing（MPP）查询引擎。与Hive相同的元数据、SQL语法、ODBC驱动程序和用户接口(Hue Beeswax)，可以直接在HDFS或HBase上提供快速、交互式SQL查询。Impala是在Dremel的启发下开发的，第一个版本发布于2012年末。

2014-02-14 16:06:05

Impala Cloudera

Storm是一个分布式的、容错的实时计算系统，由BackType开发，后被Twitter捕获。Storm属于流处理平台，多用于实时计算并更新数据库。Storm也可被用于“连续计算”（continuous computation），对数据流做连续查询，在计算时就将结果以流的形式输出给用户。

2014-02-14 15:49:03

storm 安装部署

Spark是个开源的数据分析集群计算框架，最初由加州大学伯克利分校AMPLab开发，建立于HDFS之上。Spark与Hadoop一样，用于构建大规模、低延时的数据分析应用。Spark采用Scala语言实现，使用Scala作为应用框架。

2014-02-14 15:43:16

YARN又被称为MapReduce 2.0，借鉴Mesos，YARN提出了资源隔离解决方案Container，但是目前尚未成熟，仅仅提供 Java 虚拟机内存的隔离。

2014-02-14 15:30:18

Mesos提供了高效、跨分布式应用程序和框架的资源隔离和共享，支持Hadoop、 MPI、Hypertable、Spark等。

2014-02-14 15:12:41

Apache Mesos 架构

Tomcat认证授权与简单的SSO

在前几天，我使用apache+tomcat搭建了一个集群，有一个简单的网站应用。http://my.oschina.net/xpbug/blog/197680。

2014-02-14 13:21:22

在Visual Studio上开发Node.js程序

最近准备用Node.js做些东西，于是找找看能否有Visual Studio上的插件以方便开发。结果还真找到了一个，来自微软的Node.js Tools for Visual Studio（NTVS），虽然现在仅发布了1.0 Alpha版本，但使用起来已经非常方便。而且，其开发团队与Python Tools for Visual Studio（PTVS）是同一个，而PTVS就是Visual Studio 2013中要创建自带的Python项目需要安装的那个程序，所以大可放心的使用NTVS。

2014-02-14 10:48:32

Visual Stud Node.js

写一个更好的Javascript DOM库

目前，jQuery是事实上的操作文档对象模型（DOM）的库。它可以与流行的客户端MV*框架结合使用，并且拥有大量的插件与大型的社区。开发者对于Javascript的兴趣与日俱增的同时，很多人开始好奇，原生的API是如何工作的，以及我们何时应该直接使用它们而不是引用一个额外的库。

2014-02-14 09:37:01

15个可提升编码技能的JavaScript工具

JavaScript库是一些预先编写好的JavaScript文件集合，用来让 JavaScript应用开发更加便捷，尤其是AJAX和其他web开发。JavaScript的最主要用途是编写HTML中嵌入的函数，对页面的 DOM(Document Object Model)进行操作。

2014-02-14 09:16:51

JavaScript 工具

王垠：程序员的心理疾病

说实话，虽然似乎为之奋斗了十多年，在真正进入软件行业的短短一年之后，我已经对它感到相当的厌倦了。这并不是说这个行业没有前景，而是在这个行业工作，其实很难得到心理上的快乐。

2014-02-12 14:31:55

程序员心理疾病

北漂程序员边城的幸福生活

赵边城是我的发小，我们上了同样的小学和中学，又同时来到北京。赵边城毕业后先后加入了BAT这种重量级别的互联网公司。

2014-02-12 14:04:44

程序员北漂

一行代码完成并行任务

众所周知，Python的并行处理能力很不理想。我认为如果不考虑线程和GIL的标准参数（它们大多是合法的），其原因不是因为技术不到位而是我们的使用方法不恰当。大多数关于Python线程和多进程的教材虽然都很出色，但是内容繁琐冗长。

2014-02-12 13:43:50

代码并行任务

Web 开发者必备的 14 个 JavaScript 音频库

网页设计可能是现在最有趣的领域之一了。这块的东西对所有的人，不管是知识储备里有料没料的，都敞开大门，机会多多哦。其最大的特点就是随着时间的推移，实践的深入，你可以慢慢学习着成为一个大鸟。涉足这个领域，Google将会是你最好的导师，同时她也将毫无偏颇的对你的水平进行评价。

2014-02-12 10:46:00

Web JavaScript 音频库

从“黑掉Github”学Web安全开发

Egor Homakov（Twitter: @homakov 个人网站: EgorHomakov.com）是一个Web安全的布道士，他这两天把github给黑了，并给github报了5个安全方面的bug，他在他的这篇blog——《How I hacked Github again》（墙）说明了这5个安全bug以及他把github黑掉的思路。

2014-02-11 13:49:00

Github 安全 Web

一起来画画！8款最佳HTML5绘图工具

HTML5无疑是当前最受宠的一项技术，今天推荐8款HTML5绘图工具，同样惊艳你的眼球！这些绘图工具大多数是用HTML5画布(Canvas)实现的，部分辅以Javascript。对每一个web设计者来说，制图和草绘是他们工作中最喜欢的一件事情了。

2014-02-11 11:21:00

分布式系统的事务处理深度分析

为了数据的一致性，这6件事，要么都成功做完，要么都不成功，而且这个操作的过程中，对A、B帐号的其它访问必需锁死，所谓锁死就是要排除其它的读写操作，不然会有脏数据的问题，这就是事务。

2014-02-11 09:07:31

分布式事务处理

MongoDB在语法上的5大缺陷

这几天抱怨MongoDB的帖子相当受追捧。大多是关于在特定的数据集，可靠性和分片问题上表现不佳。其中一些博客文章可能是正确的，其他的只是说,最受欢迎的NoSQL的解决方案并没有满足他们的需求。

2014-02-10 10:14:50

MongoDB 语法数据库

为什么我们仍在谈论软件集成？

几周之前，数十位CFO齐聚加州Redwood，他们在此参加一个技术研讨会，会议议题是探讨财务转型的策略。彼时，一位演讲者向听众提问：“你们当中有多少人担心你们的数据质量，并且明白它对于你们的业务意味着什么？”

2014-02-06 12:21:35

6个重构方法可帮你提升80%的代码质量

在过去做了不少代码走读，发现了一些代码质量上比较普遍的问题，以下是其中的前五名

2014-02-04 19:48:07

重构代码质量

开发者必备的12个JavaScript库

现在 web 设计是最有趣的了，做好 web 设计不仅要熟练使用 Javascript，css 和 html 等，还要有自己的创意设计。为了方便大家发挥自己的创意，就产生了很多 JS 框架，Node.js 扩展等等。有了这些工具，开发者们就能专注于创意设计了，而不用为某个功能而花费太多精力。

2014-02-01 21:31:10

JavaScript JS框架

Python之父：为什么Python数组下标从0开始

曾经有人在Twitter上问我为什么Python使用以0为首位的数组索引法(0-based)，并且还给我了一个相关优秀文章的链接。这让我想起许多往事：Python的前身之一，ABC语言使用的是以1为首位的数组索引方式（1-based），而对Python有着巨大影响的C语言则使用的是0-based。

2014-02-01 21:25:08

Visual Studio Online 2013 (VSO)–在云端进行开发

摘要：VSO有很多新特性，比如项目资源库、项目计划工具、测试、版本发布、持续构建、项目成员使用TeamRoom和压力测试来协同工作。本文将就上述内容做一简述。 VSO是微软为软件开发人员提供的一款基于云计算的开发平台。其包含了基础的资源库、项目计划以及基于持续集成的构建和扩展功能。

2014-01-23 13:30:23

云端 Visual Stud

有趣的JavaScript原生数组函数

在JavaScript中，可以通过两种方式创建数组，Array构造函数和 [] 便捷方式，其中后者为首选方法。数组对象继承自Object.prototype，对数组执行typeof操作符返回‘object’而不是‘array’。然而执行[] instanceof Array返回true。

2014-01-22 09:46:42

JavaScript 数组

只有20行Javascript代码！手把手教你写一个页面模板引擎

不知道你有木有听说过一个基于Javascript的Web页面预处理器，叫做AbsurdJS。我是它的作者，目前我还在不断地完善它。

2014-01-22 09:19:57

JavaScript 引擎

Asm.js: Javascript的编译目标

正如许多开发者一样，我也为Asm.js的前景而感到兴奋不已。最近的新闻——Asm.js正在被Firefox支持——引起了我的兴趣。同样感兴趣的还有Mozilla和Epic声明（mirror）他们已经为Asm.js而支持Unreal Engine 3——并且运行十分良好。

2014-01-21 10:09:39

JavaScript 编译 Asm.js

Storm入门教程第五章一致性事务

Storm是一个分布式的流处理系统，利用anchor和ack机制保证所有tuple都被成功处理。如果tuple出错，则可以被重传，但是如何保证出错的tuple只被处理一次呢？Storm提供了一套事务性组件Transaction Topology，用来解决这个问题。

2014-01-16 16:53:53

storm 事务一致性

storm入门教程第四章消息的可靠处理

storm可以确保spout发送出来的每个消息都会被完整的处理。本章将会描述storm体系是如何达到这个目标的，并将会详述开发者应该如何使用storm的这些机制来实现数据的可靠处理。

2014-01-16 15:48:49

Storm入门教程第三章 Storm安装部署步骤

本文以Twitter Storm官方Wiki为基础，详细描述如何快速搭建一个Storm集群，其中，项目实践中遇到的问题及经验总结，在相应章节以“注意事项”的形式给出。

2014-01-16 14:30:43

storm 安装部署

Storm入门教程第二章构建Topology

Storm集群和Hadoop集群表面上看很类似。但是Hadoop上运行的是MapReduce jobs，而在Storm上运行的是拓扑（topology），这两者之间是非常不一样的。一个关键的区别是：一个MapReduce job最终会结束，而一个topology永远会运行（除非你手动kill掉）。

2014-01-16 11:14:37

Chrome新版小图标大作用：可确定噪音的来源

现在的浏览器早已经实现了多标签页浏览，这样的好处显而易见但是也带来了一个麻烦，就是当遇到广告或者一些后台程序发出噪音的时候我们往往不能分辨出到底是那个标签页，往往我们会关闭浏览器。

2014-01-16 09:22:56

极客公园创新2014：新硬件互联网精神路在何方原创

今年颇具“风暴”的会址选在了751 D • PARK 北京时尚设计广场 79 罐。单从会址选择上看，就带了点“文艺”+“极客”的因素。此次是创新大会的第四届，如果用两个词来概括极客公园年度公开课，那就是：“回顾”和“展望”。10日上午“新硬件头脑风暴”主题会上，搜狗CEO王小川、奇虎360总监王明华等IT话语人，围绕“硬件”话题，做了各具特色的演讲。

2014-01-15 16:24:21

新硬件互联网

学会说No！你该在什么时刻真正放弃一位客户

Jonathan Walton说过”顾客就是上帝”，还有人说”上帝永远都是对的”，小编不禁想问这些个人，假若上帝让你吃翔，你还觉得是对的吗？由此可见，我们的上帝不一定永远是正确的，更别说是食人间烟火的顾客了，所以有些时候你不得不揭竿而起放弃那些无理取闹作死的顾客们。

2014-01-15 09:27:44

十步完全理解SQL

很多程序员视 SQL 为洪水猛兽。SQL 是一种为数不多的声明性语言，它的运行方式完全不同于我们所熟知的命令行语言、面向对象的程序语言、甚至是函数语言（尽管有些人认为 SQL 语言也是一种函数式语言）。

2014-01-14 09:14:17

Go 语言的 HTTP 标准库中的内存泄漏问题？

使用一个go库实现的一个http服务器:

2014-01-14 09:10:53

Go HTTP 内存泄漏

storm入门教程第一章

互联网从诞生的第一时间起，对世界的最大的改变就是让信息能够实时交互，从而大大加速了各个环节的效率。正因为大家对信息实时响应、实时交互的需求，软件行业除了个人操作系统之外，数据库（更精确的说是关系型数据库）应该是软件行业发展最快、收益最为丰厚的产品了。记得十年前，很多银行别说实时转账，连实时查询都做不到，但是数据库和高速网络改变了这个情况。

2014-01-13 11:22:28

探索JavaScript中Null和Undefined的坑

当讨论JavaScript中的原始数据类型时，大多数人都知道从String、Number到Boolean的基本知识。这些原始类型相当简单，行为符合常识。但是，本文将更多关注独特的原始数据类型Null和Undefined，是什么让它们如此相似，却又似是而非。

2014-01-09 10:07:18

JavaScript Null

Cloudera Impala简介

Cloudera Impala 可以直接为存储在HDFS或HBase中的Hadoop数据提供快速，交互式的SQL查询。除了使用相同的存储平台外， Impala和Apache Hive一样也使用了相同的元数据，SQL语法（Hive SQL），ODBC驱动和用户接口（Hue Beeswax），这就很方便的为用户提供了一个相似并且统一的平台来进行批量或实时查询。

2014-01-07 17:36:37

Hadoop YARN配置参数剖析(5)—Capacity Scheduler相关参数

Capacity Scheduler是YARN中默认的资源调度器。想要了解Capacity Scheduler是什么，可阅读我的这篇文章“Hadoop Capacity Scheduler分析”。

2014-01-07 17:18:51

Hadoop YARN配置参数剖析(4)—Fair Scheduler相关参数

首先在yarn-site.xml中，将配置参数yarn.resourcemanager.scheduler.class设置为org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler。

2014-01-07 16:34:36

Hadoop YARN配置参数剖析(3)—MapReduce相关参数

MapReduce相关配置参数分为两部分，分别是JobHistory Server和应用程序参数，Job History可运行在一个独立节点上，而应用程序参数则可存放在mapred-site.xml中作为默认参数，也可以在提交应用程序时单独指定，注意，如果用户指定了参数，将覆盖掉默认参数。

2014-01-07 15:23:15

Hadoop YARN配置参数剖析(2)—权限与日志聚集相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:17:08

Hadoop YARN配置参数剖析(1)—RM与NM相关参数

注意，配置这些参数前，应充分理解这几个参数的含义，以防止误配给集群带来的隐患。另外，这些参数均需要在yarn-site.xml中配置。

2014-01-07 15:05:25

Hadoop YARN中内存和CPU两种资源的调度和隔离

Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。

2014-01-07 14:29:14

Hadoop 2.0中作业日志收集原理以及配置方法

Hadoop 2.0提供了跟1.0类似的作业日志收集组件，从一定程度上可认为直接重用了1.0的代码模块，考虑到YARN已经变为通用资源管理平台，因此，提供一个通用的日志收集模块势在必行，由于目前通用日志收集模块正在开发中（可参考“YARN-321”），本文仅介绍MRv2（MapReduce On YARN）自带的日志收集模块，包括工作原理以及配置方法。

2014-01-07 14:16:22

Hadoop2.0 日志

Hadoop MapReduce两种常见的容错场景分析

本文将分析Hadoop MapReduce（包括MRv1和MRv2）的两种常见的容错场景，第一种是，作业的某个任务阻塞了，长时间占用资源不释放，如何处理？另外一种是，作业的Map Task全部运行完成后，在Reduce Task运行过程中，某个Map Task所在节点挂了，或者某个Map Task结果存放磁盘损坏了，该如何处理？

2014-01-07 14:04:13

Hadoop MapReduce

Hadoop日志到底存在哪里？

初学者运行MapReduce作业时，经常会遇到各种错误，由于缺乏经验，往往不知所云，一般直接将终端打印的错误贴到搜索引擎上查找，以借鉴前人的经验。

2014-01-07 13:54:40

Hadoop YARN常见问题以及解决方案

本文汇总了几个hadoop yarn中常见问题以及解决方案，注意，本文介绍解决方案适用于hadoop 2.2.0以及以上版本。

2014-01-07 13:54:02

运行在YARN上的计算框架

随着YARN的成熟和稳定（2013年8月25日已经发布beta版），必将形成一个以YARN为核心的生态系统，在该生态系统中，所有计算相关的框架可运行在一个YARN集群中（由于YARN本身设计上的一些问题，目前还难以运行通用的服务，比如Web Server、HBase等，未来趋势肯定是各类系统或者服务可运行在一个集群中，进行统一资源管理和调度）。

2014-01-07 13:07:44

YARN 计算框架

将Spark部署到Hadoop 2.2.0上

本文介绍的是如何将Apache Spark部署到Hadoop 2.2.0上，如果你们的Hadoop是其他版本，比如CDH4，可直接参考官方说明操作。

2014-01-07 11:24:45

Spark：利用Eclipse构建Spark集成开发环境

前一篇文章“Apache Spark学习：将Spark部署到Hadoop 2.2.0上”介绍了如何使用Maven编译生成可直接运行在Hadoop 2.2.0上的Spark jar包，而本文则在此基础上，介绍如何利用Eclipse构建Spark集成开发环境。

2014-01-07 10:36:32

上一页 1 ··· 298 299 300 301 302 ··· 402 下一页

51CTO技术栈公众号

业务
速览

媒体

51CTO CIOAge HC3i

社区

51CTO博客开源基础软件社区

教育

51CTO学堂精培企业培训 CTO训练营