DFSIO是Hadoop自带的用于集群分布式I/O性能基准测试的工具，其源码为https://github.com/apache/hadoop/blob/trunk/hadoop-mapreduce-project/hadoop-mapreduce-client/hadoop-mapreduce-client-jobclient/src/test/java/org/apache/hadoop/fs/TestDFSIO.java。 DFSIO 用法 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.X-tests.jar TestDFSIO 15/05/22 19:50:22 INFO fs.TestDFSIO: TestDFSIO.1.8 Missing arguments. Usage: TestDFSIO [genericOptions] -read [-random | -backward | -skip [-skipSize Size]] | -write | -append | -truncate | -clean [-compression codecClassName] [-n rFiles N] [-size Size[B|KB|MB|GB|TB]] [-resFile resultFileName] [-bufferSize Bytes] DFSIO可以测试写操作和读操作，以MapReduce作业的方式运行，返回整个集群的I/O性能报告。DFSIO读写测试的位置在hdfs://namendoe:8020/benchmarks/TestDFSIO/io_data，其中读测试不会自己产生数据，必须先执行DFSIO写测试。 -read：读测试，对每个文件读-size指定的字节数 -write：写测试，对每个文件写-size指定的字节数 -append：追加测试，对每个文件追加-size指定的字节数 -truncate：截断测试，对每个文件截断至-size指定的字节数 -clean：清除TestDFSIO在HDFS上生成数据 -n：文件个数 -size：每个文件的大小 -resFile：生成测试报告的本地文件路径 -bufferSize：每个mapper任务读写文件所用到的缓存区大小，默认为1000000字节。 DFSIO测试 写10个100MB的文件 hadoop@node50064:~$ hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.X-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 100MB -resFile /tmp/DFSIO-write.out 查看写测试结果 本地文件/tmp/DFSIO-write.out包含写测试性能报告：

简介 YAML是一个可读性高的数据序列化格式。YAML参考了其他多种语言，包括：XML、C语言、Python、Perl以及电子邮件格式RFC2822。ClarkEvans在2001年首次发表了这种语言 ，另外Ingy d?t Net与OrenBen-Kiki也是这语言的共同设计者。目前已经有数种编程语言或脚本语言支援（或者说解析）这种语言。 _YAML_是"YAML Ain’t a Markup Language"（YAML不是一种标记语言）的递回缩写。在开发的这种语言时，_YAML_的意思其实是：“Yet Another Markup Language”（仍是一种标记语言），但为了强调这种语言以数据做为中心，而不是以标记语言为重点，而用反向缩略语重新命名。 功能 YAML的语法和其他高阶语言类似，并且可以简单表达列表、哈希表，标量等数据形式。它使用空白符号缩排和大量依赖外观的特色，特别适合用来表达或编辑数据结构、各种配置文件、调试时的转储内容、文件标题（例如：许多电子邮件标题格式和YAML非常接近）。尽管它比较适合用来表达分层数据，不过也有紧凑的语法可以表示关联性数据。由于YAML使用空白字符和分行来分隔数据，使得它特别适合用grep／Python／Perl／Ruby操作。其让人最容易上手的特色是巧妙避开各种封闭符号，如：引号、各种括号等，这些符号在嵌套结构时会变得复杂而难以辨认。 范例 简单的文件 数据结构可以用类似大纲的缩排方式呈现 --- receipt: Oz-Ware Purchase Invoice date: 2007-08-06 customer: given: Dorothy family: Gale items: - part_no: A4786 descrip: Water Bucket (Filled) price: 1.47 quantity: 4 - part_no: E1628 descrip: High Heeled "Ruby" Slippers price: 100.27 quantity: 1 bill-to: &id001 street: | 123 Tornado Alley Suite 16 city: East Westville state: KS ship-to: *id001 specialDelivery: > Follow the Yellow Brick Road to the Emerald City.

build.gradle: buildscript { repositories { mavenCentral() } } subprojects { apply plugin: 'java' apply plugin: 'eclipse' apply plugin: 'idea' repositories { mavenCentral() } sourceCompatibility = 1.8 targetCompatibility = 1.8 ext { HadoopVersion = '2.7.x' JUnitVersion = '4.11' ...... } } HelloHadoopClient/build.gradle： jar { baseName = 'hello-hadoopclient' version = '0.1.0' } dependencies { compile "org.apache.hadoop:hadoop-common:${HadoopVersion}" testCompile "junit:junit:${JUnitVersion}" } HelloMapReduce/build.gradle： jar { baseName = 'hello-mapreduce' version = '0.1.0' } dependencies { compile "org.

对我来说最熟悉的io域名莫过于spring.io，最近发现很多开源项目的主页也是io域名。好奇了一把，对io域名稍作一点了解。 域名的种类其实是非常多的，我们大多最熟悉COM域名、CN域名、NET域名等常见的通用域名。但是随着通用域名中好的域名注册资源的日益减少，这就使得人们不得不扩大域名的注册范围了，这期间io域名的出现就很快的进入域名注册者的视线。 io是英属印度洋领地（British Indian OceanTerritory，BIOT）的简写，英属印度洋领地是英国在印度洋的海外領地，包含了查戈斯群岛（ChagosArchipelago）及总数达2300个大大小小的热带岛屿，总土地面积約60平方公里，周边水域面积54400平方公里。io域名为英属印度洋国家顶级域名后缀，于1997年分配使用。全球任何公司、团体和个人均可注册英属印度洋.io域名。 而且io还可以作为[inputoutput]理解，即“输入输出接口”的意思。同时，对全世界所有的人来说，.io也是互联网上能够用来表示信息、知识的最直接、最直观的符号。 这一系列的优势使得io域名价值正在与日俱增真正的全球域名新贵，为因为通用域名注册资源日益减少的拥挤不堪的域名世界开创了一片崭新的天地，为广大域名用户提供多样的选择，而io域名在注册资格上没有任何的限制，这就使得任何一个国家的企业或者个人都可以注册，这就更让io域名受到广大国际用户的支持。

使用hbaseorg.apache.hadoop.hbase.zookeeper.ZKServerTool可以很方便查看HBase所使用的ZK服务器列表。

在公司安装Ubuntu docker后使用apt-get update总是失败，经历了一番周折才成功。 DNS？ 一开始怀疑是DNS问题，可以学习了下面几个帖子： Docker apt-get update fails Docker - Network calls fail during image build on corporate network How do I set my DNS on Ubuntu 14.04? 检查我ubuntu配置： cat /etc/resolv.conf 确认DNS没有问题。 Ubuntu官方服务器？ 是不是我的机器连不上欧美的Ubuntu官方服务器，换成中国服务器试试。尝试了Ubuntu 14.04服务器列表上的中国服务器还是不成。 Apt-get代理？ 照着how to install packages with apt-get on a system connected via proxy?设置一番，成功了 设置/etc/apt/apt.conf： Acquire::http::proxy "http://yourServer:yourPort/"; Acquire::ftp::proxy "ftp://yourServer:yourPort/"; Acquire::https::proxy "https://yourServer:yourPort/"; 如需用户名、密码，则作如下修改： Acquire::http::proxy "http://yourUsr:yourPwd@yourServer:yourPort/"; Acquire::ftp::proxy "ftp://yourUsr:yourPwd@yourServer:yourPort/"; Acquire::https::proxy "https://yourUsr:yourPwd@yourServer:yourPort/"; 最好将上述配置也存入/etc/apt/apt.conf.d/80proxy中，这样版本升级后这些变更也不会丢。

Bootstrap库： jQuery File Upload Demo Bootstrap table：示例不错 UI： codrops/TooltipStylesInspiration：工具提示做的很炫 OpenUI5： Welcome to 30 Days of UI5! UI Framework related

boot2docker boot2docker是基于Tiny Core Linux的轻量级Linux发布版本虚拟机，专用于运行Docker容器。 功能如下： 3.18.5内核及AUFS文件系统、Docker 1.5.0 容器通过磁盘自动加载在/var/lib/docker目录持久化 SSH密钥通过磁盘自动加载进行持久化 容易访问Docker映射端口的主机模式（Host-only） Vagrant兼容的boot2docker box Vagrant创始人Mitchell Hashimoto使用boot2docker虚拟机创建了一个可被VirtualBox和VMware提供者支持的Vagrant box。当Vagrant被运行于Linux之外的操作系统时，Vagrant的Docker提供者默认使用boot2dockerbox提供Docker功能。 参考 boot2docker官网 GitHub:boot2docker GitHub:boot2docker-cli GitHub:mitchellh/boot2docker-vagrant-box yungsang/boot2docker GitHub:yungsang/boot2docker Using Docker with Vagrant Setting up a development environment using Docker and Vagrant Docker in OSX via boot2docker or Vagrant: getting over the hump

在《Gerrit插件配置》中没有找到有关BitBucket的信息。 通过https://marketplace.atlassian.com/search?q=Gerrit在Atlassian市场搜到几个跟Gerrit相关的控件，不过都是为JIRA/BitBucket/Bambooserve增加类似Gerrit的工作流的功能。 结论就是：目前没法用Gerrit为BitBucket进行代码审查。

在网上看到了GitHub plugin for Gerrit，学习一下。 对比GitHub与Gerrit的代码审查机制 GitHub一派的代码审查机制主要通过fork一个远程分支，进行本地修改并提交到远程分支，然后通过PULL REQUEST来请求代码审查及合并回原上游远程分支。 Gerrit一派的代码审查机制主要通过checkout一个分支(refs/for/master)。从Gerrit克隆获得本地分支，进行修改并提交到Gerrit的refs/for/master分支，中间还可以通过Amend commit修改之前的提交，经过评审人批准后，代码会提交到"权威"仓库。 GitHub BitBucket GitLab Gitorious阵营 这一派的PULL REQUEST基于两个分支的合并，注释可能会乱一点，有点惹人烦。不考虑将所有原子/相关修改作为一个提交。除了写注释无法知道审查打分情况。 Gerrit GitBlit阵营 这一派的每个提交有其审查结果，可以清晰查看以往历史。Gerrit审查可以强制成仅接受快进（fast-worward）或可rebase的提交。 用于Gerrit代码审查的GitHub插件 https://gerrit-review.googlesource.com/#/admin/projects/plugins/github 优点： 引入Pull Requests ->Gerrit改动/主题 使用Gerrit认证规则重用GitHub账户 复制: 代码继续存在于http://github.com 仓库 防止不可管理的fork激增 避免GitHub垃圾邮件 ->每个改动一封电邮 第一步：为Gerrit在GitHub上注册新的OAUTH应用 第二步：获取Client ID和Client Secret 第三步：下载并安装Gerrit 下载地址：https://gerrit-releases.storage.googleapis.com/index.html 为了确保安装成功，首先使用DEVELOPMENT_BECOME_ANY_ACCOUNT作为认证方式确保能登录进Gerrit。 使用Git Bash启动Gerrit。 登陆后，可以查看到当前安装的插件。 第四步：构建GitHub插件 git clone https://gerrit.googlesource.com/plugins/github && cd github mvn install 第五步：安装OAUTH过滤器和GitHub插件 第六步：重新配置Gerrit 第七步：完成GitHub认证 参考 GitHub plugin for Gerrit Gerrit vs Github: for code review and codebase management GerritHub Gerrit Code Review or Github’s fork and pull ?