Hadoop的Mapper输出默认格式为SequenceFile，而Reducer默认输出则为TextFile。在一个MapReduce工作流中，经常有多个MapReduce作业级联完成应用功能。如果中间MapReduce是输入输出都为SequenceFile，则性能很可能获得很大提升。 SequenceFile文件是Hadoop用来存储二进制形式的键值对而设计的一种平面文件(FlatFile)。SequenceFile可压缩可切分,非常适合Hadoop文件存储特性，SequenceFile的写入由org.apache.hadoop.io.SequenceFile.Writer来实现，根据压缩类型Writer又派生出两个子类BlockCompressWriter和RecordCompressWriter，压缩方式由SequenceFile类的内部枚举类CompressionType来表示： NONE: 对记录不进行压缩; RECORD: 仅压缩每一个记录中的值; BLOCK: 将一个块中的所有记录压缩在一起; 输入SequenceFile示例 job.setInputFormatClass(SequenceFileInputFormat.class); 输出SequenceFile示例

介绍 here document(又称之为here-document、here-text、heredoc、hereis、here-string或here-script)，是shell中的一种特殊重定向方式，用来将输入重定向到一个交互式的shell脚本或程序。格式如下： command << [-]delimiter here-document delimiter here documents始于Unixshell的最通用语法，在«紧跟一个分割标识符（通常为EOF或END），跟随一堆多行字符，最后一行用分割标识符收尾。 注意： 结尾的分割标识符一定要顶格写，前后不能有任何字符，包括空格和tab缩进。 开始的分割标识符前后的空格会被省略掉。 开始的分割标识符前如果使用-的话，内容部分每行前面的 tab (制表符)将会被删除掉。这种用法是为了编写HereDocument的时候可以将内容部分进行缩进，方便代码阅读。 here strings语法跟here documents类似。格式如下： command <<< word 实践及测试 Here documents简单测试 Here documents中变量替换和执行命令测试 通常，Heredocuments中内容会进行变量替换，反勾号中的命令也会执行。可以通过在开始的分割标识符上加单引号禁掉这种行为。 Here string简单测试 在shell文件中使用Here documents 参考 Here document Bash Reference Manual - Here Documents Bash Reference Manual - Here Strings Java 的多行字符串 Here Document 的实现

无论是Web应用服务器数据源配置还是Hibernate配置，一般数据库用户和密码都是明文的，感觉很不安全。上网搜了一圈，博客帖子还不少，不过都跟Web应用服务器官方文档差不太多。 Tomcat坚持明文，理由是最终需要用原始用户名和密码去连接数据库，而Tomcat是开源的，攻击者很容易找到加密/解密方法，所以也得不到真正的保护。 另一方就是用AES/DES/3DES等密钥算法对明文密码进行加密，然后在程序某处进行解密，例如使用Tomcat连接池时用org.apache.tomcat.jdbc.pool.DataSourceFactory继承子类实现自己的数据源工厂时进行解密，使用Srping时用LocalSessionFactoryBean继承子类读取配置进行解密然后将其写回运行态的配置。这种方式说白了，如果程序不是很大，使用JAD等工具对程序进行反编译，找到如何加解密的算法还是不难的。 我个人认为，真正的Web应用实施肯定是要设置服务器访问权限及服务器内目录的访问权限的，一般人不应该能访问到Web服务器程序及配置，这样即使使用明文密码也能保证相同的安全等级。当然，如果开发一个不严肃的小项目，并且部署在一个公共访问机器上，做做障眼法瞒瞒那些不是码农的人也是可以的。 Web应用服务器文档： Tomcat Wiki：FAQ/Password JBoss：Encrypting Data Source Passwords JBoss EAP：Encrypting Data Source Passwords TomEE：DataSource Password Encryption博客： Encrypting passwords in Tomcat Hibernate的配置文件中用户和密码的加密 hibernate配置文件中数据库密码加密,该如何解决 Hibernate的验证，而不存储在纯文本密码 如何给工程中的配置文件加密 解密 通过spring对hibernate/ibatis的配置文件加密 jndi 数据源配置密码加密 spring 属性文件加密码及解密 怎么实现数据库连接的密码加密 Jboss数据源密码加密 Tomcat数据源连接池加密 使用 Jasypt 保护数据库配置 spring datasource 密码加密后运行时解密的解决办法

swirl是在R命令行使用、用于R统计编程语言交互式教学的软件包。 swirl需要R3.0.2或更新版本。如果使用老版本R，需要更新R之后才能使用swirl。如果不清楚当前R版本，可以在R命令行敲入R.version.string获得当前的版本信息。 swirl可以通过如下命令安装： install.packages("swirl") 每次使用前，通过如下命令加载包并执行： library(swirl) swirl()

windows命令现在也就sysdm.cpl和mstsc用的比较多，很多还真不熟悉，搜了一篇备查。 appwiz.cpl：程序和功能 calc：启动计算器 certmgr.msc：证书管理实用程序 charmap：启动字符映射表 chkdsk.exe：Chkdsk磁盘检查（管理员身份运行命令提示符） cleanmgr: 打开磁盘清理工具 cliconfg：SQL SERVER 客户端网络实用工具 cmstp：连接管理器配置文件安装程序 cmd.exe：CMD命令提示符 自动关机命令 Shutdown -s -t600：表示600秒后自动关机 shutdown -a：可取消定时关机 Shutdown -r -t600：表示600秒后自动重启 rundll32user32.dll,LockWorkStation：表示锁定计算机 colorcpl：颜色管理，配置显示器和打印机等中的色彩 CompMgmtLauncher：计算机管理 compmgmt.msc：计算机管理 credwiz：备份或还原储存的用户名和密码 comexp.msc：打开系统组件服务 control：控制面版 dcomcnfg：打开系统组件服务 Dccw：显示颜色校准 devmgmt.msc：设备管理器 desk.cpl：屏幕分辨率 dfrgui：优化驱动器 Windows7→dfrg.msc：磁盘碎片整理程序 dialer：电话拨号程序 diskmgmt.msc：磁盘管理 dvdplay：DVD播放器 dxdiag：检查DirectX信息 eudcedit：造字程序 eventvwr：事件查看器 explorer：打开资源管理器 Firewall.cpl：Windows防火墙 FXSCOVER：传真封面编辑器 fsmgmt.msc：共享文件夹管理器 gpedit.msc：组策略 hdwwiz.cpl：设备管理器 inetcpl.cpl：Internet属性 intl.cpl：区域 iexpress：创建自解压/安装文件，系统自带 joy.cpl：游戏控制器 logoff：注销命令 lusrmgr.msc：本地用户和组 lpksetup：语言包安装/删除向导，安装向导会提示下载语言包 lusrmgr.msc：本机用户和组 main.cpl：鼠标属性 mmsys.cpl：声音 magnify：放大镜实用程序 MdSched:Windows内存诊断程序 mmc：打开控制台 mobsync：同步命令 mplayer2：简易widnows media player Msconfig.exe：系统配置实用程序 msdt：微软支持诊断工具 msinfo32：系统信息 mspaint：画图 Msra：Windows远程协助 mstsc：远程桌面连接 NAPCLCFG.

最近玩一下javascipt，在回调里碰到一个问题，需要调试。加入了console.log函数打印日志，在我的chrome浏览器按Ctrl+Shift+J快捷键调出DevTool并显示控制台来查找问题。 结合Wireshark，最后才发现对Json数据解析错误。 下面介绍一下console.log的使用。javascript的代码示例如下： $(function () { $('#fileupload').fileupload({ url: url, dataType: 'json', done: function (e, data) { $.each(data.result.files, function (index, file) { $('').text(file.name).appendTo('#files'); }); }, progressall: function (e, data) { var progress = parseInt(data.loaded / data.total * 100, 10); console.log("complete:"+progress); $('#progress .progress-bar').css( 'width', progress + '%' ); } }).prop('disabled', !$.support.fileInput) .parent().addClass($.support.fileInput ? undefined : 'disabled'); }); 浏览器控制台使用 Firefox http://getfirebug.com/ (可以使用Firefox内建的开发工具Ctrl+Shift+J (Tools > Web Developer >Error Console)，但是Firebug更出色；建议使用Firebug) Safari和Chrome 使用方法基本相同。 https://developer.chrome.com/devtools/index https://developer.apple.com/technologies/safari/developer-tools.html Internet Explorer 不要忘了在IE9或IE10中调试IE7和IE8时使用兼容模式。 http://msdn.

学习网站 http://jqfundamentals.com/ http://try.jquery.com/ http://www./tracks/jquery http://www.w3school.com.cn/jquery/ 图书 jQuery基础教程：官方培训教材 jQuery实战：书不错，就是内容有点 老锋利的jQuery 代码组织 http://learn.jquery.com/code-organization/ 其他 jQuery设计思想：http://www.ruanyifeng.com/blog/2011/07/jquery_fundamentals.html jQuery最佳实践：http://www.ruanyifeng.com/blog/2011/08/jquery_best_practices.html jQuery源码分析：http://www.cnblogs.com/chyingp/archive/2013/06/03/jquery-souce-code-study.html

Javascript中并不要求逻辑运算的两个操作数为布尔类型，并且返回值也不一定为布尔类型。&&操作符，如果第一个操作表达式能被转换成false，返回第一个操作表达式；否则返回第二个操作表达式。当用于两个布尔类型值时，两个值都为true时返回ture，否则返回false。||操作符，如果第一个操作表达式能被转换成true，返回第一个操作表达式；否则返回第二个操作表达式。当用于两个布尔类型值时，任一个值为true时返回ture，否则返回false。示例： 参考 MDN：Logical operators

原始数据类型 JavaScript共有5种原始数据类型： |原始数据类型|包装对象|介绍 |—– |string|String|字符串遇到加号之外的计算操作符，会转换成数值。内容为不为数值的字符串转换成NaN。当用比较操作符比较两个字符串时，比较的是第一个字母的unicode。 |number|Number|十进制数：123八进制数：0123十六进制数：0x123指数：1e1、1E+1、2E-3无穷：Infinity、-Infinity非数字：NaN |Boolean|Boolean| |null||与undefined的区别在于，已定义但没有值 |undefined|| typeof操作符 typeof的返回值有六种可能：number、string、boolean、object、function、undefined。 条件判断或3元条件运算符(?:)判断 |值|Boolean结果 |—– |undefined|false |null|false |number|0和NaN为false，其他为true |string|空字符串"“为false，其他为true |对象|不为null的对象始终为true 参考 MDN：Primitive data type MDN：typeof operator

设置Git的http和https代理 git config --global http.proxy http://proxyUser:proxyPwd@proxyServer:proxyPort git config --global https.proxy https://proxyUser:proxyPwd@proxyServer:proxyPort 查询Git的http和https代理 git config --global --get http.proxy git config --global --get https.proxy 移除Git的http和https代理 git config --global --unset http.proxy git config --global --unset https.proxy