Mryqu's Notes


  • 首页

  • 搜索
close

[Hadoop] Hadoop3信息

时间: 2016-02-21   |   分类: BigData     |   阅读: 63 字 ~1分钟
查看了一下Hadoop 3.0.0-alpha1,结果没查到什么太多信息。 Hadoop Roadmap HADOOP Move to JDK8+ Classpath isolation on bydefault HADOOP-11656 Shell scriptrewrite HADOOP-9902 Move default ports out of ephemeralrange HDFS-9427 HDFS Removal of hftp in favor ofwebhdfs HDFS-5570 Support for more than twostandby NameNodes HDFS-6440 Support for Erasure Codes inHDFS HDFS-7285 YARN MAPREDUCE Derive heap size ormapreduce.*.memory.mb automatically MAPREDUCE-5785 Apache Hadoop 3.0.0-alpha1-SNAPSHOT JIRA: Hadoop Common 3.0.0-alpha1 http://search-hadoop.com/?q=Hadoop+3: 在Hadoop及其子项目中搜索Hadoop3 Hadoop 3支持最低的JDK版本是JDK8,可在hadoop-commontrunck分支(当前默认分支trunck分支为3.0.0-alpha1,master分支为2.8.0)获得其源码。

[C++]获取Facebook帖子生成的SAS时间

时间: 2016-02-20   |   分类: DataBuilder   C++     |   阅读: 17 字 ~1分钟
写了一个小代码分析Facebook帖子生成时间字符串,将其解析成SAS时间。 简而言之,time_t存储的是距00:00:00, Jan 1, 1970 UTC的秒数(epoch),其中tm_year存储的是当前年数减去1900;而SAS时间起始点为00:00:00, Jan 1, 1960UTC;转换主要使用difftime获取两者的时间差。 代码如下: 参考 C++: time_t C++: time C++: gmtime

[C++]获取推文生成的SAS时间

时间: 2016-02-19   |   分类: DataBuilder   C++     |   阅读: 17 字 ~1分钟
写了一个小代码分析推文生成时间字符串,将其解析成SAS时间。 简而言之,time_t存储的是距00:00:00, Jan 1, 1970 UTC的秒数(epoch),其中tm_year存储的是当前年数减去1900;而SAS时间起始点为00:00:00, Jan 1, 1960UTC;转换主要使用difftime获取两者的时间差。 代码如下: 参考 C++: time_t C++: time C++: gmtime

[Hadoop] YARN DistributedShell实践

时间: 2016-01-31   |   分类: BigData     |   阅读: 22 字 ~1分钟
YARN DistributedShell介绍 Hadoop2的源代码中实现了两个基于YARN的应用,一个是MapReduce,另一个是非常简单的应用程序编程实例——DistributedShell。DistributedShell是一个构建在YARN之上的non-MapReduce应用示例。它的主要功能是在Hadoop集群中的多个节点,并行执行用户提供的shell命令或shell脚本(将用户提交的一串shell命令或者一个shell脚本,由ApplicationMaster控制,分配到不同的container中执行)。 YARN DistributedShell测试 执行下列命令进行测试: hadoop jar /usr/local/hadoop/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.7.X.jar -shell_command /bin/ls -shell_args /home/hadoop -jar /usr/local/hadoop/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.7.X.jar 客户端日志显示执行成功: 参考 如何运行YARN中的DistributedShell程序 YARN DistributedShell源码分析与修改 YARN Distributedshell解析

了解HTML5 Data Adapter for SAS®(h54s)

时间: 2016-01-30   |   分类: FrontEnd     |   阅读: 20 字 ~1分钟
今天在LinkedIn上看到一个消息,SAS的银牌合作伙伴Boemska开源了他们的HTML5 Data Adapter forSAS®(h54s)。 H54S是一个库,帮助和管理基于HTML5(JavaScript)的Web应用与部署在SAS企业BI平台上以SAS语言开发的后端数据服务之间的无缝双向通信。可以让Web程序员和SAS开发者协作以前所未有的速度和敏捷创建通用Web应用。 服务器端要求: SAS® BI平台 (9.2及更高版本) SAS® 存储过程Web应用 (集成技术) 粗略扫了一下h54s.sas、h54s.js和method.js:编写一个引入h54s.sas的SAS存储过程,接收前端的JSON数据,经过该SAS存储过程处理后返回给前端JSON结果。 参考 HTML5 Data Adapter for SAS®(h54s) GitHub:boemska/h54s

[算法] 汉明重量(Hamming Weight)

时间: 2016-01-16   |   分类: Algorithm.DataStruct     |   阅读: 277 字 ~2分钟
LeetCode题191是算整数中比特1的个数,即汉明重量或汉明权重。 汉明重量 汉明重量是一串符号中非零符号的个数。因此它等同于同样长度的全零符号串的汉明距离。在最为常见的数据位符号串中,它是1的个数。 汉明重量是以理查德·卫斯里·汉明的名字命名的,它在包括信息论、编码理论、密码学等多个领域都有应用。 算法 位移实现 我自己的实现就是这种。通过判别n是否为0作为循环退出条件,如果n为0x1的话就位移一次,可是n为0x80000000还是需要位移32次。 public int hammingWeight(int n) { int res = 0; while(n!=0) { res+= (n & 0x1); n >>>=1; } return res; } n & (n-1)实现 public int hammingWeight(int n) { int res = 0; for(;n!=0;n = n & (n-1)) { res++; } return res; } 减1操作将最右边的符号从0变到1,从1变到0,与操作将会移除最右端的1。如果最初n有X个1,那么经过X次这样的迭代运算,n将减到0。n& (n-1)实现在大多数比特为0的情况下是效率最高的。 此外n & (n-1)常用于判断数是否为2的幂数(LeetCode题231): ----- binary ---- n n n-1 n&(n-1) -- ---- ---- ------- 0 0000 0111 0000 * 1 0001 0000 0000 * 2 0010 0001 0000 * 3 0011 0010 0010 4 0100 0011 0000 * 5 0101 0100 0100 6 0110 0101 0100 7 0111 0110 0110 8 1000 0111 0000 * 9 1001 1000 1000 10 1010 1001 1000 11 1011 1010 1010 12 1100 1011 1000 13 1101 1100 1100 14 1110 1101 1100 15 1111 1110 1110 JDK实现 java.
阅读全文 »

[CSS] 判断一条CSS样式规则的覆盖者

时间: 2016-01-14   |   分类: FrontEnd     |   阅读: 5 字 ~1分钟
最近项目中有个OpenUI5控件显示缺少左填充,可它在公司的演示项目中却是正常的。接着发现.sasUiWndSectionCont是决定进行填充CSS规则。可是怎么在我的项目中就不成了呢? 调试过程如下: 打开Chrome开发者工具,选择元素检测器(ElementInspector),选择计算后样式(Computed)标签页,鼠标移动到感兴趣的左填充上(padding-left),点击圆圈图标查看详细内容 跳到样式标签页后发现VDB项目下的.sasUiWndSectionCont定义覆盖了htmlcommons的。 定位成功!

处理Twitter API访问速率超限错误

时间: 2016-01-13   |   分类: DataBuilder     |   阅读: 2 字 ~1分钟
与处理Facebook API访问速率超限错误需要对比好几个Facebook错误代码相比,Twitter的API访问速率超限错误只需要处理HTTP响应代码429即可,很轻松。

SocialMedia Error Handling

时间: 2016-01-10   |   分类: DataBuilder     |   阅读: 56 字 ~1分钟
Facebook - Handling Errors https://developers.facebook.com/docs/graph-api/using-graph-api#errors Marketing API Error Codes https://developers.facebook.com/docs/marketing-api/error-reference Games Payments Error Codes https://developers.facebook.com/docs/games_payments/fulfillment/errorcodes List of Error Codes for Facebook’s API Facebook曾经有过错误代码列表,后来不提供了。这里提供完整错误代码列表。 http://www.fb-developers.info/tech/fb_dev/faq/general/gen_10.html Twitter Error Codes & Responses https://dev.twitter.com/overview/api/response-codes Google Analytics Core Reporting API - Standard Error Responses https://developers.google.com/analytics/devguides/reporting/core/v3/coreErrors#standard_errors YouTube YouTube API v2.0 – Understanding API Error Responses https://developers.google.com/youtube/2.0/developers_guide_protocol_error_responses Youtube Data API - Errors https://developers.google.com/youtube/v3/docs/errors

Facebook API Endpoint URL

时间: 2016-01-09   |   分类: DataBuilder     |   阅读: 7 字 ~1分钟
阅读com.restfb.DefaultFacebookClient中的createEndpointForApiCall方法,发现有四种端点URL。 端点URL地址说明FACEBOOK_READ_ONLY_ENDPOINT_URL https://api-read.facebook.com/method从官方PHP客户端抓取的只读函数列表,当API请求为如下列表项,使用该只读端点URL。 admin.getallocationadmin.getapppropertiesadmin.getbannedusersadmin.getlivestreamvialinkadmin.getmetricsadmin.getrestrictioninfoapplication.getpublicinfoauth.getapppublickeyauth.getsessionauth.getsignedpublicsessiondatacomments.getconnect.getunconnectedfriendscountdashboard.getactivitydashboard.getcountdashboard.getglobalnewsdashboard.getnewsdashboard.multigetcountdashboard.multigetnewsdata.getcookiesevents.getevents.getmembersfbml.getcustomtagsfeed.getappfriendstoriesfeed.getregisteredtemplatebundlebyidfeed.getregisteredtemplatebundlesfql.multiqueryfql.queryfriends.arefriendsfriends.getfriends.getappusersfriends.getlistsfriends.getmutualfriendsgifts.getgroups.getgroups.getmembersintl.gettranslationslinks.getnotes.getnotifications.getpages.getinfopages.isadminpages.isappaddedpages.isfanpermissions.checkavailableapiaccesspermissions.checkgrantedapiaccessphotos.getphotos.getalbumsphotos.gettagsprofile.getinfoprofile.getinfooptionsstream.getstream.getcommentsstream.getfiltersusers.getinfousers.getloggedinuserusers.getstandardinfousers.hasapppermissionusers.isappuserusers.isverifiedvideo.getuploadlimitsFACEBOOK_GRAPH_VIDEO_ENDPOINT_URL https://graph-video.facebook.comAPI请求以/video或/advideos结尾FACEBOOK_ENDPOINT_URL https://www.facebook.comAPI请求以logout.php结尾FACEBOOK_GRAPH_ENDPOINT_URL
阅读全文 »
12 13 14 15 16 17 18 19 20

Programmer & Architect

662 日志
27 分类
1472 标签
RSS 订阅
GitHub Twitter FB Page
© 2009 - 2023 Mryqu's Notes
Powered by - Hugo v0.120.4
Theme by - NexT
0%