再加把劲
luweimstr · 共 12 篇文章
最短路径Mapreduce实现
¢A map task receives lKey: node n lValue: D (distance from start); points-to (list of nodes reachable from n) ¢p \in points-to: emit (p, D+1) ¢The reduce task gathers possible distances to a given p and selects the minimum one input文件格式为: <node id><distance to the start node><[node id it can reach]…
2013-01-17 15:10 · big data · 评论(0)
Apriori 关联规则算法
关联项的求解问题非常常见,最典型的例子如“牛奶面包”问题。然而常常需要通过对具体数据的分析来获悉一些不是很明显的关联对。例如我们熟知的“啤酒尿布”关联。如果不是事先听说过这两者之间微妙的关联,我想很多人是很难想像到其中的关联的。相信还有许多微妙的关联关系只有通过对具体数据的分析才能被发现。 求解关联pair或者更大的关联集合的最朴素的想法就是列举并统计所有可能的pair的出现频数,判断其是否足够大。但是组合结果通常过大,而使得计算量过大。可以发现#{K-子集合}>...>#{triple}>#{pair},其中K>N/2,N表示所有物品的个数。 “Mining of massive data…
2013-01-16 21:03 · 大数据 · 评论(0)
FlajoletMartin
FlajoletMartin 算法 原始算法: "Mining Massive dataset"中介绍的改进过程: 3-4. 构造m组hash函数,每组n个函数。对每个字符计算hash值,h11,...,h1n, h21,...,h2n,..., hm1,...,hmn 4. for each hij, get its 0-tailing length: <!--WizRtf2Html Charset=0 -->private int rho(long v) { int rho = 0; for (int i = 0; i < m_bitmapSize; i++) { // size of …
2013-01-15 13:39 · 评论(0)
bloom filter
Bloom Filter m=|bit array|, n=|S|, k=# of hash functions. false positive= Given m and n, will results the minimum false positive. k=-log2 eps. y=D(expression((1-exp(c*x))^x),'x') > y (1 - exp(c * x))^x * log((1 - exp(c * x))) - (1 - exp(c * x))^(x - 1) * (x * (exp(c * x) * c)) let y=0, we get k let…
2013-01-15 13:02 · 评论(0)
java版本的leveldb
近来对leveldb比较感兴趣,一来是因为之前学习了HBase,leveldb则是HBase Regionserver的简单实现。通过学习c++代码,我发现google的工程师真是太牛了,其中很多设计都令人叹为观止。尤其是通过多层次 Iterator来封装对数的访问,让我大开眼界。 手痒,试着用Java实现LevelDB:http://code.google.com/p/leveldb-java/ 大家轻拍。
2012-08-21 22:32 · database · 评论(0)
hbase客户端.准备知识.excutorservice
在hbase客户端htable中批处理操作是通过ExecutorService实现的。ExecutorService类似于线程池,用户提交的put,delete等操作都被响应地创建了线程在ExecutorService中执行,并对各个操作的响应进行返回或异常处理。本文对ExecutorService进行初步介绍,作为hbase客户端代码学习的准备知识。 通常我们会创建一个ExecutorService对象并向其中丢一些线程,然后就任由之执行。例如下面的例子1。 package java.ExecutorServiceStudy; import java.util.concurrent.Exe…
2012-08-09 22:06 · HBase · 评论(0)
单次扫描完成二值图连通区域标记
from: http://www.cnblogs.com/luweiseu/archive/2012/07/14/2591477.html 连通区域标记算法 二值图像的连通区域标记过程:从仅由”1”像素(前景点)和”0”像素(背景点)组成的一幅点阵图像中,将相互邻接的”1”值像素组合成区域,并用边界信息来描述每个连通区域。 传统的连通区域标记方法通常要对二值图像执行两次扫描。第一次扫描通过逐行逐列扫描像素。判断像素之间的相邻关系,对属于同一连通区域的像素赋予相同的连通标号,实现连通标识。这种逐行逐列的次序扫描的结果,通常会产生同一像素点被重复标记的现象,同一连通区域的不同子区域被赋予了不同的…
2012-07-14 14:36 · 算法 · 评论(0)
HBase 之mapreduce 提升
最近在研究如何利用Mapreduce架构处理HBase中的数据。总体来看有以下两种方法: 1)借助HBase提供的package:org.apache.hadoop.hbase.mapreduce。目前package的性能不是很优,下文将详述; 2)借助Hive提供的hbase-handler,利用hive来处理后base的数据,但是hbase-handler依然依赖1)中的package,自然存在同样的问题。 本文旨在对方法1)进行提升,提出一个思路,希望大家多多讨论,给出意见建议。 第1)种方法,HBase的提供的Mapreduce将待处理的HTable按照region的start/en…
2011-08-28 01:37 · HBase · 评论(1)
自己写写Android上的Chart Engine(四. time series chart)
转自: http://blog.sina.com.cn/s/blog_83395bd50100utvz.html 今天晚上把time series chart完成了,并把它和之前的bar chart, pie chart 一起在我的手持终端上运行了一下,效果还算OK。 今天主要介绍一下Time Series Chart以及chart的设计模式(比较简单) 其实Time Series Chart和Bar chart 几乎是相同的,只需要将bar换成正方形以及相连的直线即可,所以grid、title等都可以直接使用bar chart的函数来创建。 实例图如下: 下图是chart engine 的…
2011-07-06 23:25 · abdroid · 评论(0)
自己写写Android上的Chart Engine(三. pie chart)
From: http://blog.sina.com.cn/s/blog_83395bd50100ujwx.html 从昨天晚上开始着手写pie chart了,现在基本成形。有了之前bar chart的经验,pie的实现就比较轻松了,至少实现的过程比较明朗。pie chart依然由pie,grid,title,legend,tool tip等组成。 这里的grid不是bar chart中的网格状的grid 坐标系,这里是的grid由椭圆极坐标系中的几个百分比数值组成; Legend显示了不同颜色的类别名; 在pie view中实现tooltip有个小小的数学问题,就是如何将椭圆中笛卡尔坐标值…
2011-06-29 23:38 · abdroid · 评论(0)
自己写写Android上的Chart Engine(二. bar chart)
From : http://blog.sina.com.cn/s/blog_83395bd50100ugsf.html 今天算是坚持了,对昨天完工的bar chart做了一定的polish: 1)能同时画出多个分类的bar,以不同的颜色显示; 2)添加了tooltip,不过这个tooltip需要用户点击(touch)响应的bar根据bar的数据、颜色和位置等信息显示该bar的信息(分类,横坐标,纵坐标); 3) 在bar chart和chart Grid的基础上又添加了Title和legend。 简单介绍几个组成部分: 首先显示的bar chart (包括bar,Grid,title和leg…
2011-06-27 23:11 · abdroid · 评论(0)
自己写写Android上的Chart Engine
From: http://blog.sina.com.cn/android4pim 基于android的chart engine现在已经很多了,最有名的应该是afreechart了。 最近刚开始学习android开发,准备从chart engine入手。计划先实现bar chart, pie chart, time series chart. 花了一段时间完成了bar chart 的雏形(白天工作,晚上只能搞一会会儿,速度比较慢自己写写Android上的Chart Engine). 先贴几张图,希望能坚持做下去。 目前的代码架构和效率还没有精心设计,大概的结构如下,待我将代码polish之后…
2011-06-27 23:10 · abdroid · 评论(0)