mx's blog - java

在java程序里使用weka进行机器学习

2016-05-21T00:00:00+02:00

之前一直用weka的GUI界面做机器学习的任务, 感觉这个软件虽然界面丑, 不过确实是快速开展机器学期的利器. 关于GUI的weka使用以后有时间再写. 今天这篇记录一下最近使用的java版本的weka.

1. Include jars into project

weka官网的下载链接里选择linux版本的weka压缩包即可, 下载以后找到weka.jar文件, 在工程里将其include一下就可以使用了(btw, 现在开始放弃eclipse, 进入IDEA的怀抱了...).

weka的文档在解压缩的文件里有, 另外在线文档在: http://weka.sourceforge.net/doc.stable-3-8/

about libsvm...

关于libsvm需要有一点特别指出. weka自带的算法里是不包含libsvm的 (有个类似的SMO, 不过还是libsvm久经考验啊...), 需要使用weka的package manager安装. 打开package manager是在weka主界面的菜单里:

在package manager里搜索到libsvm安装即可. 然后(linux下)在主目录可以看到有个wekafiles文件夹, wekafiles/packages/LibSVM/目录下就是libsvm的内容.

需要指出的一点是, 要使用libsvm的话, 需要同时引用两个jar文件, 而且都叫libsvm.jar!!

这两个jar, 一个叫LibSVM.jar, 在wekafiles/packages/LibSVM/下, 另一个叫libsvm.jar, 在wekafiles/packages/LibSVM/lib/下...orz

如果只include第一个jar的话, 就会报错: "java.lang.Exception: libsvm classes not in CLASSPATH! ".

2. terminology

首先统一一下各种东西的叫法...

Instances: 就是dataset, 比如training set或者test set, Instances实际上就是一个Instance的集合
Instance: 就是一个数据点了
Attribute: 一个数据点有一些attribute (别处一般叫做feature), 其中有一个attribute其实是label(可以为missing)
Classifier: weka里的Classifer其实是也包含了regressor或者cluster... 后面都称之为model
Evaluation: 给定一个model和一个dataset, 给出evaluation的数据, 类似GUI界面给出的那些内容

3. 在程序里构建数据

这也是为什么要在java里用weka的原因: 如果数据可以直接以csv或者arff文件的方式得到, 那么直接在GUI界面下就可以搞了...

新建Attribute

http://weka.sourceforge.net/doc.stable-3-8/weka/core/Attribute.html
新建numeric的attribue只要简单的在构造函数里传入一个attribute的名字即可:

// Create numeric attributes "length" and "weight"   
Attribute length = new Attribute("length");   
Attribute weight = new Attribute("weight");

新建离散(normial)的attribue则需要一个list乘放所有可能的数值:

// Create list to hold nominal values "first", "second", "third"   
List my_nominal_values = new ArrayList(3);   
my_nominal_values.add("first");   
my_nominal_values.add("second");   
my_nominal_values.add("third");   
// Create nominal attribute "position"   
Attribute position = new Attribute("position", my_nominal_values);

新建Instances(dataset)

http://weka.sourceforge.net/doc.stable-3-8/weka/core/Instances.html
Instances实际上就是一个Instance的集合, Instances可以类比为pandas里面的DataFrame, 然后每个instance相当于一行. 另外Instances比Instance多的就是Attribute信息(类比为pandas里DataFrame的表头head).

Instances的构造函数有两种, 一种是直接在arff文件里读取, 这个后面再说. 另一种构造函数是在java函数里构建Instance时用的, 它构造一个空的Instance集合, 构造函数提供dataset的名字, attribute的集合(arraylist)以及初始的capacity:

Instances(String name, ArrayList<Attribute> attInfo, int capacity)

其中的第二个参数attInfo其实就相当于是表头信息了, 它是一个Attribute的ArrayList.

ArrayList<Attribute> atts = new ArrayList<Attribute>();  
atts.add(length);  
atts.add(weight);  
atts.add(position);  
Instances adataset = new Instances("aDataSet", atts, 10);

(上面代码里的length, weight 和position都是前面声明的Attribute对象)

Instances还可以指定哪一列对应的是class label (单个Instance则不能 — 因为单个Instance并没有表头信息attInfo):

void setClassIndex(int classIndex)

新建Instance

http://weka.sourceforge.net/doc.stable-3-8/weka/core/Instance.html
Instance是一个接口而不是一个类, 一半常用的是DenseInstance类(它又继承自AbstractInstance抽象类)

这里有一个坑: 一定要指定Instance所属的DataSet(既它属于哪一个Instances对象)再使用setValue函数, 否则在调用setValue的时候可能会有问题!!!

void setDataset(Instances instances)

构造函数里只需要提供这个instance的attribute数量即可. 然后使用setValue函数可以给每个attribue指定数值. setValue函数的第一个参数接收一个Attribue对象, 第二个参数就是这个attribue的数值(double或者string).

// Create empty instance with three attribute values   
Instance inst = new DenseInstance(3);   
instance.setDataset(  adataset); // before calling setValue, should first set the Dataset!``  
// Set instance's values for the attributes "length", "weight", and "position"  
inst.setValue(length, 5.3);   
inst.setValue(weight, 300);   
inst.setValue(position, "first");

4. 在程序里训练model

这里只做classification的例子好了.
http://weka.sourceforge.net/doc.stable-3-8/weka/classifiers/Classifier.html

Classifier是一个Interface, 可以在文档里看到有很多类都实现了这个interface, 主要是三个常用的函数:

void buildClassifier(Instances data) : 用data数据进行训练
double classifyInstance(Instance instance) : 预测一个Instance的label
double[] distributionForInstance(Instance instance) :对于每一个可能的类, 给一个probability, 返回一个double数组

所以程序里训练model只需要调用buildClassifier()函数即可.

5. 从文件读入数据和model

之前讲的是在程序里得到数据, 在程序里储存结果的方法, 而如果可以保存数据到文件的话, 在GUI界面下调试模型应该更加放方便.

预先已经得到了数据的话, 可以先把数据保存问arff格式, 然后用GUI的weka训练和调试参数. 当得到满意的结果以后可以在GUI界面里选择保存训练好的模型(一个.model文件):

然后, weka提供了非常方便的方法, 直接从arff文件里得到Instances对象, 从model文件里得到Classifier对象:
(参考链接: https://weka.wikispaces.com/Serialization 以及 https://weka.wikispaces.com/Use+Weka+in+your+Java+code)

Classifier clf = (Classifier) weka.core.SerializationHelper.read("/some/where/j48.model");  
Instances testset = new Instances(new BufferedReader(new FileReader("/some/where/test.arff")));``

6. 输出Evaluation统计

当得到了训练好的模型clf以及要使用的测试数据testset以后, 可以在testset上测试模型, 并输出结果的统计数据. 这些是靠Evaluation类完成的.
http://weka.sourceforge.net/doc.stable-3-8/weka/classifiers/evaluation/Evaluation.html
Evaluation的构造函数里提供的Instances应该为training set, 这个训练集的作用是"to get some header information and prior class distribution information", 如果构造时给的是testing set的话, 应该调用useNoPriors()函数一下.

构造了evalation对象以后, 只要使用 evaluateModel(Classifier classifier, Instances data) 函数即可, 第一个参数为训练好了的模型(clf), 第二个参数为要用来测试的数据(testset).

然后可以输出统计信息, 就像在wekaGUI界面一样, 主要靠toSummaryString()和toMatrixString()两个函数.

Instances trainInstances = ... instances got from somewhere  
Instances testInstances = ... instances got from somewhere  
Classifier scheme = ... scheme got from somewhere

Evaluation evaluation = new Evaluation(trainInstances);  
evaluation.evaluateModel(scheme, testInstances);  
System.out.println(evaluation.toSummaryString());  
System.out.println(evaluation.toMatrixString());

7. 输出预测结果

对于每一个Instance, 只需要调用Classifier的classifyInstance(Instance instance)或者distributionForInstance(Instance instance)函数, 即可得到预测结果...

Voila, 大概就是这样, weka这个工具还是蛮好用的(只要能忍受它界面的丑), 而且也算没有太多的坑...

使用Eclipse的UML插件生成类图

2014-05-31T00:00:00+02:00

Created samedi 31 mai 2014UML就是可以把程序的结构用图的形式表达出来的东西(好像叫类图), 虽然写程序的时候不大会用到这种东西来搞, 但是写报告的时候如果能够加上一张图的话, 就可以少费些口舌来解释代码了, 而且还有一种高大上的赶脚... 所以写完程序写报告的时候可以用一下.

废话不多说, 看看我最后生成的UML图:

这张图表示一个抽象类Operration有三个子类, 然后他们之间的关系... 如果用文字的话要解释半天吧...

这张图是用Green UML做出来的, 这是一个eclipse插件, 安装方法为:

在eclipse里, Help->Install New Software 然后Add这个URL: http://www.cse.buffalo.edu/faculty/alphonce/green
然后一路Next安装就可以了...
如果老师显示pending, 可能是代理的问题(在X非常不爽的一点...哎...), 不过没事, 代理的设置在: window → preference → General → Network Connections, 填上就应该好了...

用Green UML生成类图的时候, 在java文件上点击右键, 选项里有Green UML的选项:

然后就OK了...

另外还在网上找到了model goon, 不过它生成的类图貌似没有把所有信息都标上, 而且不太好看...

linux下安装并使用java开发opencv的配置

2014-02-10T00:00:00+01:00

今天花了四个小时, 终于在linux下把eclipse下java开发opencv给搞定了... 至于为什么花这么久的时间... 且听我慢慢讲...

linux编译安装opencv

首先, linux下安装opencv其实不麻烦的, 参考文档即可完成: http://docs.opencv.org/trunk/doc/tutorials/introduction/linux_install/linux_install.html

大致有以下几个步骤:

1) 安装gcc以及cmake等等乱七八糟的软件(不过ubuntu下默认差不多都有了吧...)

sudo apt-get install build-essential python-dev cmake

2) 下载opencv-2.4.8.zip并解压缩

3) 新建一个build文件夹

cd ~/opencv
mkdir build
cd build

4) 在终端里输入:

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local ..
make
sudo make install

make命令会花费几十分钟时间... 然后理论上就结束了... 如果不用java开发的话就OK了比如可以运行sample文件夹下的python代码...

但是, 如果要使用java开发的话需要接着这样做.....

安装opencv-java

这一步非常DT, 因为官网上还有一个文档, 专门讲怎么用java开发的... http://docs.opencv.org/doc/tutorials/introduction/desktop_java/java_dev_intro.html

1) 首先, 需要安装ant:

sudo apt-get install ant

2) 其次需要运行cmake, 关键是cmake的参数, 官网给的是这样的:

export JAVA_HOME=/usr/lib/jvm/java-6-oracle#这句不加应该也可以的
cmake -DBUILD_SHARED_LIBS=OFF ..

注意看输出的, 如果"To be built"里面有java这一项的话, 就应该是OK的.... 接下来只要make -j8 就可以了...

最坑爹的地方来了, 以这样的参数运行cmake以后, 运行make -j8总是不成功, 说有错误.....

查了半天, 发现这是一个BUG: http://code.opencv.org/issues/2859

那么试一试加上参数: -DBUILD_TESTS=OFF 吧...

所以cmake的参数要这样写才可以:

cmake -D CMAKE_BUILD_TYPE=RELEASE -D CMAKE_INSTALL_PREFIX=/usr/local -DBUILD_TESTS=OFF ..

3) 用上面那样的参数运行cmake以后, 再:

make -j8
sudo make install

这样就可以成功make了...

如何判断是否安装成功?

以上操作结束后, 看看build文件夹, bin目录下是不是有一个opencv-248.jar文件:

如果有的话就说明成功安装了opencv的java组件...

!!注意!! 不能用windows下opencv安装目录下的那个opencv-248.jar!! 刚才生成那个jar和windows下的jar不一样的!! (我查了MD5码... 其实看文件大小也能看出来!!)

Eclipse下的配置

这里有一篇非常好的帖子, 写的非常到位, 我就不重复了, 链接:

http://exintopro.net/blog/2013/10/02/setting-up-eclipse-for-using-opencv-java-in-ubuntu/

这个帖子虽然很好, 但是没有介绍编译的那一部分, 由于安装java组件时的编译过程和官网给的不一样, 所以才导致我废了半天的时间啊!......

java线程小结

2013-11-29T00:00:00+01:00

INF422的TD2, 这节TD是要做一个多线程筛选质数的程序, 关于java的多线程, 以前用过但是不知道啥意思, 在这里总结下.

创建进程

为了实现多线程, 需要定义一个新的class, 有两种方法: 或者继承自Thread类, 或者实现Runnable接口(关键是重载run()方法).

继承自Thread类

写法1: 定义一个继承自Thread的内部类--

class [类名] extends Thread{
方法1;
方法2；
…
public void run(){
// …
}
属性1；
属性2；
…
}

或者用下面种内联(inline)的写法, 不用给这个类起名字了(不过还要给这个实例取名字):
```
private Thread [实例名] = new Thread () {
    public void run() {
    // ...
    }
} ;
```

然后让进程开始, 就是: t.start(); 如果用t.run()的话, 则依然是并行执行的, 可能达不到多线程效果...

实现Runnable接口

方法1, 代码:

class [类名] implements Runnable{
方法1;
方法2；
…
public void run(){
    // other code…
}
属性1；
属性2；
…
}

方法2, 内联写法:

private Runnable [实例名] = new Runnable() {
public void run() {
    //...
 }
};

android上需要注意的一点

"Android modifies the user interface and handles input events from one single user interface thread. This thread is also called the main thread."

Android collects all events in a queue and processed an instance of the Looper class.

所以注意要修改用户交互的组件(View, Toast, ect.)的时候, 需要在main Thread里面操作, 否则运行时会出错!!

那么, 当其他线程进行计算完成以后, 要刷新屏幕的显示时, 需要告知main Thread 进行更新显示:

"Ajouter un nouvel objet comportant une méthode run() mettant à jour le nombre d'entier premiers (nouvel objet implémentant l'interface Runnable). À la fin du crible, le thread de calcul devra alors envoyer un message (ce nouvel objet) au thread principal pour mettre à jour l'affichage graphique. Cette mise à jour doit être faite via un appel à la méthode post() d'une instance de la classe Handler (l'objet Handler doit être instancié dans le thread principal)."

Bref, 要做到多线程计算, 计算结果显示在屏幕上, 需要:

添加一个Runnable实例("一个实现了Runnable接口的类的实例"), 重载run()方法实现calcul
一个Handler实例, 然后调用这个Handler的post()方法.

看看文档里是咋说的:

public final boolean post (Runnable r)

Added in API level 1 Causes the Runnable r to be added to the message queue. The runnable will be run on the thread to which this handler is attached.

Parameters r The Runnable that will be executed. Returns Returns true if the Runnable was successfully placed in to the message queue. Returns false on failure, usually because the looper processing the message queue is exiting.

意思是handler.post(r)会把r(一个Runnable实例)加入message queue中去, 这个Runnable会在这个handler关联的Thread中执行. 所以只要handler关联的是main Thread, 就可以在这个Runnalbe里面写graphic的代码也不会出错了.

如果在Activity类的声明里声明handler为一个属性: private Handler handler = new Handler(); 这个构造函数没有参数, 根据文档, "Default constructor associates this handler with the Looper for the current thread." 所以这个handler关联到了current thread, 也就是main Thread.....

例子

所以, 多线程计算, 计算结束后修改屏幕显示的话, 需要以下__三个步骤__(比上面的俩步骤多了一个, 不知道是否还可以简化):

在主线程里声明handler, (声明成Activity的一个属性):

private Handler handler = new Handler();

写一个用于修改屏幕显示的Runnable r(也声明成一个属性了):

private Runnable r = new Runnable() {
public void run() {
//code to update graphic display...
}
};

再写一个进行计算的Thread t, 在计算结束后, 用handler.post(r)实现刷新显示的效果:

private final Thread t = new Thread() {
    public void run() {
//...code for calculating...
//结束计算以后, 刷新屏幕:
handler.post(r);
    }
};

然后在onCreate()函数里, 让Thread t 启动起来:

t.start();

需要让t一直循环(监视某个flag), 当flag变为true的时候, 进行计算.

为了达到这个效果, Thread t里面的run()方法需要这样写:

    public void run() {
        while(true) {
            if(flag){
            //...do the calculation...
            handler.post(r);
            flag=false;
            }
        }   
    }

Process, Thread和Runnable的区别?

线程(Thread)是指进程(Process)中的一个执行流程，一个进程中可以运行多个线程。比如java.exe进程中可以运行很多线程。线程总是属于某个进程，进程中的多个线程共享进程的内存。

参考链接: http://www.vogella.com/articles/AndroidBackgroundProcessing/article.html http://www.cnblogs.com/rollenholt/archive/2011/08/28/2156357.html http://developer.android.com/reference/android/os/Handler.html http://lavasoft.blog.51cto.com/62575/99150