Support Vector Learning for Ordinal Regression

Support Vector Learning for Ordinal Regression

Ralf Herbrich, Thore Graepel, Klaus Obermayer
ICANN, 1999
================================================

這篇提出了一種regression的問題，簡單來說就是在做classification的時候
不僅僅只用 '+' '-' 來作區隔，'+'的部分可以'+' 很多， '-' 的部分同理
用的是Support Vector Learning 的方法，但效果卻比之前的
Support Vector Classification 跟 Support Vector Regression來得好 

這篇說這種Ordinal Regression的問題可以看成
i. classification & ii. regression 的結合
因為在number及分類有限的情況下就像 i.
如果沒有限制 '+'跟'-' 的上限，就比較像 ii.
問題主要就是在怎樣maximize boundary
然後如何對同一個classifier 作 Rank 來表示

在2. 的部分先把問題定義出來，要怎樣表達這種排序的觀念
以及所要求的目標，其實這個部分就是regression
然後定義要怎樣判斷哪種結果比較好

求解的部分用了一般SVM的解法：
1. 加上cost function : minimize the squared norm
2. Lagrangian Multipliers: QP-problem

實驗的部分跟SVM classification 及SVR來作比較
================================================
優點：
1. 提出一個新的regression方式，不僅如此還將這個問題refer 到其他問題上
增加這個方法的實用性，同時也延伸了問題的解法
2. 跟兩種常用的baseline作比較，增加說服力
3. 用之前的解法(cost function, QP-problem)延伸來求解

缺點：
1. 文章的變數好多，整篇看下來我能理解的部分很有限，閱讀很困難
這有可能是因為我對machine learning的領域不熟，不過明明上學期才剛修了一門...
2. 實驗放的圖說明沒有很清楚，看了很久才懂
3. 參數的調整對SVM的影響很大，paper裡沒對這部分多加著墨就用了一組數字