Lost in Binarization: Query-Adaptive Ranking for Similar Image Search with Compact Codes

Lost in Binarization: Query-Adaptive Ranking for Similar
Image Search with Compact Codes






ICMR'2011
Yu-Gang Jiang  , Jun Wang  , Shih-Fu Chang
Columbia University, New York, NY 10027, USA
IBM T.J. Watson Research Center, Yorktown Heights, NY 10598, USA
========================================================

這篇paper講的是在large-scale image search上的improve
他在state-of-art 的 scheme上  用hamming distance的時候可以作re-ranking

這篇就是標準的踩在巨人肩膀上
甚至在hamming distance re-ranking的概念都是別人提出來的
不過裡面的related work 寫得很清楚
把過程及一些方法的優缺點都寫出來了

目前很多paper提出的state-of-art作法
1. 取BoW(Bag-of-words) feature
    用SIFT 再quantize 成 visual words
2. binary embedding (hashing)
3. reranking (Hamming distance)
   這篇paper主要的improve是在這裡，他提出一種reranking 是可以根據query
   給不同的weight 去作 reranking

在 related work 有作 2. 的比較，目前比較efficient image search有三種方法
a. inverted index:
    缺點是 image 不像 text 在 query的時候會用關鍵字，image的 word很多
    所以return 的 candidate images 也就會很多
b. tree-based index:
   目前大多是用KD-tree，但對high dimension的效果不好
c. binary embedding:
   很多人用Locality Sensitive Hashing(LSH)
   但在hamming distance相同下有很多不同的意義
   這篇主要是用這個方法然後improve reranking的結果
   最近也有很多paper在研究如何reranking
   但這篇最大的不同點是會因query改變weight

方法在概念上是在query 後，先找出一些比較相似的class
然後利用這些class算出hamming code 每個dimension 的weight
再用這個weight 去 內積原本的hamming distance
最後用這個score 去作re-ranking

這篇 實驗的部分就是show出用提出的方法 MAP可以提升多少
========================================================

優點：
1. 對於 state-of-art 各步驟的一些方法，在related work裡有作說明及比較
2. Adaptive weights 用數學式去推導，而且可以用 quadratic programming來算
3. improve the state-of-art

缺點：
1. 方法建立在state-of-art上，改進某一個部分，而且想法別人也提出過
這部分的創意點比較不夠
2. 用adaptive weight 變成要有一定數量的class，但在實驗裡這部分沒有詳細討論
不過在future work裡有說之後可以improve # class
3. 我覺得這個方法應該可以考慮 diversity 的問題，但paper對這部分沒有多作著墨