图像搜索:给你爬的美女图建一个搜索引擎
2019-11-17 22:13:37

写在前面

最近测了一下SPTAG这个近似最近邻搜索工具,打算拿一个东西先测测练练手,于是就想到了可以把之前的美女图建一个索引,看看能不能搜到想要的美女图。

需要用到的环境有以下:

  • python3.7
  • SPTAG(Docker版)
  • MongoDB

代码见:https://github.com/nladuo/MMFinder

准备图片

首先是准备好美女图,这里是我很久以前爬的一些图,一共接近1万张。

如果没有的话,这里提供一下Google Drive下载链接:https://drive.google.com/file/d/1shZ3gx9nHPHUgylsZIrvWliwCh9TucAo/view?usp=sharing。解压密码:nladuo。

图片过滤

然后接下来是对图片做一些预处理,这里我主要打算做的并不是整个的图片搜索,整个图片的搜索会比较麻烦。我这里只做人脸的搜索。

这里通过face_recognition这个库,把只有一张人脸的图片保存下来,并提取人脸,然后放到mongodb里面。

1
2
cd MMFinder/data_preprocess
python3 filter_images.py

这里过滤出来9477张图片

特征工程

接下来是要把图片转换成一个向量了,也就是特征工程。因为我本身也不做图像,所以不是很了解具体方法,大概查了一下,传统的方法有SIFT,现在的话就是神经网络了。

如果是一般的图,就用ImageNet训练好的提取最后一层的vector作为特征就好了。这里我找到了一个专门做人脸识别的一个预训练模型:https://sefiks.com/2018/08/06/deep-face-recognition-with-keras/,准确度应该会更高一些。

模型的话就是VGG,最后一层是一个维度为2622的向量。通过处理,这里将所有的人脸转换成一个2622长度的vector,然后保存到mongodb中。

1
2
cd MMFinder/data_preprocess
python3 feature_extraction.py

建立索引

接下来是建立最近邻的索引,也叫dense-index,在文本搜索引擎中,我们一般用的是TF-IDF,属于sparse-index,也就是倒排索引。而dense-index一般是图结构的索引。

为什么要建索引呢?

其实就是加快搜索速度,如果正常情况下,我们搜索一张图,其实需要和数据库中的9477个向量都算一遍相似度,才能得到精确的相似度排序。这个时间复杂度是O(N)的,看起来不高,但是每次搜索,都是O(N),假设有1亿张图片,那不知道要等到哪年。

有了索引之后,可以保证搜索结果在固定的时间O(C)内返回,如果还慢,加机器就好了。

索引系统的安装

关于索引的选择,我这里使用的是SPTAG,因为这是一个高效可扩展的最近邻搜索系统。类似的系统还有facebook的faiss。安装步骤可以见我上一篇文章:Docker下SPTAG的安装与测试

这个安装起来其实还是比较麻烦的,如果想跑着玩儿,也可以看看scikit-learn里面的KDTree,LSH等做近似最近邻搜索的方法。

建立索引

安装好Docker下的SPTAG之后,这里先将所有的图片数据导出成SPTAG规定的输入格式。

1
2
3
cd MMFinder/index_construction
python3 export_SPTAG_indexbuilder_input.py
docker cp mm_index_input.txt (你的容器ID):/app/Release/

然后将导出的数据放到SPTAG-Docker容器里,通过indexbuilder建立索引。

1
2
docker attach (你的容器ID)
./indexbuilder -d 2622 -v Float -i ./mm_index_input.txt -o data/mm_index -a BKT -t 2

建立好索引之后,启动搜索的rpc服务。

1
python3 SPTAG_rpc_search_service.py

查询测试

接下来可以进入查询测试了,如果是mac用户可以安装imgcat工具,在命令行就能查看图片。

1
python3 search_test.py

效果如下,感觉还是可以的

前端Demo展示

最后是把各个模块整合一下,编写上传,搜索接口,形成一个完整的应用的Demo。

1
2
cd web_demo
python3 main.py

效果如下:

Prev
2019-11-17 22:13:37
Next