一个简单粗暴的人脸认证标注工具的实现

小喵的唠叨话:话说最近小喵也要开始写论文了,想了两周还是没有头绪,不知道该写些什么。恰好又被分配了一点标注数据的工作,于是乎想写点代码,休闲一下。结果也就是这篇博客。对了,小喵对GUI编程一窍不通,只知道Windows有MFC,Mac上的不知道。。。恰好听说过QT,而且知道这个界面库是跨平台的,也就选用了这个工具了。

那么现在开始和小喵一起瞎猫似的捯饬QT吧~

先看一眼效果图:

是不是乍一看还挺炫酷。功能上也还好,至少简单的标注工作都能完成了。那么让我们来一步一步的完成这个工具吧。

一、功能需求

这个程序主要的功能是完成一个人脸认证的标注工具。

具体来说,就是给定很多对人脸的图片,要标注一下这一对是不是同一个人。同时,每一对的图片的人脸一张是生活照,一张是证件照,需要同时标注出哪张是证件照,那张是生活照。照片都是经过检测和对齐的,这个工具只需要完成简单的显示、标注、保存记录的工作就可以。

当然考虑到有时候需要标注的list可能很大,可以加入跳转的功能。标注结果都保存在内存,用户可以随时更改,点击保存,则写入硬盘。

二、数据结构

那么是不是现在就可以动手写代码了呢?当然不是!

小喵写这个软件一共用了3天的时间,第一天完成了一个超简单demo程序,熟悉了一下QT的事件添加,路径选择和显示图片的几个功能。之后又仔细的思考了一下各种数据的结构,才动手做了这一版工具。没有一个清晰的数据的概念,会造成许多的无用功。所以,大家在写程序的时候,要在准备阶段多花一点时间来思考,毕竟写代码才是最简单的事情不是吗?

  1. 输入数据格式:因为小喵的工作环境下,大家都对linux有一些了解,所以可以自行生成好图片的路径的list,这里统一要求,list必须是偶数行(2n行),代表n对,相邻的图片为一对。
  2. 标注数据存储:考虑到我们不仅需要标注是不是一对,还得标注哪张是证件照,所以不妨直接在读数据的时候就分成两份,这样就用两个std::vector来存储就行了。
  3. 标注过程的状态:我们需要知道标注过程中的那些信息呢?主要应该有:总数据量,当前已标注的对数。
  4. 标注结果:每一对都有一组对应地 结果,考虑到有4中情况:未标注,不确定,不匹配,匹配这四种,我们定义一个枚举的状态表enum AnnoState就好。之后用一个std::vector来存储标注结果。

三、界面制作

GUI程序的界面一直是个很让人头疼的问题,记得在本科学习Java的时候,需要自己手写一个控件,使用new JButton()类似的方式创建按钮,然后添加到主界面上,位置什么的都得调用这个对象来设置,十分的繁琐。那么QT能不能简化这个过程呢?答案是肯定的。

创建项目->选择Application->Qt Widgets Application。然后项目名改成Anno Pro,其他全部默认设置,就创建好了一个项目了。这个初始的项目里面有3个文件夹:头文件,源文件和界面文件,以及一个.pro结尾的项目配置文件。

既然需要编辑界面,我们自然会想查看一下界面文件了,双击MainWindow.ui(我这里全部都是默认的名字)。出现的是一个充满各种控件的可视化界面编辑器。

按照我们之前的界面样式,拖动左边的控件,就可以完成界面的编写了。小喵这里只用到了几种控件:

QPushButton:各种按钮

QLabel:所以显示文字和图像的区域都是这这个控件

QFrame:一个容器,小喵用它只是为了结构上更清晰

QSlider:滑动条,小喵用的是水平滑动条

QStatusBar:状态栏, 这应该是自带的,如果删掉的话,在MainWindow控件点击右键就可以创建了

拖动完成后,双击空间,就可以给空间设置文本,同时注意给每个控件起一个好听的名字(起名字很重要的!《代码大全》中甚至用一章,好几十页的篇幅介绍如何命名)。

至于其他的控件,大家可以自行研究。反正小喵现在的道行应该才是筑基。

那么我们就愉快的完成了界面的编写了~点击左右下的运行图标(三角形的那个),就可以看到自己的运行程序了!

四、数据定义与初始化

我们先前已经分析了我们需要的数据了,这部分开始使用代码的定义这些结构。

打开我们/*唯一的*/头文件mianwindow.h,添加需要的变量,小喵就直接把自己的头文件复制下来了:


#ifndef MAINWINDOW_H
#define MAINWINDOW_H

#include 
#include 
#include 
namespace Ui {

class MainWindow;
}

class MainWindow : public QMainWindow
{
    enum AnnoState {
        UNKNOWN = 0,  // 未标注
        YES = 1,      // 匹配
        NO = 2,       // 不匹配
        UNSURE = 3    // 不确定
    };

public:
    explicit MainWindow(QWidget *parent = 0);
    ~MainWindow();

private:
    Ui::MainWindow *ui; // 自带的,ui界面的接口
    std::vector image_list_1;  // 用来存放左边的图片的list
    std::vector image_list_2;  // 用来存放右边的图片的list
    int current_idx;                        // 当前图片对的id
    int total_pair_num;                     // 总共的图片对的数目
    std::vector< AnnoState > annotation_list;  // 标注的结果
};

#endif // MAINWINDOW_H

可以看出,小喵添加了一个enum的类型,用来表示标注结果的类型。虽然只有4个状态,我们甚至可以直接约定几个int值来表示,但相信我,为这么4个状态定义一个枚举类型是完全有必要的。

之后我们所有的成员变量都是private的。具体含义,注释中也有写明。

下一步就是初始化了。初始化的过程当然得写在构造函数里,这里,小喵在初始化的时候强迫用户选择一个标注的list,如果不这么做,会有很多的意外情况。请原谅小喵的怠惰。。。


MainWindow::MainWindow(QWidget *parent) :
    QMainWindow(parent),
    ui(new Ui::MainWindow)
{
    ui->setupUi(this);

    // 选择输入文件
    while (1) {
        QString file_name = QFileDialog::getOpenFileName(this, "choose a file to annotate", ".");
        if (file_name.isEmpty()) {
            int ok = QMessageBox::information(this, "choose a file to annotate", "Don't want to work now?", QMessageBox::Ok | QMessageBox::Cancel);
            if (ok == QMessageBox::Ok) {
                exit(0);
            }
            continue;
        }
        std::ifstream is(file_name.toStdString());
        std::string image_name;
        bool is_odd = true;
        while (is >> image_name) {
            if (is_odd) {
                this->image_list_1.push_back(image_name);
            } else {
                this->image_list_2.push_back(image_name);
            }
            is_odd = !is_odd;
        }
        is.close();

        if (image_list_1.size() != image_list_2.size()) {
            QMessageBox::information(this, "choose a file to annotate", "this image list is not even", QMessageBox::Ok);
            continue;
        }
        if (0 == image_list_1.size()) {
            QMessageBox::information(this, "choose a file to annotate", "this image list is empty", QMessageBox::Ok);
            continue;
        }
        break;
    }

    assert(image_list_1.size() == image_list_2.size());
    // 初始化其他参数
    this->total_pair_num = image_list_1.size();
    this->current_idx = 0;
    std::vector annotation_list(this->total_pair_num, AnnoState::UNKNOWN);
    this->annotation_list.swap(annotation_list);

    display();
}

这里用了两个QT的组件:

QFileDialog:这个组件是一个文件对话框,其中有两个十分有用的函数:getOpenFileName用于选择一个文件,并返回文件名;getSaveFileName用于选择一个文件来保存数据,并返回一个文件名。这两个函数的参数很多,小喵只用到了前面的3个,用到的参数依次是:父组件,标题,初始目录。其他的参数的功能,喵粉可以去官网查一下。

QMessageBox::information,这个函数的功能是显示一个消息窗口。四个参数分别表示:父组件,标题,内容,按钮样式。

相信大家懂一点点C++的知识的话,很容易看懂这段代码。

这里就是使用了一个循环,让用户选择文件,如果选择成功了,则读取数据到我们的list中,最终初始化了其他的参数,在调用display函数来显示。这个display函数是我们自己编写的,后面会说到。另外,assert函数是断言,他保证了断言的数据的合法性,如果不合法,程序会退出。想使用这个函数,需要包含头文件assert.h。

五,添加事件响应

小喵之前了解到,QT使用的是一种信号和槽的事件机制,是一种十分高级的机制。那么有没有什么简单的方法,为我们的每个控件绑定自己的的事件呢?

在界面编辑界面下,右击需要添加事件的空间,然后选择转到槽。这时候会有很多选项,这里直接选择clicked就可以。然后你会发现我们的mainwindow类中,多了一个pivate slot的函数(也就是槽函数)。

我们可以给每一个需要添加事件的函数都用这种方式来绑定事件,最终头文件中会出现这样的声明(函数名称的规则是:on_控件名_信号类型):


private slots:
    void on_pushButton_save_clicked();
    void on_pushButton_ok_clicked();
    void on_pushButton_no_clicked();
    void on_pushButton_unsure_clicked();
    void on_pushButton_next_clicked();
    void on_pushButton_prev_clicked();
    void on_pushButton_switch_clicked();
    void on_horizontalSlider_progress_sliderReleased();

在源文件中,也会生成空的函数定义。我们只需要自己完成函数定义就大功告成!

下面给出的是除了save的所有的函数的定义。

主要工作是,给每个事件编写修改数据的代码,而不去负责任何界面相关的部分。各个控件可以通过this->ui来设置和获取。使用Qt Creator的时候,要充分利用智能提示。


/**
 * @brief MainWindow::on_pushButton_ok_clicked
 * 标注为"匹配"
 */
void MainWindow::on_pushButton_ok_clicked()
{
    this->annotation_list[this->current_idx] = MainWindow::AnnoState::YES;
    ++ this->current_idx;
    display();
}

/**
 * @brief MainWindow::on_pushButton_no_clicked
 * 标注为"不匹配"
 */
void MainWindow::on_pushButton_no_clicked()
{
    this->annotation_list[this->current_idx] = MainWindow::AnnoState::NO;
    ++ this->current_idx;
    display();
}

/**
 * @brief MainWindow::on_pushButton_unsure_clicked
 * 标注为"不确定"
 */
void MainWindow::on_pushButton_unsure_clicked()
{
    this->annotation_list[this->current_idx] = MainWindow::AnnoState::UNSURE;
    ++ this->current_idx;
    display();
}

/**
 * @brief MainWindow::on_pushButton_next_clicked
 * 移动到下一组
 */
void MainWindow::on_pushButton_next_clicked()
{
    ++ this->current_idx;
    display();
}

/**
 * @brief MainWindow::on_pushButton_prev_clicked
 * 移动到上一组
 */
void MainWindow::on_pushButton_prev_clicked()
{
    -- this->current_idx;
    display();
}

/**
 * @brief MainWindow::on_pushButton_switch_clicked
 * 交换两边的图片
 */
void MainWindow::on_pushButton_switch_clicked()
{
    std::string tmp = this->image_list_1[this->current_idx];
    this->image_list_1[this->current_idx] = this->image_list_2[this->current_idx];
    this->image_list_2[this->current_idx] = tmp;
    display();
}

/**
 * @brief MainWindow::on_horizontalSlider_progress_sliderReleased
 * 拖放进度条,控制进度
 */
void MainWindow::on_horizontalSlider_progress_sliderReleased()
{
    int pos = this->ui->horizontalSlider_progress->value();
    this->current_idx = pos;
    this->display();
}

至此,我们的大体的功能逻辑就编写完了。

那么怎么让界面上显示我们的系统状态呢?注意到了我们上面的每一个函数都调用了display这个函数了吗?这个函数正式负责绘制界面的功能。

部分主要介绍三个函数:


const std::string UNSURE_FILE = ":File/images/unsure.png";
const std::string YES_FILE = ":File/images/yes.gif";
const std::string NO_FILE = ":File/images/no.gif";
const std::string UNKNOWN_FILE = ":File/images/unknown.png";

/**
 * @brief set_image 将图像设置到label上,图像自动根据label的大小来缩放
 * @param label
 * @param image
 */
void set_image(QLabel *label, const QPixmap &image) {
    float ratio(0.);
    ratio = 1. * label->width() / image.width();
    ratio = fmin( 1. * label->height() / image.height(), ratio );
    QPixmap m = image.scaled(static_cast(image.width() * ratio), static_cast(image.height() * ratio));
    label->setPixmap(m);
}

void set_image(QLabel *label, const std::string image_path) {
    QPixmap image(image_path.c_str());
    set_image(label, image);
}

/**
 * @brief MainWindow::display \n
 * 根据系统中的所有的变量来设置当前界面中的各个部分的内容
 */
void MainWindow::display() {

    if (this->current_idx >= this->total_pair_num) {
        QMessageBox::information(this, "annotation over", "Congratulations! You've finished all the job! Please save your work :)", QMessageBox::Ok);
        this->current_idx = this->total_pair_num - 1;
    }
    if (this->current_idx < 0) {
        QMessageBox::information(this, "annotation warning", "You must start at 0 (not a negative position, I konw you wanna challenge this app) :)", QMessageBox::Ok);
        this->current_idx = 0;
    }

    // 进度条
    this->ui->horizontalSlider_progress->setRange(0, this->total_pair_num - 1);
    this->ui->horizontalSlider_progress->setValue(this->current_idx);

    // 状态栏
    this->ui->statusBar->showMessage(QString((std::to_string(this->current_idx + 1) + " / " + std::to_string(this->total_pair_num)).c_str()));

    // 文件名
    std::string image_name_1 = this->image_list_1[this->current_idx];
    std::string image_base_name_1 = image_name_1.substr(image_name_1.find_last_of("/") + 1);
    std::string image_name_2 = this->image_list_2[this->current_idx];
    std::string image_base_name_2 = image_name_2.substr(image_name_2.find_last_of("/") + 1);
    this->ui->label_image_name_1->setText(image_base_name_1.c_str());
    this->ui->label_image_name_2->setText(image_base_name_2.c_str());

    // 显示图像
    set_image(this->ui->label_image_view_1, image_name_1);
    set_image(this->ui->label_image_view_2, image_name_2);

    // 显示标注结果
    std::string show_image_name = UNKNOWN_FILE;
    switch (this->annotation_list[this->current_idx]) {
    case AnnoState::UNKNOWN:
        show_image_name = UNKNOWN_FILE;
        break;
    case AnnoState::YES:
        show_image_name = YES_FILE;
        break;
    case AnnoState::NO:
        show_image_name = NO_FILE;
        break;
    case AnnoState::UNSURE:
        show_image_name = UNSURE_FILE;
        break;
    }
    set_image(this->ui->label_image_compare_status, show_image_name);

}

最开始我们定义了4个图片的路径。这可以是绝对路径或者相对路径。我们这里的路径设置的比较奇怪,在下面我们会讲到。

set_image负责将给定的图片绘制到QLabel上,为了显示的好看,图像会按照QLabel的尺寸来动态的缩放。这样就不会出现有个图像太大或太小的情况了。

display则是负责各个区域的绘制。

还差一步是保存结果:


/*
 * @brief MainWindow::on_pushButton_save_clicked \n
 * 保存结果文件
 */
void MainWindow::on_pushButton_save_clicked()
{
    QString file_name = QFileDialog::getSaveFileName(this, "choose a file to save", ".");
    if (file_name.isEmpty()) {
        QMessageBox::information(this, "choose a file to save", "please enter a legal file name", QMessageBox::Ok);
        return;
    }
    std::ofstream os(file_name.toStdString());
    for (int idx = 0; idx < static_cast(this->annotation_list.size()); ++ idx) {
        os << this->image_list_1[idx] << " " << this->image_list_2[idx] << " " << this->annotation_list[idx] << "\n";
    }
    os.close();
    QMessageBox::information(this, "save", "save result success", QMessageBox::Ok);
}

六、添加资源

由于我们的程序是需要publish出去的,因此图片文件等资源,必须包含在程序中。那么Qt怎么添加文件资源呢?

在项目视图下,右键项目->添加新文件->Qt->Qt Resource File。就可以创建一个qrc文件了。

我这里给这个文件取名为image。

之后,建议在项目的根目录里面新建一个文件夹,用来存放资源。小喵的结构是这个样子的:

小喵的项目根目录新建了一个文件夹images,并将图像素材放入了这个文件夹。

之后回到QT,