An HMM-based approach for automatic detection and classification of duplicate bug reports

• 论文下载地址: 下载链接
• 作者: Neda Ebrahimi, Abdelaziz Trabelsi, Md. Shariful Islam, Abdelwahab Hamou-Lhadj, Kobra Khanmohammadi
• Affiliation: Department of Electrical and Computer Engineering, Concordia University, Montréal, QC, Canada (加拿大蒙特利尔康考迪亚大学电气与计算机工程学系)
• 发表: Information and Software Technology
• 发表年份: 2019年
• 关键词: 重复错误报告、堆栈跟踪、隐藏马尔可夫模型、机器学习、软件仓库挖掘

摘要

现代软件项目通常面临着大量错误报告的挑战，其中一些可能是重复的。本研究提出了一种基于隐马尔可夫模型（HMM）的方法，用于自动检测和分类重复错误报告，以提高开发团队的工作效率和加快错误解决过程。传统方法主要集中在利用自然语言处理技术来处理错误报告的文本信息，然而，文本描述的质量可能不一致，导致检测效果不佳。本方法采用堆栈跟踪信息和HMM来描述错误报告的观察序列和隐藏状态，使用Baum-Welch算法来训练模型参数。实验结果表明，在Firefox数据集上，该方法在检测和分类重复错误报告方面表现出良好的性能，优于先前的方法。这表明基于HMM的方法在改进错误报告处理效率方面具有潜力，并具有广泛的实际应用价值。

创新点与借鉴点

创新点： 该研究提出了一种基于隐马尔可夫模型的方法来自动检测和分类重复错误报告。与传统方法主要关注文本信息不同，该方法利用堆栈跟踪信息和HMM模型，可以更准确地进行重复错误报告的检测和分类。该方法利用Baum-Welch算法来训练模型参数，从而能够提高模型的准确性和性能。

借鉴点：本研究借鉴了自然语言处理和数据挖掘领域的技术，将其应用于错误报告领域。该研究对错误报告的观察序列和隐藏状态进行了建模，并利用HMM模型来描述它们之间的关系。

实验方法

实验： 作者使用了Firefox数据集来验证他们的方法。他们从Mozilla的崩溃报告系统和缺陷跟踪系统中获取了一组崩溃数据。然后，他们手动将这些崩溃报告分为两组：主BR组和重复BR组。作者使用了两个评估指标：Recall@rank-k和Mean Average Precision (MAP) 来评估他们的方法在检测和分类重复错误报告方面的性能。

方法： 作者提出了一种基于隐马尔可夫模型 (HMM) 的方法来自动检测和分类重复错误报告。具体而言，他们使用了两种观察序列：错误报告的文本描述和错误报告的堆栈跟踪。他们将错误报告的观察序列建模为一个HMM，其中包括隐藏状态和观察状态。使用Baum-Welch算法来训练HMM的参数，从而获得最优的模型。

在训练阶段，作者使用了一组标记有主BR和重复BR的训练数据。通过计算问题的三个参数（转移概率矩阵A，观察概率矩阵B，和初始状态概率分布π）来最大化似然函数，从而得到训练好的HMM模型。

在测试阶段，作者使用训练好的模型来对新的错误报告进行分类和检测。他们使用前向算法和后向算法来计算给定模型下的观察序列的概率，并基于该概率进行分类。

最后，作者通过对实验数据进行评估，计算Recall@rank-k和MAP指标来评估他们的方法的性能和准确性。他们与其他先前方法进行了比较，并展示了他们的方法的优越性。

总结

• (1): 该论文的研究背景是大型软件项目通常每天收到大量的错误报告，其中的一些可能是重复的错误。自动检测和分类重复错误报告对提高团队的工作效率和加快错误解决过程非常重要。

• (2): 过去的方法主要集中在通过自然语言处理来检测重复错误报告，这些方法主要关注报告的文本信息。然而，报告的文本描述可能质量参差不齐。该论文提出了一种基于HMM的方法，利用堆栈跟踪和隐藏马尔可夫模型来进行自动检测和分类，从而克服了过去方法的问题。

• (3): 论文提出了一种基于HMM的方法用于自动检测和分类重复错误报告。该方法通过建立一个HMM模型来描述错误报告的观察序列和隐藏状态，利用Baum-Welch算法来训练模型参数。

• (4): 该方法在Firefox数据集上进行了实验，实验结果表明，该方法能够有效地检测和分类重复错误报告，取得了有希望的结果。通过检索准确率和平均精度来评估模型的性能，结果显示该方法优于先前的方法。这表明该方法具有较高的性能和实用价值，可以支持其目标。