|
图4 互操作测试规范制定流程
具体互操作测试过程和一致性测试过程类似,同样包括三个步骤:测试准备、具体测试、测试报告。具体流程见图5。
图5 互操作测试流程示意图
互操作测试过程除了测试使用规范、测试设备和测试驱动与一致性测试不同以外,其它基本与一致性测试类似。
3、一致性测试与互操作测试优缺点及关系
一致性测试和互操作测试都是测试协议实现重要而有效的方法,在某种程度上可以相互验证,但二者并是完全一样。首先,测试目的不同,一致性测试是确定被测实现是否与标准规定一致,而互操作测试是确定被测设备是否完成要求的功能;其次,测试对象不同,一致性测试的对象是设备或者系统,而互操作测试的对象是设备;再次,测试级别不同,一致性测试是在协议级,而互操作测试是在功能级;最后,测试效果不同,一致性测试适用所有被测实现,而互操作测试主要适用于被测设备之间。
实际测试中,一致性测试通过也并不能保证互操作测试一定可以通过。最根本的原因是一致性测试使用标准规定的绝对完整和正确是不现实的,其中也包含各个标准制定人/制定单位理解不同与利益妥协的问题。具体表现如下:
●标准方面:标准中错误与含糊内容;标准本身的兼容性问题。
●实施方面:人为错误(如编程错误);对于通信标准不同理解;标准本身允许不同选项。
●技术方面:通信网络使用不同流量策略;设备兼容性问题;设备配置问题。
当然,互操作测试仅仅可以证实被测系统中不同设备之间的互操作能力,而不能证实设备是否符合标准,因为互操作测试根本就不关心协议细节。故此,互操作测试不可能替代一致性测试。
其实,一致性测试和互操作测试是互为验证、互为补充的关系,只有把两者合理地结合才能完成完整的协议测试。
4、相关标准制定情况
在过去通信发展中,国际标准组织主要关注协议一致性测试,故此一致性测试开展最早,也形成了很多有价值的成果,而互操作性测试仅仅作为商业测试的一种手段来满足具体测试者的需求。1991年国际标准化组织ISO制订的国际标准ISO/IEC 9646(ITU-TX.290系列)——“OSI协议一致性测试的方法和框架”,描述了基于OSI七层参考模型的协议测试过程、概念和方法。相应标准见表1。
表1 一致性测试相关标准
另外,还有ETSIETS 300 406“测试和规范方法;协议一致性测试规范”。
但是随着通信技术的不断发展,新的协议越来越复杂,协议一致性测试工作遇到了很多困难。所以互操性测试相关研究也越来越受到重视。ETSI,ITU-T,ISO等国际组织都开展了相应的研究工作。具体成果有:ETSITS 102 237“互操作测试方法和途径”;ITU-T正在完善的ITU-T Z.itfm“互操作测试框架和方法”;ISO也正在许多协议簇中增加的互操作测试。当然,虽然互操作测试在商业测试中已经有很广泛的应用,但是深入理论化、标准化的工作还有待深入。
5、结束语
协议测试远非前文描述的那么简单,以上介绍的仅仅是方法理论,真正实际测试还需要结合具体的测试案例研究深入的算法和理论。以上主要从总体上介绍了协议测试方法论,可以指导协议测试,让我们了解设备或者系统实现的协议细节及互操作能力,对它们有一个正确的评价和认识。 |