欢迎光临中右建筑咨询有限公司! !

咨询热线:13519199192

招投标

NEWS CENTER

评审专家评分异常的判定方法有哪些?

时间:2021-12-13 浏览量:0字号:AAA

评分异常是对投标文件中的主观性评审内容而言,因为客观性评审内容(比如供应商的资质、项目负责人的执业资格、职称专业核定等)实际上不应当存在偏差,所有评审专家的结论应当一致。

评审专家评分异常的判定方法有哪些?

对于政府采购主观内容的评审是允许存在个体评审差异的,这种差异在合理范围(区间)之内,被看作为“偏差”。当然不能简单地将“偏差”与“异常”混为一谈。关于异常评分的判定标准,一直以来众口不一,尤其是要从定量的角度去刻画难度更大,但可以明确的是,偏差达到极限就是异常。尽管不同的偏差类型判断的标准有所不同,但超出合理偏差范围的评分就是异常评分。因此,要结合偏差的类型具体分析并建立合理的偏差模型。

评分偏差类型可以分为两类,一类是横向偏差,另一类是纵向偏差。

所谓横向偏差,主要是指专家个人与同时参与同一个项目评审的其他专家相比,评分出现偏离,也就是“自己和别人比”有偏差,这种偏差容易甄别。中南大学的唐光杰在《科技评审中评分偏差模型的研究与应用》一文中提出,此种偏差可采用基于统计、距离、密度的异常检测方法;河南大学的焦易于等人在《基于异常评分行为分析的虚假评论商品识别方法》一文中则提出,此种偏差可采用正态分布拟合和时序数据突变点的检测方法。不管采用何种方法,只要构建相对科学、合理的数理模型,都可以比较直接地检测出专家的评分偏离,有没有接近或超过极限值,从而判定其是否为异常评分。

横向偏差大致可细分为四种情况。第一,个性偏差。例如,不以招标文件规定的评标办法为依据,而是根据个人喜好随意给出评标结论。这类偏差有的出于有意(受利益驱使),有的出于无意(工作态度敷衍塞责)。总之,这类偏差属于纯粹的主观臆断,是主观恶意最大的偏差。第二,学识偏差。因评审专家的专业技术水平或者实践经验达不到评标所需的标准而出现的非主观层面的偏差。例如,待评审项目的专业要求与专家自身从事或者熟悉的专业大相径庭,甚至有些专家完全不了解所评项目的专业特点,这属于专家能力不足导致的一种偏差类型。第三,认知偏差。认知偏差是专家基于自身的认知程度,对同一份投标文件的同一个评分项存在不同理解的情形,这也会导致评标结论存在较大差异。例如,对于“最近三年来无重大质量安全事故”的时限起算点的争议,专家A认为,应从行为发生之日起算。专家B则认为,应从认定存在重大质量安全问题法律文书的生效之日起计算。导致这类偏差产生的原因主要是招标文件的评标标准设计不严谨,使专家在评审过程中产生理解上的分歧、认识上的偏差。第四,随机偏差。随机偏差是专家出于非主观原因导致的一种无意识的偶然偏差。例如,对于夜间施工噪声,两个投标文件提供了不同的控制方案,一种安装了声屏障,另一种则砌筑了降噪棚,但是两者都将噪声控制在招标文件规定的55分贝之内。专家出于无心过失给出了不同的分值。

横向偏差判定(Determination of lateral deviation,LAD)。在横向偏差判定时应关注两个指标:一是在同一项目中,对同一投标单位所有评标专家评分的平均值与各个专家评分对平均值的偏离程度;二是在同一项目中,以单个评标专家为对象分别计算其对所有投标单位打分的平均值偏离程度。至于偏离的置信区间可预先设定一个区域(如±10%—20%),根据评标项目不同属性分别设置。如勘察设计、监理等技术服务类项目主观评审因素影响较大的,可以适当放宽区域上下限。

通常,设定专家评审得分为Pi,对于同一个投标单位的其他专家的评审平均分为P,预设的横向偏离区间为Δ,则合理横向偏离幅度应当满足公式①。

所谓纵向偏差主要是专家个人在评审类似项目时出现的评分偏离,也就是专家“自己和自己比”有偏差。这种偏差类型目前国内研究者尚无人关注也未有人提及,但其实是十分关键的偏差来源之一。其理论依据是,在评审过程中,如果有两个项目供应商提交的投标文件在资格条件、响应程度、履约能力等各方面都高度一致(或相同),同一个专家对于这两个项目应该给出相近或者相同的评分。否则,就存在偏差倾向。当然,这两个项目可能不在同一时期出现,因此甄别起来就比较困难,没有数据库的积累和大数据分析工具的支持,很难捕捉到其中的差别,而这点正是大多数人容易忽略的情形,有时甚至连专家本人都无法解释为何出现评分偏差。

纵向偏差判定(Determination of longitudinal deviation,LOD)。专家的纵向偏差判定比较困难,因为需要有足够的样本和大数据工具的支持。从相对简化角度来看,可按照以下步骤处理:首先,要判断待评审项目与以往已评审过的历史项目,在项目特征、采购需求和投标供应商的响应程度方面是否高度相似;其次,要分析待评审的投标供应商与以往投标项目过程的基本情况有无明显变化(如资质、资格、产品规模等);再其次,选择同一个供应商时在时间跨度上不宜太大,否则会受政策环境、评标标准变化等因素影响;最后,满足前三个基本条件的,可以对专家的评分进行纵向抽样比较。如发现专家对同一个企业的评分存在明显偏离的,就有理由怀疑其存在异常评分行为。

设专家本次评分结果为Qi,历史上专家对于该企业的评分为Q,预设的纵向偏离区间为▽,则合理纵向偏离幅度应当满足公式②。

评审时长判定(Determination of bid evaluation duration,EVD)是横向偏差判定和纵向偏差判定以外的一个重要且简捷有效的补充判定方法。理论依据简单,即没有足够的评审时长保障,专家不可能作出合理的评审结论。由于我国的政府采购一般都是通过计算机评审系统对电子投标文件进行评审,因此,专家在浏览电子文档的驻留时间很容易被计算机自动记录下来(一般利用Ajax轮询技术就可调用专家浏览投标文件的后台日志),如此容易判断专家能否给出公正的评审结论。这个时间维度的指标可以从多个角度来定义或者计算,比如,可以计算单页驻留时长、全文本页面平均驻留时长、页面停留极端时长(即单页最长或者最短驻留时长)等。

当然要构建合理的标书文件驻留时长模型不易,因为时长模型涉及的参数众多,要充分考虑投标文件字体的大小、文字内容的难易程度、信息密集程度,以及专家的阅读习惯、专业水平等。有时为了方便起见,也可以采用纵横比较的方法来作一些粗略的判断,比如评标时长不到其他专家平均时长的1/5,那就需要重点关注该评委有没有存在草率评标的情形。另外,专家对于不同的投标文件存在明显的浏览时间差异也是一个应当引起重视的现象,因为,很难想象,专家对于不同的投标文件在严重不对等的时长分配下能给出令人信服的结论。

鼓励在采购招标等工作中依法合规使用信用报告

近日,山东省社会信用体系建设领导小组办公室印发《山东省社会信用体系建设2021年工作要点》(以下简称《工作要点》),强调鼓励在采购招标等工作中依法合规使用信用报......

建筑工程资料专业代理_中右工程咨询 All Rights Reservd.陕ICP备2020016395号