COMET职业能力测评国际联盟 德国不来梅大学 Felix Rauner 教授为首的,由中国、南非、瑞士、挪威等国科研人员组成的研究团队,开发建立了 COMET 职业能力模型(见图 1-1),并在我国北京、四川和广州等地进行了测评技术的验证。并在金砖国家和国内竞赛中多次应用。
COMET 职业能力模型由三个维度构成,分别是职业的“内容维度”、“要求维度”和 “行动维度”:
内容维度:包括“职业定向性的任务”、“程序化的任务”、“蕴含问题的特殊任务” 和“不可预见的未知任务”四个职业工作范围,对应四个学习范围,即“定向和 概括性知识”、“关联性知识”、“具体与功能性知识”和“学科系统化的深入知识”。
能力要求维度:包括 4 个能力级别,即名义能力、功能性能力、过程性能力和整 体化的设计能力。
行动维度:包括获取信息、制定计划、做出决策、实施计划、控制和评价六个阶段。
COMET 职业能力模型建立在一系列现代职业教育的理论基础之上,如情境学习和行动导向的学习理论、多元智能和发展性任务的心理学理论、设计导向的职业教育指导 思想、从“初学者到专家”(from novice to expert)职业成长逻辑规律的专家智能理论以 及工作过程知识的工业社会学理论等(详见本手册所列参考文献):
设计导向(Gestaltungsorientierung)思想:上世纪 80 年代由劳耐尔(F. Rauner) 提出并在德国发展起来的人文主义职业教育思想,其核心理念是:人不仅要有适 应能力,更重要的是有能力本着对社会、经济和环境负责人的态度,参与设计未 来工作世界的发展。
行动导向教学(Handlungsorientierung):指师生共同确定行动产品来引导的教学组 织过程,学生通过主动和全面的学习,达到脑力劳动和体力劳动相统一的学习形 式。这里的行动不仅仅是日常生活中的行动、活动或劳动,而且还是为了达到学 习目标而进行的有意识的行为。
职业能力发展的逻辑规律(Development logic):心理学家德莱福斯兄弟(H. L. Dreyfus 和 S. E. Dreyfus)在人工智能研究中提出,专业人员在“从初学者到专家” 的职业能力发展过程中分为初学者、高级初学者、有能力者、熟练者和专家五个 阶段,每一个阶段的知识都有特殊的形态,从一个阶段到另一个阶段需要完成特 定的发展性任务(Developmental task)。
工作过程知识:由社会学者克鲁瑟(W. Kruse)提出、由劳耐尔(F. Rauner)和费 舍尔(M. Fisher)等发展起来的职业教育理论,工作过程知识指有丰富经验的技术 工人所特有的、与生产劳动过程相关的知识。它不仅是在工作过程中直接需要的。
区别于学科系统化的知识),而且是需要在工作过程中自我获得的,特别需要 通过经验性学习后,在工作经验与理论反思间的特定关系中产生。
职业能力测评按照专业类别,以笔试形式进行,目的是评价被试的职业(认知)能力,即“完成和处理一组任务时所需要的主观能力的潜力”。测试中,每位被试共 完成 3 项任务:测试任务卷、背景情况调查问卷和测试动机问卷。监考老师需完成教师 关于学生测试动机的问卷,即考场情况问卷。
测试任务卷是 COMET 测评的主要测试工具,为一道开放性的测试题目。测试题目 因职业的不同而异,具体案例见附录 1。它的基础是职业的典型工作任务,通过一个职业 及其职业描述而定,且符合职业教育培养目标的要求。测试题目具有足够的复杂性和综 合性,能体现以典型工作任务的职业工作和学习内容。能力测评考查的是“冰冻三尺非一日之寒”的能力,考生无需准备。每个专业的测试任务卷分为 A 卷、B 卷、C 卷和 D 卷,由监考教师随机选择发给考生,被试需要提出完成任务的解决方案,并用易于理解 的方式解释采取该方案的理由。在解决方案中,可以利用草图、文字描述、表格和清单 等技术语言说明,并向客户详细阐述其理由。测试任务是开放性的,允许学生给出不同 的答案。
参加测评的被试需填写一份背景情况调查问卷,用于搜集和确定职业能力发展的背景条件,包括被试的背景特征、职业学校和实习实训企业状况(见表 1-1 所示)。背景问 卷还包括用于测量职业认同感的题项,对职业认同感的发展以及在此基础上建立的职业 承诺进行评价。
测试动机问卷用于了解被测的测试动机,涉及完成测评任务的时间、对测试任务的兴趣和认识,以及付出努力的程度。
测试监考教师也要填写一份考场情况问卷,用于了解该班级被试的测试动机和测试氛围。
为了解释和评价被试提供的任务解决方案,我们建立了针对 4 个能力级别的由 8 个 力指标(见图 1-2)组成的指标体系,这 8 个指标分别是:“直观性/展示”、“功能性”、“使 用价值导向”、“经济性”、“企业生产流程和工作过程导向”、”社会接受度”、”环保性”和 “创造性”。
为了使上面的 8 项指标具有可操作性,我们为每项指标设置了 5 个观测评分点,共40 个,这些指标都是经过心理测评技术的信度和效度验证。如:对“直观性展示”设置的观测评分点为:
1)、对委托方来说,解决方案的表述是否容易理解?
2)、对专业人员来说,是否恰当地描述了解决方案?
3)、是否直观形象地说明了任务的解决方案?(如:用图表/用图画)?
4)、解决方案的层次结构是否分明? 描述解决方案的条理是否清晰?
5)、解决方案是否与专业规范或技术标准相符合?(从理论、实践、制图、 数学和语言)
评分者按照观测评分点给学生的测评解决方案打分。每个观测评分点设有“完全不符合”、“基本不符合”、“基本符合”和“完全符合”四个档次,对应的得分为 0、1、2、 3 分。一般来说,如果解决方案里没有提及该评分点的相关内容,则判定为“完全不符合”(即 0 分),简单提及但没有说明的判定为“基本不符合”(即 1 分),提及并说明怎么做的判定为“基本符合”(即 2 分),明确提及且解释理由的则评定为“完全符合”(即 3 分)。
问题解决空间:为了确保评分能够达到足够高的评分者信度,评分者常常希望得到一份试题的“标 准答案”帮助其进行评分。但是由于 COMET 测评采用的是开放性题目,不可能存在这 样一份唯一的“标准答案”,于是项目为每道试题设计了一个“问题解决空间”。 问题解决空间描述了开放性测试题目可能出现的各种解决方案,它可以提示评分者,在 按照 8 个能力指标进行评分时应重点考虑哪些方面。
呈现给每位被试的测评结果:测试完成后,每位被试不但可以得到一个能力总分和自己所处的能力级别,而且还 可以得到一份描述其职业能力特点的轮廓图(见图 1-3)。轮廓图不仅展示了三个能力级 别,而且还包含了八项能力指标,显示了能力模型的多维特征。这可以使被试清楚地了 解自己的优点和缺陷,从而明确未来的努力方向。
呈现给学校的测评结果:通过测评,学校可以了解到自己在所有参加测评的职业院校中的人才培养水平(见 图 1-4),了解自己学生的职业能力总体状况(见图 1-5),了解不同班级学生职业能力水 平的差异和课程改革的效果(见图 1-6)。