日本SCSK株式会社于1日宣布,与株式会社Insight Edge共同开发了一套利用生成式AI替代专家评审流程的“技能评估系统”。该系统基于公司现有的“专业性认证制度”,该制度通过内部外部专家从基础能力、知识和实际经验等角度对员工的专业技能进行评估和认证。

SCSK通过“专业性认证制度”将员工的专业能力以18个职业类别、41个领域及7个等级的方式进行可视化,支持员工的持续成长和职业发展。员工需提交包含自身技能和工作经验的申请材料,并通过各领域专家作为评审员的面谈,综合评定技能等级,每年进行一次等级认证。详细定义的技能等级标准为员工长期职业规划提供了明确指标,评审反馈则成为员工自我提升的重要参考。

然而,现有的申请材料与专家面谈的评审流程给申请者和评审员都带来了较大工作负担,且一年一次的评审导致从申请到技能可视化存在时间滞后问题。

此次开发的技能评估系统旨在解决上述问题,在保持评审准确性的同时,更加及时地实现员工专业技能的可视化,助力灵活且适才适所的岗位分配。系统结构设计上,针对生成式AI可能出现的幻觉(hallucination)和文本表达带来的评估偏差,采取多重防御机制,确保技能评估的公正性。

该系统将评估流程划分为“质量验证阶段”和“技能评估阶段”,防止AI因过度推测而进行不合理的评估。若输入内容不符合具体性标准,则无法进入后续评估阶段,系统会通过追加提问保证输入质量。

此外,系统不依赖单次AI推理结果,而是并行执行多次AI评估,通过统计汇总(如多数决或中位数)排除基于虚假信息的生成结果。

技能评估中,测量(AI)与综合判定(系统)完全分离。AI仅负责单项技能测量,综合评价逻辑对AI隐藏,避免“光环效应”等AI特有的评估偏差。

通过参数化门槛条件,系统可灵活适应多种评分体系,如数值评分或等级评定。若申请内容缺乏具体信息或评估所需资料不足,系统会明确指出缺失部分及原因,帮助提取必要信息,实现更精准公正的评估。