LPI考试是如何开发的?
LPI考试是如何开发的?
LPI考试的题目是按下列方法开发的
--------------------------------------------------------------------------------
考试结构确定
在考试发展的第一阶段,任务就是建立一个被认证者能做到什么的总体观念。当他们获得了认证之后,他们能从事什么工作?谁是目标市场?在总的认证计划中,用什么区分不同级别的认证?
当1998年秋和1999年初我们考虑认证的不同模型和不同工作描述时,这样的问题产生了。通过讨论,我们列出了一个三级考试的计划。一级将是初学者或初级Linux系统管理者。二级将是高级管理者,而三极将是一非常高级的系统管理者。你可以将一个三级者看成是专家或Linux领头羊。
注意:不同级别研究资料之一是由System Administrator's Guild (SAGE)建立起来的系统管理器工作描述。我们的考试不直接与这些工作描述相连,但是我们的1,2和3级考试都与SAGE的2,3和4级相似。
--------------------------------------------------------------------------------
工作分析
以前有一对特定考试的工作描述(或构成一个级别认证的一组考试),下一步就是有目的性地和科学地决定适于这一工作的实际技能,任务和知识领域。
这里的问题就是,任何人都能提出他们认为一个LINUX管理者应该能执行的任务目录。但是如果你问10 个不同的LINUX系统管理员,一个初级管理者应该做什么,你将得到10 不同的答案。谁能说一个目录比另一个更正确呢?
事实就是,在10份不同的目录中,将有所有目录共有的任务。因此解决之法就是去询问LINUX系统管理员,然后按照你能找到最一般和最重要问题的方法编辑这些答复。
在大多数与专业工作相连的测试程序,这一程序涉及工作分析调查和工作任务分析。工作分析的目的是确定在职者执行什么任务和每一任务有什么重要性。LPI对LINUX系统管理者进行了大量的工作分析。
工作分析调查的第二目的就是合法保护考试目标的有效性。特别是在美国,当有可能在像认证这样的证书的基础上确定雇用决定时,就会有人控告认证团体,他们的考试有偏见且建立在不公平的基础上。工作分析十分关键,它能证明考试目标的法律保护能力和阻止任何偏见的批评。
前期调查
在调查之前,第一步是关于与一些SME‘S一起合作,编辑一份冗长的,他们认为认证目标群随时都将执行的任务的目录。(LPI一级认证初级LINUX系统管理者)这一阶段在1999年三月完成。
工作分析概况
我们把在前期调查中收集的任务组合到工作分析概况中。这一调查要求LINUX管理者用不同尺度来估价每一任务。尺度包括频率(他们多久执行些任务),重要性(执行这一任务对管理者有多重要),还有级别。有 1,400人 通过网络参加了调查。这一调查在1999年4月完成。
数据分析
接着,我们对工作调查的答复作出了统计分析。我们平均地计算了统计显示,答复者估价每一任务有多重要。这一步于1999年4 月完成。
--------------------------------------------------------------------------------
目标发展
下一步重要发展是使用从工作分析研究得到的结果来建立实际考试目标。目标表明了专业系统管理者所能做的特定的事情。每一目标都分配有一目标重值,表明了它们相对于其它目标的重量性。
前期目标草拟
作为发展目标的第一步,一组有LINUX技能和心理测验学 原则知识的人,在工作分析调查的基础上草拟了一组测试目标。这一步于1999年4月完成。
目标审查和修改
在草拟目标产生以后,它们被提交公众审查和评论。一个叫POMS 的网站被作此用。这一系统通过考试的内容来组织目标,显示目标本身及与之相连的文件。使用网络的形式收集了公众对目标的意见。管理人员审查了这些意见,并作了必要的修改。目标于1999年6 月初确定。
作为此程序LPI一级的一部分,目标被分开到101和 102号考试。本来,打算这些目标的大部分都只放入一个考试,但是很明显,要测试所有的目标将超出IT认证考试一般所允许的60-90。为了进一步与工业标准保持一致,这些目标被分到两个考试。
关于这一点,发行者和课件开发者能开始为LPI一级考试者制作培训和教育材料。
--------------------------------------------------------------------------------
目录发展
随着目标的确定,下一步就是写出将在考试中出现的问题。(注意:在考试发展界中,一个问题被称作一个目录)
不像其它主要发展阶段中的步骤,目录发展中的步骤是平行的。那就是,目录进入以后,就从一个步骤流到另一步骤。
安全是目录发展中的主要焦点。所有目录尽可能的保密是十分重要的。因此,参加这一步骤的每一个人都被要求不要向任何人泄露目录内容,并签订不泄露协议。也采取了其它的安全防卫措施。
目录编写
大多数IT认证考试目录发展程序都是将一组主题专家集中到某一地点一个星期或更久,培训他们如何编写目录,然后让他们热情地创建必要的目录库。
由于花费巨大,及广泛包含的愿望,我们选择不这样为考试1 编写目录。而在1999年8 月在网上公开呼吁目录编写员。每一个有兴趣和有知识的人都被鼓励来编写目录。一个叫做TIPS的网络界面被用来收集大多数的目录。
目录编写者为每一目标编写目录。每一目标所需的目录数是由它的目标重量值决定的。我们一收集到足够覆盖一目标的目录时,我们就关闭这一目标,防止向这一目标提交更多的目录。
当这一目录收集方法起作用时,我们有70 人提交了目录以供考虑,大增长了这一阶段。
对于接下来的二级和三级,我们将象以前一样提出公开界面,但同时也会寻找一组主题专家以更快地发展考试。
目录筛选
一旦目录被提出来,所有的目录都要由考试发展管理者筛选。筛选集中在三个标准:
冗余: I与以前提出来的目录很相同的目录受到排斥。大体上讲,目的是保证每一目录都有不同的内容。
短语: 那些用混淆的或不合适方法表达的目录将被排斥或重述。同时也注意保证让非英语母语的人也能理解
准确: 管理者不是对所有LINUX领域都很专业,但是他们能反对或重述那些明显技术性不准确的目录。
在目录筛选阶段,每一个目录:
反对,
完全接受,或
重述后接受
目录技术审查
那些在筛选阶段中被接受的目录提交LINUX专家组作技术审查。我们与10名LINUX专家志愿组签了约,让他们审查目录。
在审查阶段估价目录的基本标准是:
正确性:审查者确保主要正确答案确实正确。
错误选择的适当性(多项选择目录):审查者确保错误选择答案是错误的,而不是似是而非的。
短语:审查者确保目录用合适的语言叙述。
与目标的相关性:审查者确保目标与它准备度量的目标紧密相关。
预见困难
每一目录至少由两名专家审查。每一个专家将每一个目录分为:
同意,
反对,或
其它:审查者可能建议重述或者拒绝估价。
考试发展管理者收集审查。在这一阶段,每个目录:
一致同意接受:如果审查者认为目录应该被接受,管理者一般都会接受它。
一致反对:如果审查者认为目录应该被排斥,管理者一般都有会排斥它。
进一步审查后接受:如果审查者对某目录达不成一致意见,管理者将在其它审查者的意见基础上同意它。
进一步审查后反对:如果审查者对某一目录达不成一致意见,管理者将在其它审查者的意见基础上它,或者:
修改后接受:在某些情况下,审查者可能会建议重述某一目录,管理者将在重述后接受它。
--------------------------------------------------------------------------------
创建考试
在所有目录都被收集和审查后,下一步就是把目录组装成考试并广泛地展开它。
生动的创建形式
首先,我们选择那些包含每一目标的目录,并把它们放到完整的测试形式。每一测试将有两种版本。每种版本将由60-100个目录组成,选自所有的测试目标。当一考生考试时,他或她将得到两种版本中的一种。如果他们考试失败而重考,他们将得到另一版本。(如果他们都失败了,他们第三次将得到第一种版本)
注意,当考生考试时,考试中心将随意安排题目。如果考试中心邻座的两名考生得到了同一版本,问题的安排仍然是随意的,他们就不会按同样的顺序来阅卷。
前期考试公布
一旦LPI心理测验学人员决定了版本成份,考试将由文本目录形式转换成实际考试文件模式,通过 测试中心网络将被广泛地传播。
对这一点,我们使用在Utah的Galton Technologies的服务。Galton为很多的IT认证程序提供这些服务。Scott Murry,LPI的考试开发主任,与Galton一起工作,把我们的目录变成所需要的形式。在最终产品交给之前,要进行几级审查。
在转变之后,要取得考试文件和做进一步工作,保证考试运行正常。最后,一级认证的两个考试都有用。考试101于2000年1月11日,102于4月10日应用。
Beta考试时期
考试现在进入了前期测试时期,最终目标是要决定题目是否正确运行和是否度量了它们要度量的技巧和能力。在测试行业中,这一时期经常叫做初始期,引导期或测试研究期。然而在IT认证行业中,这一时期被称作beta测试期。
在这一时期,应试者能报考这些测试,并在本地测试中心完成它们。他们参加这些考试也得到信任。Beta考试与最终考试不同之处在于,应试者不能马上得到考试分数。
事实上,在beta考试期间,所有的考试都是由LPI心理测试学人员亲手阅卷的,并由邮寄发送到应试者手上的。
但是在考试得分送出之前,要设置评分标准。这本身就是一个复杂的程序。这时就有几个同时运行的程序。
获得足够的考试
设置评分标准的首要条件就是要获得足够的考试结果。目标是每一考试版本都有100份结果供设置。因此,由于我们每一考试有两个版本,101和102都要有200份考试结果。我们公布了一个激励的计划,提供折扣,还使用Linux Business Expo测试中心来获得必要的考试结果。
作为beta考试程序的一部分,我们也收集了参加考试的人的统计。(他们使用LINUX多久了?他们是否每天都进行系统管理?他们准备得怎么样了?)我们希望有大量的与我们的目标工作描述相似的人来参加考试。当测试心理学人员在审查题目时,他们就考虑到了进行统计。
审查题目
当考试结果出来时,测试心理学人员就开始检查这些资料。有每个人都答对的问题吗?有每个人都答错的问题吗?(这两种情况都显示了考试题目可能出错了。)考生有什么样的意见?
我们确实安装了参考的人能发表意见的设备,就像你能从有较强意见的人(经常打字很快的人)那里能得到的一样,我们得到了大量的意见。真的,大量的意见。
因此这一时期的部分工作就是检阅这些意见,强调问题,增加关心。尽管有冗长的,全面的审查程序,还是有一些技术问题漏掉了,并出现在beta考试中。有一些题目需要丢弃。这些问题中的一些是考生提交的意见发现的。
修改了的-Angoff调查
当心理测试学人员在审查交来的资料时,一些独立的由主题专家同时也在进行一个叫Modified-Angof的调查。它的目标是要为测试心理学人员提供附加的资料,以使问题有效和帮助设置评分标准。
程序基本上是SME‘S接到每一考试版本的复本。他们检查每一道题(独立地和相互切磋),决定那些最小满足说明中描述的要求的人,怎样能正确回答问题。SME’S被要求从那些技能较差的人执行任务的观点出发,来考虑问题。SME‘S用他们对有多少人能答对一道题的计算来估价题目,并且记住,在做多项选择时,多少人单凭猜测就能答对。
以下就是这一资料的用法。例如,有一问题,SME‘S的判断比较强硬,他们认为考生只30%能答对。如果考试结果出来后有90%的考生答对了,那么就要检查是否题目的答案被泄露了。(或者是答案出现在本考试中的其它题目中了。)
相反地,如果有一问题SME‘S认为所有考生都知道,将有95%答对。而当考试结果出来后,只有10%的人答对了,那就要检查目录是否它的描述方法出错了或是有一些其它的问题。
理想地,Angoff调查的结果应该与beta时期的考试结果有些相同。
除了有效的目录执行,Angoff调查的结果同样也被用来为考试建立评分标准。例如,打个比方说,Angoff调查结果说所有的问题都太难了,某一版本的平均正确率为30%。这一信息告诉测试心理学家,他们应该把评分标准设得更低些,因为考试问题实在是太难了。
发送得分结果
在所有的资料收集,分析和Angoff调查之后,测试心理学人员设置评分标准,并且为在beta 时期内进行的考试手动评分。然后用邮件把得分发送给每一位考生。
考试发行
在beta时期所有工作之后,评分标准建立了,考试可以发行了。
考试再发行
随着时间的推移, 每次考题更新, 以上一程序都会又包含了一次又一次的审查和重复,要一个月或更长才能完成。
---------------------------
关于LPI
LPI(Linux Professional Institute)是一家基于国际Linux社区,服务于社区的非盈利组织,总部设于多伦多。LPI希望能够将愿意投入并实现Linux事业的公司企业与专业人士,汇聚成一个积极、尽责的社团、以推动全球Linux技术水平的不断提高。LPI已为世界公认,是倡导和协助开源代码、Linux和自由软件专业化应用的国际知名组织。
http://www.lpi-china.org
--------
|