I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   15 ,   No .   2 A p r il   2 0 2 6 ,   p p .   1 1 5 1 ~ 1 1 6 2   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 1 5 i 2 . 3 6 6 9 7          1151       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Dig ital a ss ess ment f o rma ts i n high e r educatio n a e mpirica a na ly sis  of t he pr o cess  ef fici ency  of  e - a ss ess ments  co mpa red t o   pa per - pen  ex a ms       F la v io   Di  G ius t o   C e n t e r   f o r   I n n o v a t i v e   Te a c h i n g   a n d   L e a r n i n g ,   Z u r i c h   U n i v e r s i t y   o f   A p p l i e d   S c i e n c e s ( ZH A W ) ,   S c h o o l   o f   M a n a g e me n t   a n d   La w   ( S M L) ,   W i n t e r t h u r ,   S w i t z e r l a n d       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Au g   25 2 0 2 5   R ev is ed   Feb   12 2 0 2 6   Acc ep ted   Feb   23 2 0 2 6       Dig it a li z a ti o n   is  re sh a p in g   h i g h e r   e d u c a ti o n ,   in c lu d i n g   t h e   wa y   e x a m in a ti o n s   a re   d e sig n e d   a n d   a d m in istere d .   El e c tro n ic  a ss e ss m e n ts   (EA)  a re   wid e ly   re g a rd e d   a p ro m isin g   to o ls  t o   e n h a n c e   p ro c e ss   e fficie n c y .   T h is  a rti c le  p re se n ts  th e   f in d in g o f   a   m i x e d - m e th o d stu d y   c o n d u c ted   a Zu rich   Un iv e rsity   o Ap p li e d   S c ien c e (ZHAW),   c o m p a rin g   tra d it i o n a p a p e r - p e n   e x a m (P P E)  a n d   EA  a c ro ss   b o t h   m u l ti p le - c h o ice   (M C)   a n d   o p e n - q u e stio n   (OQ fo rm a ts.  Us in g   a   p ro c e ss   c o st  a n a ly sis  a c ro ss   t h re e   m o d u le (n > 7 0 0 ),   su p p o rted   b y   in terv iew a n d   stu d e n s u rv e y s,  t h e   st u d y   i n v e sti g a tes   ti m e ,   c o st,  a n d   a c c e p tan c e   o u tc o m e s.  R e su lt sh o t h a EA   wit h   M C   f o r m a ts  y ield   su b sta n ti a l   e fficie n c y   g a in s re d u c in g   o v e ra ll   c o sts   b y   u p   t o   8 5 % p rima ril y   d u e   t o   a u to m a ti o n   i n   g ra d in g   a n d   a rc h i v i n g .   Ho we v e r ,   fo r   OQ   fo rm a ts,  d i g it a li z a ti o n   p r o v i d e o n ly   m a rg i n a c o st   b e n e fit s,  a m a n u a l   g ra d in g   re m a in a   m a jo c o st   d r i v e r.   T h e   stu d y   o ffe rs  n u a n c e d   i n sig h ts  in t o   th e   p r o c e ss   d y n a m ics   o f   d i g it a e x a m a n d   e m p h a siz e th a t h e   e c o n o m ic  a d v a n tag e o EA   stro n g l y   d e p e n d   o n   e x a m   f o rm a a n d   i n stit u ti o n a imp lem e n tatio n   stra te g ies .   K ey w o r d s :   E - ass ess m en t   Mu ltip le  ch o ice   Op en   q u esti o n   Pap er - p en - e x am   Pro ce s s   ef f icien cy   Un iv er s ity   ex am   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Flav io   Di  Giu s to   C en ter   f o r   I n n o v ativ T ea ch in g   an d   L ea r n in g ,   Z u r ich   Un iv er s ity   o f   Ap p lied   Scien ce s   ( Z H AW )   Sch o o l o f   Ma n ag em e n t a n d   L aw  ( SML )   8 4 0 0   W in ter th u r ,   Switzer lan d   E m ail: d ig i@ zh aw. ch       1.   I NT RO D UCT I O N   Dig italizatio n   is   p r o f o u n d ly   tr an s f o r m in g   u n iv er s ities     n o o n ly   in   teac h in g   an d   r esear ch ,   b u t   in cr ea s in g ly   also   in   ex am in ati o n   p r ac tice.   T h in t r o d u ctio n   o f   elec tr o n ic  ass ess m en ts   ( E A )   is   cu r r en tly   b ein g   d is cu s s ed   in   m an y   d eg r ee   p r o g r am s .   T h is   r ef e r s   to   elec tr o n ic  ex am in atio n   f o r m ats  th at,   th r o u g h   d ig ita l   tech n o lo g ies,  n o o n ly   m ak e   ex is tin g   p r o ce s s es  m o r ef f ic ien b u also   o p en   u p   n ew  d i d ac tic  p o s s ib ilit ies .   T h ey   p r o m is ef f icien c y   g ain s ,   f lex ib ilit y ,   an d   m o d er n   im p lem en tatio n   o f   ass ess m en ts     asp ec ts   th at  ar o f   k ey   r elev a n ce   b o th   in   u n d er g r ad u ate  s tu d ies an d   in   c o n tin u i n g   ac ad em ic  e d u ca tio n .   T h C OVI D - 1 9   p an d em ic   h as  m ass iv ely   ac ce ler ated   t h is   tr en d   [ 1 ] [ 4 ] .   I n   t h a g o f   d i g italizatio n ,   u n i v er s ities   ar e x p ec ted   n o o n ly   to   im p ar k n o wled g e   b u also   to   b co m p eten in   u s in g   d ig ital   ex am in atio n   in s tr u m en ts .   M u c h   o f   th e   r esear ch   to   d ate  h as  f o cu s ed   o n   d id ac tic  an d   tech n ical  asp ec ts   o f   EA ,   s u ch   as  q u esti o n   f o r m ats,  f ee d b ac k   f u n ctio n s ,   o r   ex am in atio n   v alid ity ,   as  well   as  o n   t h q u alitativ d ev elo p m en o f   ex a m in atio n s   th r o u g h   d i g ital  f o r m ats    e. g . ,   m u ltime d ia  task s   o r   ad a p tiv f ee d b ac k   [ 5 ] [ 7 ] .   Ho we v er ,   th ec o n o m ic  an d   o r g an iza tio n al  im p ac ts   h av b ee n   less   s y s tem atica lly   in v esti g ated     esp ec ially   in   co m p ar is o n   t o   tr a d itio n al  p ap e r - an d - p en cil  e x am s .     T h liter atu r s o   f ar   lac k s   em p ir ical  s tu d ies o n   p r o ce s s   ef f ici en cy   ac r o s s   all  p h ases   o f   th e x am in atio n   p r o ce s s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   2 Ap r il   20 26 1 1 5 1 - 1 1 6 2   1152   [ 8 ] ,   [ 9 ] .   E s p ec ially   in   f ee - b as ed   co n tin u in g   e d u ca tio n   p r o g r am s ,   wh er ex am s   a r o f te n   o r g an ized   p ar t - tim e,   m o d u lar ,   a n d   r eso u r ce - co n s ci o u s ,   b u t a ls o   in   r eso u r ce - co n s t r ain ed   d eg r ee   p r o g r am s ,   ef f ici en cy   in   th s en s o f   tim e,   co s t,  a n d   q u ality   ad v a n t ag es  is   k ey   ar g u m en t   f o r   o r   ag ain s ch o o s in g   a   p a r ticu lar   ex am in atio n   f o r m at.   T h q u esti o n   o f   th is   ef f icien c y   is   g ain in g   p a r ticu lar   im p o r tan ce .   E f f icien cy   i n   h ig h er   ed u ca tio n   is   u s u ally   u n d er s to o d   in   th c o n tex o f   o u tp u t - i n p u r atio s how   m an y   r eso u r ce s   ( tim e,   p er s o n n el,   an d   m o n e y )   m u s b u s ed   to   ac h iev ce r tain   o u tc o m ( e. g . ,   e x am   s u cc ess ,   p r o o f   o f   co m p eten c y ,   a n d   s tu d en s atis f ac tio n ) W ith   r eg ar d   to   ex am in atio n s ,   ef f icien cy   is   p ar ticu lar ly   r elev an t   wh en   lar g n u m b e r   o f   s tu d en ts ,   lim ited   p er s o n n el  r eso u r ce s ,   an d   h ig h   d em a n d s   f o r   l eg al  ce r tain ty   an d   q u ality   co i n cid e.   EA   ar c o n s id er ed   a   r esp o n s to   th ese  c h allen g es  in   r esear ch .   Pre v i o u s   wo r k   by   R ed ec k er   an d   J o h a n n ess en   [ 1 0 ]   h as  s h o wn   th at  d i g ital  ass ess m e n f o r m ats  en ab le  n ew   f o r m s   o f   co m p eten cy   m ea s u r em en   e. g . ,   th r o u g h   s im u latio n - b ased   q u esti o n s ,   in ter ac tiv task s ,   o r   m u ltime d ia  elem en ts .   Fu r th er m o r e ,   EA   ar e   ea s ier   t o   s tan d ar d ize  a n d   c en tr ally   a d m in is ter ,   wh ich   is   p a r ticu lar ly   ad v an tag eo u s   f o r   co n tin u in g   ed u ca tio n   i n s titu tio n s .   W h ile  b en e f its   s u ch   as  f aster   f ee d b ac k ,   b etter   s ca lab ilit y ,   an d   l o g is tical   ad v an tag es  h av b ee n   well  d o cu m en ted ,   less   atten tio n   h as  b ee n   p aid   to   th p r o ce s s   co s ts   an d   ef f icien cy   ac r o s s   d if f er en ty p es  o f   q u es tio n   f o r m ats.  I n   p a r ticu lar ,   th ec o n o m ic  d if f er e n ce s   b etwe en   m u ltip le - ch o ice  ( MC)  an d   o p e n - q u esti o n   ( OQ)   f o r m ats in   b o th   p a p er - p en   ex a m s   ( PP E )   an d   EA   m o d es r em a in   u n d e r ex p lo r ed .   Desp ite  th is   d ev elo p m e n t,  th p r o ce s s   ef f icien cy   o f   EA   c o m p ar ed   to   tr ad itio n al   PP E   r em ain s   an   u n d er - r esear ch ed   t o p ic.   W h ile  th er ar n u m er o u s   s tu d ies  o n   is s u es  o f   v alid ity ,   u s ab ilit y ,   an d   ac ce p tan ce ,   co m p r eh e n s iv an aly s es  th at  ca p tu r th en tire   ass ess m en t   p r o ce s s   in   its   ec o n o m ic  d im en s io n   ar lack in g   [ 1 1 ] [ 1 3 ] .   T h is   s tu d y   co n tr ib u tes  to   th is   b y   co n d u ctin g   a n d   ev alu atin g   th r ee   f iel d   ex p er im en ts   with   o v er     7 0 0   s tu d en ts   at  th e   Z u r ich   Un i v er s ity   o f   Ap p lied   Scien ce s   ( Z HAW) .   T h o b jectiv o f   th is   s tu d y   is   t o   co n d u ct   co m p r e h en s iv an aly s is   o f   th ex am in atio n   p r o ce s s co v er in g   c o n ce p tio n ,   im p lem e n t atio n ,   g r a d in g ,   an d   ar ch iv in g an d   to   co m p ar E with   tr ad itio n al  p ap er - b ase d   ex am in atio n s .   T h co m p ar is o n   f o c u s es  o n   tim e   ex p en d itu r e,   co s ts ,   an d   ac ce p t an ce   am o n g   s tak eh o ld e r s .   T h d e b ate  ab o u EA   c o m p ar ed   to   tr a d itio n al  p ap er   ex am s   is   ce n tr al  to p ic   in   c u r r en t   e d u ca tio n al   r esear ch .   Qu esti o n s   o f   v alid i ty ,   r eliab ilit y ,   a n d   f air n ess   p lay   cr u cial  r o le   [ 1 4 ] [ 1 7 ] .   Dig italizatio n   h as   b r o u g h ab o u p r o f o u n d   ch an g es  n o o n ly   in   b u s in ess   an d   ad m in is tr atio n ,   b u also   in   e d u ca tio n   [ 1 8 ] [ 2 2 ] .     EA   ar p ar o f   th is   tr a n s f o r m atio n   an d   p r o m is m o r e f f ic ien t,  f lex ib le,   an d   s ca lab le  as s ess m en p r o ce s s es   [ 2 3 ] ,   [ 2 4 ] .   Desp ite  th ese  ad v a n tag es,  th im p lem e n tatio n   o f   d ig ital  ass ess m en f o r m ats  r eq u ir es  s tr ateg ic  an d   cu ltu r al  ad ap tatio n s   b y   ed u ca tio n al  in s titu tio n s   [ 2 5 ] [ 2 8 ] .   EA   h as  ev o lv ed   s ig n if ican tly   in   r ec en d ec a d es,  ev o lv in g   f r o m   s im p le  o n lin e   test s   to   co m p lex   s y s tem s   c ap ab le  o f   a d m in is ter in g   an d   s co r in g   m u ltime d ia  ass es s m en ts   [ 7 ].   T h o r ig i n s   o f   EA   d ate  b ac k   to   th ea r ly   i n tr o d u ctio n   o f   co m p u ter - b ased   test in g   in   s ta n d ar d ized   ex am s   [ 29 ] ,   [ 3 0 ] .   W ith   tech n o lo g ical  ad v an ce s ,   u n iv er s itie s   b eg an   to   e x p lo r e   th e   u s o f   EA   as  a   way   t o   im p r o v e   th ass ess m en p r o c ess ,   p ar ticu lar ly   with   r eg ar d   to   s ca lab ilit y   an d   ac ce s s ib ilit y   [ 3 1 ] .   T r ad itio n a l   ex am s   ar s till   co n s id er ed   th e   s tan d ar d ,   p r im ar ily   d u to   th eir   estab lis h ed   s ec u r ity   m ec h an is m s   an d   s tu d en ts '   f am iliar ity   with   th f o r m at  [ 3 2 ] [3 5 ] .   H o wev er ,   em p ir ical  s tu d ies  s h o th at  p ap er   e x am s   ar n o n ec ess ar ily   m o r o b jectiv th an   d ig ital  f o r m ats.  Hattie  an d   T im p er le y   [3 1 s h o wed   th at  f o r m ativ EA   with   in d iv id u alize d   f ee d b ac k   lead   to   b etter   lear n in g   p r o g r ess   th an   s u m m ativ e   p ap e r   e x am s .   Ar c h er   et   a l.   [3 2 p o i n o u th at   d ig ital  f o r m ats  s im p lify   ad m i n is tr ativ p r o ce s s es,  wh ile  Gk r im p izi   et  a l.   [ 2 2 ]   e m p h asiz th at  d ig italizatio n   alo n d o es n o t so lv o r g an izat io n al  p r o b lem s .   As  alr ea d y   m e n tio n ed   r eg a r d in g   th e   cu r r en s tate  o f   k n o wled g e,   p r e v io u s   s tu d ies  p r im ar ily   d em o n s tr ate  ass u m p tio n s   ab o u ef f icien cy   g ain s   th r o u g h   EA   co m p ar ed   to   co n v en tio n al  wr itten   ex am s     [3 6 ] [3 8 ] .   T h ese  ass u m p tio n s   ar s u p p o r ted   b y   s u r v e y s   o f   s tu d en ts   tak in g   e x am s .   Statem en ts   p r im ar ily   r elat e   to   q u ality   g ai n s   ( m u ltime d ia  ad d ed   v alu e,   ty p in g   i n s tead   o f   wr itin g )   [ 39 ] .   EA   o f f er s   n u m er o u s   ad v an tag es   o v er   tr ad itio n al  ex am s .   Fro m   an   ef f icien cy   p er s p ec tiv e,   it  r ed u ce s   th tim an d   c o s r eq u ir ed   f o r   p r i n tin g ,   d is tr ib u tin g ,   a n d   g r a d in g   ex am s .   Fu r th er m o r e,   EA   e n ab l es  th in teg r atio n   o f   m u ltim ed ia  co n te n t,  th u s   en ab lin g   m o r co m p r e h en s iv ass ess m en t o f   h ig h er - lev el  co m p eten cies.  Stu d en ts   r ep o r th at  ty p in g   is   ea s ier   th an   wr itin g   b y   h a n d   a n d   ap p r ec iate  th ab ilit y   to   ea s ily   ed it  th eir   an s wer s   with o u h av in g   to   c r o s s   o u t   m is tak es  [ 4 0 ] [4 3 ] .   EA   o f f er   wid r an g o f   o p p o r tu n ities   to   im p r o v ex am   q u ality .   J o r d an   [4 0 em p h asizes   th at  ad ap tiv test in g   p r o ce d u r es  an d   au to m ated   f ee d b ac k   m ec h an is m s   en ab le  m o r s o p h is ticated   p er f o r m an ce   ass es s m en t.  C r is p   [ 4 1 ]   f u r th er   ar g u es  t h at  in ter ac tiv e   elem e n ts   in   EA   ca n   a d d r ess   h ig h er   co g n itiv a b ilit ies,  wh ich   is   o f ten   n o th ca s e   with   MC   test s .   S tu d y   b y   Z h o u   et  a l.   [4 2 s h o w   th at   EA   ca n   p r o m o te  in d iv id u alize d   lea r n in g   p r o ce s s es.  Ho wev er ,   Ma jch r za k   an d   Usen er   [4 3 n o te  th at  wh ile   s tu d en ts   g en er ally   s u p p o r EA ,   th e y   ar e   s k ep tica ab o u t   m an d ato r y   d ig ital  e x a m s .   T h i n cr ea s in g   u s o f   ar t if icial  in tellig en ce   ( AI )   a n d   lear n in g   an al y tics   in   p e r f o r m an ce   ass ess m en o f f er s   n ew   o p p o r t u n ities   f o r   i n d iv id u alizin g   th e   lear n in g   p r o ce s s   [ 4 4 ] .   At  th e   s am tim e,   th er is   s till   n ee d   to   f u r th er   r esear ch   d ig ital  a s s es s m en f o r m ats   with   r eg ar d   t o   th eir   f air n ess   an d   p s y ch o m etr ic  q u ality   [ 1 6 ] ,   [4 5 ] [4 7 ].   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Dig ita l a s s ess men t fo r ma ts   in   h ig h er e d u c a tio n :   a n   emp ir ica l a n a lysi s   o f th p r o ce s s   … ( F la vio   Di  Giu s to )   1153   I n   s u m m ar y ,   EA   r ep r esen a   v alu ab le  co m p lem en o r   e v en   an   alter n ativ e   to   tr a d itio n al  p ap er - b ased   ex am s ,   p r o v id ed   th tec h n ica an d   d id ac tic  ch allen g es  ar ad eq u ately   a d d r ess ed .   Par ticu lar ly   im p o r tan ar e   th in teg r atio n   o f   f ee d b ac k   m ec h an is m s   [ 4 8 ] ,   ad ap tatio n   to   s p ec if ic   s u b ject   ar ea s ,   a n d   th e   d esig n   o f   in ter ac tiv elem en ts   [ 49 ] ,   [ 5 0 ].       2.   M E T H O D   I n   h ig h er   ed u ca tio n   r esear c h ,   ef f icien cy   is   u n d er s to o d   as  th r atio   o f   o u tp u t o   in p u t .   I n   r elatio n   to   ex am in atio n s ,   th is   m ea n s   th m o r q u alitativ an d   q u an titat iv r esu lts   ac h iev ed   with   g iv en   r eso u r ce   in p u t,  th m o r ef f icien th s y s tem .   T h is   ap p r o ac h   ca n   r e f er   to   b o th   ec o n o m ic  in d icato r s   ( e . g . ,   tim ex p en d itu r e,   p er s o n n el  r eq u ir em en ts ,   an d   c o s ts )   an d   q u alitativ f ac to r s   ( e. g . ,   s atis f ac tio n ,   f air n ess ,   an d   p r ac ticality ) .   T h is   s tu d y   f o llo ws  th p r o ce s s   c o s tin g   m o d el ,   wh ich   h as  r ar ely   b ee n   s y s tem atica lly   ap p l ied   in   ed u ca tio n al  r esear ch .   T h m en tio n e d   m o d el  was  u s ed   to   co llect   p r o ce s s   co s ts .   T h is   d if f er en tiates  b et wee n   th p h ases   o f   p r ep ar atio n ,   im p lem en tatio n ,   ev alu atio n ,   an d   ar ch i v in g   a n d   r ec o r d s   th tim e,   p er s o n n el  r eso u r ce s ,   an d   in f r astru ctu r e   co s ts   s p en in   ea ch   p h ase.   I n   ad d itio n ,   all  au d it  s tep s   wer d o cu m e n ted ,   tim lo g s   wer e   m ain tain ed ,   a n d   s tan d a r d ized   ef f o r f o r m s   wer co m p leted .   T h g o al   is   to   cr ea te  a   co m p r eh en s iv p ictu r e   o f   th ef f icien cy   d if f er e n ce s   b et wee n   E an d   PP E   b y   r ec o r d in g   all  r elev an t e f f o r t th r o u g h o u t th au d it p r o ce s s .   T h em p ir ical  s tu d y   is   b ased   o n   m ix ed - m eth o d s   d esig n   [ 5 0 ] .   I n   th r ee   m o d u les  with   d if f e r en g r o u p   s izes  ( Mo d u le  A,   n =3 3 ;   Mo d u le  B ,   n =4 8 9 ;   Mo d u le  C ,   n =1 9 4 ) ,   id e n tical  ex am in atio n s   w er ad m in is ter ed   in   two   d if f er e n f o r m ats:   tr ad itio n al  PP E   an d   d ig ital  EA .   T h ex am in atio n   co n ten t,  g r a d in g   s ch em e,   an d   d u r atio n   wer id e n tical.   T h E g r o u p   u s ed   th Saf E x a m   B r o wser   ( SEB)  in   co m b in atio n   with   Mo o d le.     T h PP E   g r o u p   wr o te  o n   p ap er   in   p r o cto r in g   r o o m s .   E v en   th o u g h   th s am p le  f o r   t h is   s tu d y   r ef er s   to   u n d er g r ad u ate  d eg r ee   p r o g r a m s ,   th tr an s f er   o f   f in d in g s   to   ac ad em ic  co n tin u i n g   ed u ca tio n   is   ju s tifie d :     p ar t - ti m s tu d en ts   h av co m p ar ab le  r eq u ir e m en ts   f o r   tr a n s p ar en t,  ef f icien t,  an d   f lex ib le  e x am in atio n   f o r m ats.   Fu r th er m o r e ,   u n iv e r s ities   ar in cr ea s in g ly   p u r s u in g   a   cr o s s - in s titu tio n al  d ig italizatio n   s tr ateg y   th at  en co m p ass es a ll st u d y   f o r m ats.   T h p o p u latio n   o f   th is   s tu d y   co m p r is es  u n d er g r ad u ate  s tu d en ts   en r o lled   in   b u s in ess - r elate d   d eg r ee   p r o g r a m s   at  th Z HAW,  Swit ze r lan d .   T h e   em p ir ical  d ata  w er co llected   with in   th r ee   r eg u lar   co u r s m o d u les   o f f er ed   b y   th Sch o o o f   Ma n ag em en an d   L aw,   co v er i n g   b u s in ess   ad m in is tr atio n   an d   b u s in ess   en g in ee r in g   co n tex ts .   T h s am p le   was  s elec ted   u s in g   p u r p o s iv s am p lin g   s tr ateg y ,   b ased   o n   m o d u les  in   wh ich   b o th   tr ad itio n al  PP E   an d   E co u ld   b im p lem en ted   u n d er   co m p ar ab le  co n d itio n s .   I n clu s io n   cr iter ia  wer e:     i )   id en tical  ex am in atio n   c o n te n an d   g r a d in g   s ch em es  ac r o s s   f o r m ats ;   ii )   co m p ar ab le  ex a m in atio n   d u r atio n ;   an d   iii )   f ea s ib ilit y   o f   ad m in is ter in g   b o th   MC  an d   OQ   f o r m a ts   d ig itally   an d   o n   p ap er .   I n   to tal,   d ata  f r o m   o v er   7 0 0   s tu d en ts   wer an aly ze d   a cr o s s   th r ee   m o d u les  ( Mo d u le  A:  n =3 3 Mo d u le  B n =4 8 9 Mo d u le  C n =1 9 4 ) .   Ad d itio n ally   to   s tu d en d ata,   r esp o n d en ts   also   in clu d ed   lectu r er s   an d   ex am in atio n   ad m in i s tr ato r s   in v o lv ed   in   th p lan n i n g ,   im p lem en tatio n ,   g r ad i n g ,   a n d   a r ch iv in g   o f   th ex am s .   T h is   allo wed   th e   s tu d y   to   ca p tu r e   p r o ce s s - r elate d   tim an d   co s d ata  ac r o s s   all  p h ase s   o f   th ex am in atio n   life cy cle.   T h e   r esp o n d en ts   wer th er ef o r d r awn   f r o m   th f ie ld   o f   h ig h er   ed u ca tio n ,   s p ec i f ically   f r o m   b u s in ess   an d   ec o n o m ics  ed u ca tio n   with in   u n iv er s ity   o f   ap p lied   s cien ce s   co n tex t.   I n   ad d itio n   to   th p r o ce s s   co s s u r v ey ,   g u id ed   ex p er t   in ter v iew  was  co n d u cted   with   T o b ias   Halb h er r   ( p e r s o n al  co m m u n ic atio n ,   Sep tem b er   2 0 2 3 ) ,   Swis s   Fed er al  I n s titu te  o f   T ec h n o l o g y     E d u ca tio n al   Dev elo p m en t   an d   T ec h n o lo g y   ( E T H - L E T ) .   T h a n aly s is   was  co n d u cte d   u s in g   th e   q u alitati v co n ten an al y s is   m eth o d   [ 2 1 ] .   I n   ad d itio n ,   o v e r   7 0 0   s tu d en ts   an s wer ed   s tan d ar d ized   q u esti o n n air wit h   L ik er s ca les  an d   o p en   q u esti o n s   r eg ar d in g   t h eir   p er ce p tio n   o f   th ex a m in atio n   f o r m at,   f air n ess ,   u s er - f r ien d lin ess ,   an d   tech n o lo g y ,   in   ter m s   o f   s atis f ac tio n   an d   p r ac ticab ilit y .   All  co s f ig u r es  in   th is   s tu d y   a r r ep o r ted   in   th c u r r en cy   S wis s   Fra n cs  ( C HF) ,   as  th em p ir ical  d ata   wer co llected   with in   th in s t itu tio n al  an d   r eg u lato r y   co n te x o f   Switzer lan d .   Fo r   in ter n atio n al  r ea d ab ilit y ,   C HF  v alu es  m ay   b in ter p r e ted   as  ap p r o x im atel y   eq u iv al en to   US  d o llar s   ( USD)   o n   1 :1   b asis .   T h is   ap p r o x im atio n   is   u s ed   s o lely   f o r   in ter p r etativ p u r p o s es  an d   d o es  n o af f ec th r elativ co s co m p ar is o n s   o r   ef f icien cy   r atio s   p r esen ted   in   th an aly s is .   S in ce   th s tu d y   f o cu s es  o n   p r o ce s s   ef f icien cy   an d   p r o p o r tio n al  d if f er en ce s ,   r at h er   th a n   ab s o lu te  m o n etar y   v alu es,  th a n aly tical  v alid ity   o f   th r esu lts   r em a in s   u n ch an g ed .   T h is   an aly s is   f o llo ws  a   p r o ce s s - o r ien ted   co s m o d el,   d if f er en tiatin g   b etwe en   th p h ases   o f   p r ep ar atio n ,   im p lem e n tatio n ,   ev alu atio n ,   a n d   a r ch iv in g   to   p r o v id e   co m p r e h en s iv o v e r v iew  o f   r eso u r ce   ex p en d itu r e.   T h e   in itial  p h ase  is   ch ar ac ter ized   b y   s ig n if ican t p er s o n n el  in v o lv em e n f r o m   a ca d em ic  s taf f .   T h e   f is ca an d   tem p o r al  e x p en d itu r f o r   t h ex am in atio n   d e v elo p m en is   co m p r is ed   o f   th r ee   p r im ar y   p h ases item   co n s tr u ctio n ,   q u ality   ass u r an c e,   an d   tech n ical  in te g r atio n .   I tem   co n s tr u ctio n   f o r   th s ev e n   ass ess m en ta s k s   r eq u ir ed   o n e   h o u r   p e r   task   at   r ate  o f   C HF  1 0 0 /h ,   to talin g   C HF  7 0 0 .   T o   en s u r e   p ed a g o g ical  r ig o r ,   q u ality   ass u r an ce   v ia   p ee r - f ee d b ac k   a n d   s en io r   lectu r er   r ev iew  ( C HF  1 0 0 /h )   a d d ed   0 . 5   h o u r s   p er   task ,   am o u n tin g   to   C HF  3 5 0 .   Fin ally ,   th tech n ical  s etu p   f o r   d ig ital  im p lem e n tatio n in clu d in g   i n s tallatio n   an d   d em o n s tr atio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   2 Ap r il   20 26 1 1 5 1 - 1 1 6 2   1154   less o n s d em an d ed   0 . 7 5   h o u r s   o f   co o r d in ate d   ef f o r b et wee n   m o d u le  lead s   ( C HF  1 0 0 /h )   a n d   tech n ical   s u p p o r t ( C HF 8 0 /h )   p er   class .   T h in f r astru ctu r f o llo ws  lo g ic  o f   am o r tizatio n   an d   i n s titu tio n al  allo ca tio n .   Du r in g   th ex am ,   co s ts   ar d r iv en   b y   lo g is tical  an d   s u p er v is o r y   p e r s o n n el.   Op er atio n al  co s ts   f o r   h ar d war an d   b asic   in f r astru ctu r a r ca lcu lated   b ased   o n   eq u ip m en life s p a n   an d   f r eq u en cy   o f   u s e,   with   em er g en cy   r e p lace m en t   d ev ices  an d   b ac k u p   u n its   to tal in g   an   allo ca tio n   o f   C HF  3 0   p er   im p lem en tatio n ,   s u p p lem en ted   b y   m ar g in al   co s o f   C HF  0 . 3 6   f o r   ess en tial  p er ip h er als  lik p o wer   s tr i p s .   So f twar licen s in g   f o r   th e   SEB  is   d i s tr ib u ted   in s titu tio n - wid e,   r esu ltin g   in   p er - p ar ticip an co s o f   C HF  1 . 7 3   b ased   o n   co h o r o f   1 4 , 4 6 2   s tu d e n ts .   L o g is tical  an d   o n - s ite  s u p p o r in clu d es  s tu d en s er v ice  p r o v is io n s   f o r   p ap er - b ased   r eq u i r e m en ts ca lcu lated   at  C HF  0 . 0 5   p er   p ag p lu s   C HF  5 0 /h   s u p er v is io n   f ee as  well  as  r ea l - tim tech n ical  as s is tan ce   ( C H 8 0 /h )   an d   m o d u le  lead   o v er s ig h ( C HF 1 0 0 /h )   to   en s u r e x am in ati o n   s tab ilit y .   I n   th p o s t - ex am in atio n   p h ase ,   g r ad in g   an d   ar ch iv in g   th ef f icien cy   d ep en d s   h ea v ily   o n   t h ch o s en   ex am   f o r m at   ( MC   v s .   OQ ) .   G r ad in g   an d   ar c h iv in g   r e p r esen th f in al  s ig n if ica n r eso u r ce   ex p e n d itu r es,   with   th m an u al  co r r ec tio n   o f   OQ  id en tifie d   as  th p r im ar y   co s d r iv er .   T h is   task   r eq u ir es  ap p r o x im ately   0 . 5   h o u r s   p er   ex am ,   to talin g   1 7   h o u r s   o f   lab o r   o r   C HF  1 , 7 0 0   f o r   s tan d ar d   co h o r o f   3 3   s tu d en ts .   Fu r th er m o r e,   ar ch iv in g   p r o ce d u r es  d if f e r   s u b s tan tially   b y   f o r m at;  p h y s ical  ar ch iv in g   ( i n clu d in g   s ca n n in g   a n d   l o g g in g )   n ec ess itates  5   m in u tes  o f   ad m in is tr ativ ef f o r p er   ex am ,   a m o u n tin g   to   C HF  1 3 8 .   I n   co n tr ast,  d ig ital  f o r m ats  f ac ilit ate  au to m ated   ar c h iv in g ,   ef f ec tiv ely   elim in atin g   t h ese  m an u al  p r o ce s s in g   c o s ts   an d   o f f er in g   m o r e   s ca lab le  alter n ativ f o r   lar g er   s tu d en t c o h o r ts .       3.   RE SU L T S AN D I SCU SS I O N   T h s tu d y   co m p r is ed   th r ee   f ie ld   s tu d ies  in   d if f er e n m o d u les   at  th e   Z HAW,  ea ch   with   v ar y in g   g r o u p   s izes:  Mo d u le  ( n = 3 3 ) ,   Mo d u le  B   ( n =4 8 9 ) ,   an d   Mo d u le  C   ( n =1 9 4 ) .   T h e   th r ee   m o d u les  d if f er   p r im ar ily   in   co h o r s ize  an d   o r g an izatio n al  co n tex t,  r ath er   t h an   in   s u b ject  m atter .   All  m o d u les  b elo n g   to   th s am ac ad em ic  f ield ,   n am ely   b u s in ess   an d   ec o n o m ics r elate d   p r o g r am s   at  th e   Z HAW .   T h l ea r n in g   o b jectiv es,  ass es s m en s tan d ar d s ,   an d   in s titu tio n al  ex am in atio n   r e g u lati o n s   wer co m p ar a b le  ac r o s s   m o d u les.  T h m ai n   d if f er en ce   lies   in   th n u m b e r   o f   r esp o n d en ts   ( n ) .   T h e   d i f f er in g   s am p le  s izes  th er ef o r r ef lect  n atu r ally   o cc u r r in g   co h o r s izes,  n o s elec tiv s am p lin g   o r   d if f er en c es  in   d is cip lin e.   T h e   m o d u les  wer in ten tio n ally   in clu d ed   to   ex a m in wh eth er   p r o ce s s   ef f icien cy   ef f ec ts   s ca le  with   p ar ticip an t n u m b e r s .   T h is   d esig n   allo ws f o r   co m p ar in g   ex am in atio n   f o r m ats  ac r o s s   s m all,   m ed iu m ,   an d   lar g co h o r ts   with in   th s a m f ield   o f   s tu d y ,   th er eb y   s tr en g th en in g   th r o b u s tn ess   an d   tr an s f er ab ilit y   o f   t h f in d in g s .     I n   ea ch   ca s e,   th ex am s   wer co n d u cte d   in   two   p ar allel  f o r m ats:   as   tr ad itio n al  p ap er - p e n   ex am   an d   as  an   elec tr o n ic  EA .   T h e   en tir ex am   p r o ce s s   was  an aly ze d   f r o m   p r o ce s s - ec o n o m ic  p er s p ec tiv e,   in clu d i n g   th p h ases   o f   p r ep ar atio n ,   im p lem en tatio n ,   e v alu atio n ,   an d   a r ch iv in g .   T h e   r esu lts   o f   th p r o ce s s   co s an aly s is   s h o clea r   ef f icien cy   ad v a n tag es  f o r   th d ig ital  f o r m at.   W h ile  th e f f o r t   f o r   b o th   f o r m a ts   was  co m p ar ab l e   d u r in g   th p r ep ar atio n   p h ase,   s ig n if ican d if f er e n ce s   b ec o m ap p ar e n s tar tin g   in   th im p lem en tatio n   p h ase:   th PP E   f o r m at  r e q u ir ed   r o o m   b o o k in g ,   m ater ial  lo g is tics ,   an d   s u p e r v is o r y   s taf f ,   am o n g   o th er   th in g s .   T h ese   ar p ar tially   o r   co m p letely   e lim in ated   in   th EA .   T h d i f f er en ce   is   m o s ev i d en in   t h m ar k in g   p h ase:  au to m ated   e v alu atio n s   m ad i p o s s ib le  to   s av e   u p   to   9 0 o f   th e   ef f o r f o r   EA as  s ee n   i n   T ab le   1 .   Fo r   MC   ex am s ,   EA   p r o v i d ed   m ajo r   ef f icien cy   b e n ef its .   As  s h o wn   i n   T ab le   2 ,   in   M o d u le   B   ( n =4 8 9 ) ,   co s ts   d r o p p ed   f r o m   C HF  2 9 , 2 9 5   ( PP E )   to   C HF  4 , 4 2 2   ( E A) ,   an   8 5 r e d u c tio n .   Similar   p atter n s   wer o b s er v ed   in   M o d u le   an d   Mo d u le  C ,   co m p ar T a b le s   an d   3 .   I n   co n tr ast,  f o r   OQ  f o r m ats,  th co s s av in g s   wer s ig n if ican tly   r ed u ce d .   W h ile  s o m p r o ce s s   s tep s   r em ain ed   ef f icien ( e. g . ,   d ig ital  ar c h iv in g ,   lo g is tical  s etu p ) ,   th m a n u al  g r ad in g   r eq u ir ed   in   EA   o f f s et   m o s ad v a n tag es.  I n   Mo d u le   B ,   th to tal  co s f o r   OQ  EA   was  C HF  2 8 , 9 2 2 ,   n ea r ly   id en tical  to   C HF 2 9 , 2 9 5   f o r   PP E ,   as  T ab l 2   in d icate s .   Du r in g   th e   p r e p ar atio n   p h ase ,   th ef f o r was  s im ilar   f o r   b o th   f o r m ats    alth o u g h   a d d itio n al  I T   co o r d in atio n   was  r eq u ir ed   f o r   EA .   Du r in g   im p lem en tati o n ,   th lo g is tical  ef f o r f o r   p r in tin g ,   m ater ial  d is tr ib u tio n ,   r o o m   b o o k in g ,   a n d   s u p er v is o r y   s taf f   was  s ig n if ican tly   r ed u ce d   f o r   EA .   T h e   g r ea test   d if f er en ce   b ec am ap p ar e n in   th m ar k i n g   p h ase:  f o r   clo s ed   q u esti o n   ty p es,  th m ar k in g   ef f o r f o r   EA   was  p r ac tically   elim in ated .   PP E   r e q u ir ed   s ev er al  h o u r s   o f   m a n u al  m ar k in g   p er   ex a m .   I n   a r ch iv in g ,   PP E   in cu r r ed   co s ts   f o r   s ca n n in g   p r o ce s s es,  ar ch iv in g   s to r ag e,   an d   d ata  p r o tectio n - co m p lian s to r ag e.   E au to m atica lly   s to r es  d ata  d ig itally .   I n   th la r g est  f ield   tr ial  ( n =4 8 9 ) ,   to tal  co s ts   f o r   E A   wer r ed u ce d   b y   a p p r o x im at ely   8 5 co m p a r ed   to   PP E ,   co m p ar e   T ab le  2 .   T h d etailed   co s an aly s is   s h o ws  th at  th s av in g s   p o ten tial  o f   t h EA   h ad   v ar y in g   ef f ec ts   in   all  th r ee   m o d u les.   T h d if f er e n ce s   in   ef f icien c y   d ep en d   lar g ely   o n   g r o u p   s ize  an d   o r g an izatio n al  in f r astru ctu r e.     I n   Mo d u le  A   ( n = 3 3 ) ,   th e   to tal  p r o ce s s   co s ts   f o r   PP E   wer a p p r o x im ately   C HF  3 , 2 0 0 ,   w h ile  f o r   E th e y   wer e   C HF  1 , 4 0 0     s av in g   o f   ap p r o x im ately   4 4 %,  as  s ee n   in   T ab le  1 .   T h co m p ar ativ ely   s m aller   d if f er en ce   is   d u e,   am o n g   o th e r   th in g s ,   to   t h f ac th at  f o r   s m all  g r o u p s ,   t h co s ts   f o r   s u p er v is io n   an d   p r ep ar atio n   ca n   o n ly   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Dig ita l a s s ess men t fo r ma ts   in   h ig h er e d u c a tio n :   a n   emp ir ica l a n a lysi s   o f th p r o ce s s   … ( F la vio   Di  Giu s to )   1155   b r ed u ce d   to   lim ited   e x ten t,   ev en   in   d i g ital  f o r m at.   T ab l 1   p r o v id e s   a   co m p ac t   f o u r f o ld   co s co m p a r is o n   ( in   C HF)   b etwe en   PP E   an d   EA   f o r m ats,  ea ch   s u b d iv id e d   b y   MC a n d   OQ  ty p es .       T ab le  1 .   E x am - co s ts - an aly s is   d ep t.  Z HAW ( MC - f o r m at  a n d   OQ - f o r m at;  n =3 3 )   Ex a m   d e v e l o p me n t   a n d   p l a n n i n g   P - P - ( M C )   E - A   ( M C )   P - P - ( O Q )   E - A   ( O Q )   D e v e l o p i n g   t a s k s   7 0 0   7 0 0   7 0 0   7 0 0   I n t e r n a l   q u a l i t y   c o n t r o l   3 5 0   3 5 0   3 5 0   3 5 0   P r i n t i n g   & st a f f   67   0   67   0   S EB   &   t e c h   s u p p o r t   0   1 3 5   0   1 3 5   S u b t o t a l   1 1 1 7   1 1 8 5   1 1 1 7   1 1 8 5   Ex a m   i m p l e m e n t a t i o n           R e p l a c e m e n t   e q u i p m e n t   0   6   0   6   P o w e r   o u t l e t s   0   4   0   4   S o f t w a r e   l i c e n s e   ( S EB )   0   1 3 . 5   0   1 3 . 5   S u p p o r t - w o r k   0   80   0   80   Ex a m - s u p e r v i s i o n   1 0 0   1 0 0   1 0 0   1 0 0   S u b t o t a l   1 0 0   2 0 3 . 5   1 0 0   2 0 3 . 5   Ex a m   g r a d i n g           I n c o mi n g   c o n t r o l s   1 0 0   0   1 0 0   0   Ex a m i n a t i o n   c o r r e c t i o n   1 7 0 0   0   1 7 0 0   1 7 0 0   S u b t o t a l   1 8 0 0   0   1 8 0 0   1 7 0 0   Ex a m   a r c h i v i n g           S c a n n i n g   t a s k s   1 3 8   0   1 3 8   0   S u b t o t a l   1 3 8   0   1 3 8   0   To t a l   3 1 5 5   1 3 8 8 . 5   3 1 5 5   3 0 8 8 . 5       Mo d u le  B   ( n =4 8 9 )   y ield e d   th m o s s ig n if ican s av in g s .   PP E - r elate d   p r o ce s s   co s ts   to taled   ap p r o x im ately   C HF  2 9 , 3 0 0 ,   wh ile  th E v ar ian was   esti m ated   at  o n ly   C HF  4 , 4 0 0     r ed u ctio n   o f   alm o s 8 5 %,  co m p ar e   to   T a b l 2 .   Ma s s iv tim an d   p er s o n n el  s av in g s   wer e   ac h iev ed ,   p ar ticu lar ly   i n   th e   im p lem en tatio n   an d   c o r r ec tio n   p h ases .   I n   Mo d u le  C   ( n =1 9 4 ) ,   PP E   co s ts   wer ap p r o x im ately   C HF  1 3 , 0 0 0   co m p ar ed   to   C HF  2 , 5 0 0   f o r   E A.   I n   ad d itio n ,   ass ess m en t   co s ts   d o m in ated   t h s av in g s   p o ten tial,  as  T ab le  3   s h o ws,  th au to m atic  co r r ec tio n   o f   o v er   9 0 % o f   task s   r e d u ce d   p r o ce s s in g   tim to   m in im u m .       T ab le  2 .   E x am - co s ts - an aly s is   d ep t.  T   Z HAW ( MC - f o r m at  a n d   OQ - f o r m at;  n =4 8 9 )   Ex a m   d e v e l o p me n t   a n d   p l a n n i n g   P - P - ( M C )   E - A   ( M C )   P - P - ( O Q )   E - A   ( O Q )   D e v e l o p i n g   t a s k s   7 0 0   7 0 0   7 0 0   7 0 0   I n t e r n a l   q u a l i t y   c o n t r o l   3 5 0   3 5 0   3 5 0   3 5 0   P r i n t i n g   & st a f f   4 9 5   0   4 9 5   0   S EB   &   t e c h   s u p p o r t   0   1 3 5 0   0   1 3 5 0   S u b t o t a l   1 5 4 5   2 4 0 0   1 5 4 5   2 4 0 0   Ex a m   i m p l e m e n t a t i o n           R e p l a c e m e n t   e q u i p m e n t   0   2 0 0   0   2 0 0   P o w e r   o u t l e t s   0   9   0   9   S o f t w a r e   l i c e n s e   ( S EB )   0   1 3 . 1 5   0   1 3 . 1 5   S u p p o r t - w o r k   0   8 0 0   0   8 0 0   Ex a m - s u p e r v i s i o n   1 0 0 0   1 0 0 0   1 0 0 0   1 0 0 0   S u b t o t a l   1 0 0 0   2 0 2 2 . 1 5   1 0 0 0   2 0 2 2 . 1 5   Ex a m   g r a d i n g           I n c o mi n g   c o n t r o l s   2 0 0   0   2 0 0   0   Ex a m i n a t i o n   c o r r e c t i o n   2 4 5 0 0   0   2 4 5 0 0   2 4 5 0 0   S u b t o t a l   2 4 7 0 0   0   2 4 7 0 0   0   Ex a m   a r c h i v i n g           S c a n n i n g   t a s k s   2 0 5 0   0   2 0 5 0   0   S u b t o t a l   2 0 5 0   0   2 0 5 0   0   To t a l   2 9 2 9 5   4 4 2 2 . 1 5   2 9 2 9 5   2 8 9 2 2 . 1 5       3 . 1 .     P ha s e - re la t ed  ef f iciency   g a ins   T h p r esen r esu lts   clea r ly   d e m o n s tr ate  th at  elec tr o n ic  e x a m in atio n s   ar n o o n ly   an   in n o v ativ b u also   an   e x tr em ely   ef f icien t   to o f o r   ass ess in g   p er f o r m a n ce ,   as  s ee n   in   T a b les  4 - 6 .   Ad v a n tag es  em er g e   o n   s ev er al  lev els:   i)   p er s o n n el  an d   o r g a n izatio n al  ef f o r ar s ig n if ican tly   r ed u ce d ii)  s tu d en ts   b en ef it  f r o m   f aster   f ee d b ac k ,   g r ea te r   tr an s p a r en c y ,   an d   less   s tr ess .   T h r esu lts   o f   t h s tu d y   u n d er s co r e   th ass u m p tio n   th at  E A   en ab le  s ig n if ican ef f icien cy   g ain s   th r o u g h o u th en tire   ex a m in atio n   p r o ce s s   co m p ar e d   to   tr ad itio n al  p ap er - b ased   ex am i n atio n s   ( T a b les  1 - 3 ) .   Au t o m ated   ev alu atio n   an d   ar ch iv in g ,   in   p ar ticu la r ,   le d   to   d r asti r e d u ctio n   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   2 Ap r il   20 26 1 1 5 1 - 1 1 6 2   1156   in   p er s o n n el  an d   lo g is tical  ef f o r t.  C o m p a r ed   t o   tr ad itio n al  p ap er - b ased   ex am in atio n s ,   th ef f o r is   r ed u ce d   b y   u p   to   9 0 %.  T h ese  f i n d in g s   ar co n s is ten with   ex is tin g   s tu d ies,  wh ich   em p h asize  au to m atio n   as  k e y   p o ten tial o f   d ig ital e x am in atio n   f o r m ats [ 5 1 ] ,   co m p a r to   T a b le  4 .       T ab le  3 .   E x am - co s ts - an aly s is   d ep t.  W   Z HAW ( MC - f o r m at   an d   OQ - f o r m at;  n =1 9 4 )   Ex a m   d e v e l o p me n t   a n d   p l a n n i n g   P - P - ( M C )   E - A   ( M C )   P - P - ( O Q )   E - A   ( O Q )   D e v e l o p i n g   t a s k s   7 0 0   7 0 0   7 0 0   7 0 0   I n t e r n a l   q u a l i t y   c o n t r o l   3 5 0   3 5 0   3 5 0   3 5 0   P r i n t i n g   & st a f f   2 4 5   0   2 4 5   0   S EB   &   t e c h   s u p p o r t   0   6 7 5   0   6 7 5   S u b t o t a l   1 2 9 5   1 7 2 5   1 2 9 5   1 7 2 5   Ex a m   i m p l e m e n t a t i o n           R e p l a c e m e n t   e q u i p m e n t   0   40   0   40   P o w e r   o u t l e t s   0   2   0   2   S o f t w a r e   l i c e n s e   ( S EB )   0   1 4 . 5   0   1 4 . 5   S u p p o r t - w o r k   0   3 2 0   0   3 2 0   Ex a m - s u p e r v i s i o n   4 0 0   4 0 0   4 0 0   4 0 0   S u b t o t a l   4 0 0   7 7 6 . 5   4 0 0   7 7 6 . 5   Ex a m   g r a d i n g           I n c o mi n g   c o n t r o l s   3 0 0   0   3 0 0   0   Ex a m i n a t i o n   c o r r e c t i o n   9 5 0 0   0   9 5 0 0   9 5 0 0   S u b t o t a l   9 8 0 0   0   9 8 0 0   9 5 0 0   Ex a m   a r c h i v i n g           S c a n n i n g   t a s k s   8 0 0   0   8 0 0   0   S u b t o t a l   8 0 0   0   8 0 0   0   To t a l   1 2 2 9 5   2 5 0 1 . 5   1 2 2 9 5   1 2 0 0 1 . 5       T ab le  4 .   T o tal  ex am   co s ts   b y   f o r m at  an d   m o d u le  ( in   C HF)   M o d u l e   P P M C   EA   M C   %∆   P P O Q   EA   O Q   %∆   A   ( n = 3 3 )   3 , 1 5 5   1 , 3 8 8 . 5 0   - 56   3 , 1 5 5   3 , 0 8 8 . 5 0   - 2 . 1   B   ( n = 4 8 9 )   2 9 , 2 9 5   4 , 4 2 2 . 1 5   - 8 4 . 9   2 9 , 2 9 5   2 8 , 9 2 2 . 1 5   - 1 . 3   C   ( n = 1 9 4 )   1 2 , 2 9 5   2 , 5 0 1 . 5 0   - 7 9 . 7   1 2 , 2 9 5   1 2 , 0 0 1 . 5 0   - 2 . 4       As  s h o w n   in   T ab les   5 - 7 ,   t h p r ep ar atio n   p h ase   s h o wed   o n ly   m in o r   d if f er e n ce s   b etwe en   PP E   an d   E ac r o s s   all  th r ee   m o d u les.  I n   Mo d u le  B ,   d ig ital  o r g a n izatio n   ( e. g . ,   e x am   s ettin g s   in   Mo o d le,   im p o r o f   s tu d en t   n u m b er s )   r esu lted   in   a   tim s a v in g   o f   2 0 2 5 %.  H o wev er ,   th g r ea test   im p ac t   was  s ee n   in   t h im p lem e n tatio n wh i le  PP E   r eq u ir es   n u m e r o u s   an alo g   p r o ce s s es  ( p r in to u ts ,   m ater ials ,   s ca n n in g ,   an d   ar c h i v in g ) ,   E was  a b le  to   lar g ely   r ep lace   th ese  with   s o f twar e - s u p p o r ted   m an a g em en an d   co n tr o f u n ctio n s .   T h ef f ec was  p ar ticu lar ly   s tr o n g   in   th ass ess m en p h ase.   Fo r   ex am p le,   T ab le   2   s h o ws  PP E   co r r ec tio n   in   Mo d u le  B   r eq u ir ed   o v er   1 2 0   h o u r s   ( esti m ated   co s t:  C HF   1 0 , 8 0 0 ) ,   wh er ea s   E co r r ec tio n s   wer co m p leted   in   u n d e r     1 0   h o u r s   ( C HF  9 5 0 ) .   s im ilar   p atter n   em er g ed   ac r o s s   all  m o d u les.  T h a r ch iv in g   p h ase  f o r   PP E   was   ch ar ac ter ized   b y   s ca n n in g ,   l o g g in g ,   a n d   s to r ag e .   E d ata,   o n   th o th e r   h an d ,   was  s to r ed   au to m atica lly   o n     s er v er with   clea r   ad v an ta g es  in   ter m s   o f   d ata   p r o tectio n ,   ac c ess   s ec u r ity ,   a n d   lo n g - ter m   av ailab ilit y .     T h an aly s is   clea r ly   s h o ws  th lar g er   th ex am   g r o u p   a n d   t h m o r s tan d ar d ize d   th f o r m at,   th g r ea ter   th e   ef f icien cy   b e n ef its   o f   EA ,   as  s h o wn   in   T a b le s   5 - 7 .       T ab le  5 .   C o s b r ea k d o wn   b y   p r o ce s s   p h ase  ( in   C HF)     Mo d u le  ( n =3 3 )   P h a se   P P M C   EA   M C   %∆   P P O Q   EA   O Q   %∆   P r e p a r a t i o n   1 , 1 1 7   1 , 1 8 5   + 6 . 1   1 , 1 1 7   1 , 1 8 5   + 6 . 1   I mp l e me n t a t i o n   1 0 0   2 0 3 . 5 0   + 1 0 3 . 5   1 0 0   2 0 3 . 5 0   + 1 0 3 . 5   G r a d i n g   1 , 8 0 0   0   - 1 0 0   1 , 8 0 0   1 , 7 0 0   - 5 . 6   A r c h i v i n g   1 3 8   0   - 1 0 0   1 3 8   0   - 1 0 0   To t a l   3 , 1 5 5   1 , 3 8 8 . 5 0   - 56   3 , 1 5 5   3 , 0 8 8 . 5 0   - 2 . 1       T ab le  6 .   C o s b r ea k d o wn   b y   p r o ce s s   p h ase  ( in   C HF)     Mo d u le  B   ( n =4 8 9 )   P h a se   P P M C   EA   M C   %∆   P P O Q   EA   O Q   %∆   P r e p a r a t i o n   1 , 5 4 5   2 , 4 0 0   + 5 5 . 3   1 , 5 4 5   2 , 4 0 0   + 5 5 . 3   I mp l e me n t a t i o n   1 , 0 0 0   2 , 0 2 2 . 1 5   + 1 0 2 . 2   1 , 0 0 0   2 , 0 2 2 . 1 5   + 1 0 2 . 2   G r a d i n g   2 4 , 7 0 0   0   - 1 0 0   2 4 , 7 0 0   2 4 , 5 0 0   - 0 . 8   A r c h i v i n g   2 , 0 5 0   0   - 1 0 0   2 , 0 5 0   0   - 1 0 0   To t a l   2 9 , 2 9 5   4 , 4 2 2 . 1 5   - 8 4 . 9   2 9 , 2 9 5   2 8 , 9 2 2 . 1 5   - 1 . 3   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Dig ita l a s s ess men t fo r ma ts   in   h ig h er e d u c a tio n :   a n   emp ir ica l a n a lysi s   o f th p r o ce s s   … ( F la vio   Di  Giu s to )   1157   T ab le  7 .   C o s b r ea k d o wn   b y   p r o ce s s   p h ase  ( in   C HF)     Mo d u le  C   ( n =1 9 4 )   P h a se   P P M C   EA   M C   %∆   P P O Q   EA   O Q   %∆   P r e p a r a t i o n   1 , 2 9 5   1 , 7 2 5   + 3 3 . 2   1 , 2 9 5   1 , 7 2 5   + 3 3 . 2   I mp l e me n t a t i o n   4 0 0   7 7 6 . 5 0   + 9 4 . 1   4 0 0   7 7 6 . 5 0   + 9 4 . 1   G r a d i n g   9 , 8 0 0   0   - 1 0 0   9 , 8 0 0   9 , 5 0 0   - 3 . 1   A r c h i v i n g   8 0 0   0   - 1 0 0   8 0 0   0   - 1 0 0   To t a l   1 2 , 2 9 5   2 , 5 0 1 . 5 0   - 7 9 . 7   1 2 , 2 9 5   1 2 , 0 0 1 . 5 0   - 2 . 4       T ab les  5 - 7   s h o th at  wh ile  E MC  f o r m ats  g en er ate  s u b s tan tial  co s s av in g s ,   E O f o r m ats   r em ain   alm o s as  co s tly   as  th eir   PP E   co u n ter p ar ts   d u to   t h m an u al  g r a d in g   b u r d e n .   Fig u r 1   is o lates  th to tal  co s ts   o f   MC  ex am s   ac r o s s   all  th r ee   m o d u les,  co m p ar in g   p ap er - b ased   an d   elec tr o n ic  a s s es s m en f o r m ats.   T h co s ad v a n tag o f   EA   is   im m ed iately   ev id en t.   I n   Mo d u le  A,   c o s ts   d r o p p e d   f r o m   C HF  3 , 1 5 5   to     C HF  1 , 3 8 8 . 5 0   ( 5 6 %),   wh il Mo d u le  B ,   with   its   lar g er   co h o r t,  s aw  r ed u ctio n   f r o m   C HF  2 9 , 2 9 5   to     C HF  4 , 4 2 2 . 1 5   ( 8 4 . 9 %).   Similar ly ,   Mo d u le  C   d em o n s tr ated   co s s av in g   o f   n ea r l y   8 0 %.  T h ese  f in d in g s   r ea f f ir m   th e   s ca lab ilit y   an d   ec o n o m ic   ef f icien c y   o f   d ig ital  MC  ex am in atio n s ,   esp ec ially   in   s ettin g s   with   h ig h   p ar ticip an t n u m b er s   an d   s tan d ar d ized   test in g   s tr u ctu r es,   as   s ee n   in   Fig u r 1 .   Fig u r 2   illu s tr ates  th r elativ co s s av in g s   f o r   ea ch   m o d u l an d   ex am   f o r m at.   T h ef f ici en cy   g ain s   o f   MC  E ar s u b s tan tial  an d   co n s is ten t,  with   s av in g s   ex ce e d in g   7 5 in   all  ca s es.  C o n v er s ely ,   OQ  E s h o o n ly   m in im al  r ed u ctio n s .   T h g r a p h   u n d e r s co r es  th e   ce n tr al  r o le   o f   au to m atio n   i n   r e alizin g   ef f icien c y ,   r ev ea lin g   s tr o n g   co r r elatio n   b etwe en   q u esti o n   f o r m at  a n d   c o s t im p ac t.           Fig u r 1 .   T o tal  ex am   c o s ts - MC  f o r m at  o n ly           Fig u r 2 .   Per ce n ta g s av in g s   b y   f o r m at  an d   m o d u le   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   2 Ap r il   20 26 1 1 5 1 - 1 1 6 2   1158   Fig u r 3   c o m p ar es  t h to tal  e x am in atio n   c o s ts   f o r   b o th   MC   an d   OQ  f o r m ats  ac r o s s   Mo d u les  A,   B ,   an d   C .   T h d ata  clea r ly   d em o n s tr ate  s u b s tan tial  s av in g s   f o r   EA   in   MC  s et tin g s ,   p ar ticu lar ly   in   lar g e - s ca le  ex am s   s u ch   as  Mo d u le  B .   W h ile  tr ad itio n al  MC  an d   OQ  e x am s   co n s is ten tly   in cu r r ed   id en tical  co s ts ,   d ig ital  MC  f o r m ats  ac h ie v ed   co s r e d u ctio n s   b etwe en   5 6 an d   8 5 %.  I n   co n tr ast,  d ig ital   OQ  f o r m ats  y ield e d   o n ly   m ar g in al  s av in g s   ( 1 3 %),   c o n f ir m in g   t h at  m an u al  g r ad in g   co n tin u es  to   d r iv co s p ar it y   with   p ap er - b ased   ex am s .           Fig u r 3 .   T o tal  ex am   c o s ts   b y   f o r m at  an d   m o d u le       Fig u r 4   b r ea k s   d o wn   th co s t   s av in g s   b y   p r o ce s s   p h ase  ( p r ep ar atio n ,   im p lem en tatio n ,   g r ad in g ,   an d   ar ch iv in g )   f o r   MC  e x am s   in   all  th r ee   m o d u les.   T h e   m o s p r o n o u n ce d   r e d u ctio n s   o cc u r   in   th g r ad i n g   a n d   ar ch iv in g   p h ases ,   ea ch   r ea ch in g   1 0 0 d u to   f u ll  au to m ati o n .   I n   co n t r ast,  th im p lem en tatio n   p h ase  s h o ws  n o tab le  co s in cr ea s es ex ce ed in g   9 0 in   all  m o d u les attr ib u tab le  to   d i g ital  in f r astru ctu r e,   m o n ito r in g ,   an d   SEB co n f ig u r atio n .   Pre p ar atio n   p h ase  co s ts   also   in cr ea s ed   s lig h tly ,   esp ec ially   in   lar g er   m o d u les.   Fig u r 5   p r esen ts   th p h ase - s p ec if ic  co s d if f er en ce s   f o r   OQ  ex am s .   W h ile  ar ch iv in g   s av in g s   r em ain   co n s is ten at  1 0 0 %,  g r ad in g   i s   o n ly   s lig h tly   m o r ef f icien d u to   c o n tin u e d   r elian ce   o n   m an u al  co r r ec tio n .   I m p lem en tatio n   a n d   p r ep ar ati o n   p h ases   ex h ib it  co s in cr ea s es  o f   3 0 1 0 0 %,  s im ilar   to   th o s o b s er v ed   in   MC  s ettin g s .   T h ese  r esu lts   in d ica te  th at  with o u au to m atio n   in   g r ad in g ,   th ec o n o m ic  p o te n tial  o f   d ig ital  OQ  f o r m ats r em ain s   lar g el y   u n ta p p ed .           Fig u r 4 .   Ph ase - wis E s av in g s   o v er   PP E   ( MC - f o r m at)   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       Dig ita l a s s ess men t fo r ma ts   in   h ig h er e d u c a tio n :   a n   emp ir ica l a n a lysi s   o f th p r o ce s s   … ( F la vio   Di  Giu s to )   1159       Fig u r 5 .   Ph ase - wis E s av in g s   o v er   PP E   ( OQ - f o r m a t)       At  th s am tim e,   q u alitativ e   d ata  f r o m   in ter v iews  an d   s tu d en s u r v ey s   co n f ir m   th e   h i g h   lev el  o f   ac ce p tan ce   a n d   s atis f ac tio n   with   th e   d ig ital  e x am   f o r m ats.   T o   ass ess   s tu d en ts   p er ce p ti o n s   o f   th e   ex a m in atio n   f o r m ats,  s tan d ar d ized   q u esti o n n air was  ad m i n is ter ed   af te r   th ex am in atio n s .   T h in s tr u m en m ea s u r ed   k ey   v ar iab les  r elate d   to   s atis f ac ti o n ,   p er ce iv e d   f air n ess ,   p r a ctica lity ,   an d   u s er - f r ien d lin ess   o f   th e   ex a m in atio n   f o r m at,   as  well  as  attitu d es  t o war d   t h u n d er l y in g   tech n o lo g y .   E ac h   co n s tr u ct   was  o p er atio n alize d   u s in g   m u ltip le  item s   r ated   o n   a   5 - p o in L ik er t   s ca le  r an g in g   f r o m   s tr o n g ly   d is ag r ee   to   s tr o n g ly   a g r ee .   Per ce p tio n   o f   th ex am in atio n   f o r m at  ca p tu r ed   s tu d en ts   o v er all  ev alu ati o n   an d   p r ef er en ce   f o r   d ig ital  v er s u s   p ap er - b ased   ex am s .   Fair n ess   item s   f o cu s ed   o n   p er ce iv e d   eq u ality   o f   co n d itio n s ,   tr an s p ar en cy   o f   g r ad in g ,   an d   ab s en ce   o f   d is ad v an tag d u to   th e   ex a m   f o r m at.   User - f r ien d lin ess   an d   p r ac ticality   wer m ea s u r ed   th r o u g h   item s   ad d r ess in g   ea s o f   u s e,   clar it y   o f   n a v ig atio n ,   tim e   h an d lin g ,   an d   p er ce iv ed   wo r k lo ad .   T ec h n o lo g y - r elate d   item s   ass es s ed   s y s tem   r eliab ilit y ,   tech n ical  s tab ilit y ,   an d   co n f id en ce   in   h an d lin g   th e   d ig ital  ex am in atio n   en v ir o n m en t.  I n   ad d itio n ,   o p e n - en d e d   q u esti o n s   allo wed   r e s p o n d en ts   to   p r o v id e   q u alitativ co m m en ts   an d   h ig h lig h t a d v an tag es o r   co n ce r n s   r elate d   to   th e x am in atio n   f o r m at.   T h q u alitativ r esu lts   also   p ain co n s is ten p ictu r e .   Stu d en ts   p r ed o m in an tly   r ate  E A   p o s itiv ely ,   esp ec ially   in   ter m s   o f   u s er - f r ien d lin ess   ( 8 4 %)   an d   f air n ess   ( 7 7 %).   T h e   s tu d e n s u r v e y   r e v ea ls     p r ed o m in an tly   p o s itiv attitu d e:  7 6 p r e f er   d ig ital  ex a m s ,   8 3 f o u n d   th ass ess m en to   b f air ,   an d     9 2 s u p p o r th u s o f   EA   i n   ad d itio n al  m o d u les.  Dea lin g   with   tech n ical  p r o b lem s   wa s   cited   as  cr it ical   is s u   alb eit  o n ly   b y   a   s m all  p r o p o r tio n   ( 9 %).   T h e   h ig h   le v el  o f   ac ce p ta n ce   am o n g   s tu d en ts   is   p ar ticu lar ly   n o tewo r th y .   I t sh o ws th at  d ig it al  ass e s s m en ts   ar n o t o n ly   f ea s ib le  b u t a ls o   d esira b le    p r o v id ed   tr an s p ar en c y ,   tech n ical  s tab ilit y ,   an d   p r ep a r atio n   ar g u ar a n teed .   T h h ig h   lev el  o f   ag r ee m en with   th p er ce p tio n   o f   f air n ess ,   in   p ar ticu lar ,   in d ica tes  th at  EA   f o r m ats  d o   n o cr ea te  d is cr im in atio n ,   b u ar e,   o n   th co n tr a r y ,   ex p er ien ce d   as  eq u al  o p p o r tu n ities .   W h ile  m an y   em p h asize  ad v an tag es  s u ch   as  tr an s p ar en cy ,   s tr u ctu r e,   a n d   f air n ess ,   co n ce r n s   ab o u t te ch n ical  g litch es r em ain .   T h in tr o d u ctio n   o f   b ac k u p   c o n ce p t,  e . g . ,   th r o u g h   m o b ile   d ev ices  o r   alter n ativ ac ce s s ,   is   th er ef o r e   s tr o n g ly   r ec o m m en d ed .   Ov er all,   h o wev er ,   th willin g n ess   to   u s d ig ital  ass ess m en ts   i s   v er y   h i g h ,   p r o v i d ed   t h p r o ce s s   is   clea r ly   co m m u n icate d   a n d   s u p p o r ted   b y   p r ac tice   f o r m ats.   T h q u alitativ in ter v iew  with   T o b ias  Halb h er r   s h o ws  th at  th s u cc ess f u u s o f   EA   i s   n o ju s t     tech n ical   is s u e,   b u t   r eq u ir es  p r o f o u n d   d id ac tic   an d   o r g an izatio n al  ch an g e.   Acc ep tan ce   am o n g   teac h er s   is   d ep en d e n o n   tr ain in g ,   tim r eso u r ce s ,   an d   s u p p o r s tr u ctu r es.  T h r esu lts   s u g g est  th at  s i m p ly   d i g itizin g   th e   f o r m at with o u ac co m p an y in g   m ea s u r es d o es  n o a u to m atica lly   lead   to   g ain s   in   q u ality   o r   ef f icien cy .   T h is   f in d in g   alig n s   with   r esear ch   in d icatin g   th at  e - ass ess m en ts   ar p ar o f   c o m p r eh en s iv e   p ar ad ig m   s h if in   h ig h er   e d u ca tio n   ass ess m en t [ 22 ] ,   [ 5 2 ].       4.   CO NCLU SI O N   T h is   s tu d y   co n tr ib u tes  to   th liter atu r o n   d ig ital  ass ess m en t   b y   p r o v i d in g   an   em p i r ical  co s an aly s is   o f   e - ass ess m en ts   co m p ar ed   wi th   tr ad itio n al  p ap er - b ased   ex a m s .   T h f in d in g s   s h o th at  th ec o n o m ic  b en ef its   o f   d ig ital  e x am in atio n s   d ep en d   s tr o n g ly   o n   th ass ess m en f o r m at.   MC  e - ass ess m en ts   lead   to   s u b s tan tial  co s r ed u ctio n s u p   t o   8 5 %   in   h i g h - v o lu m m o d u les p r im ar ily   d u to   au to m ate d   g r ad in g   an d   d ig ital  ar c h iv in g .   I n   co n t r ast,  OQ  f o r m ats s h o o n ly   m ar g in al  co s t a d v an tag es   b ec au s g r a d in g   r e m ain s   lar g ely   m an u al.   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   2 Ap r il   20 26 1 1 5 1 - 1 1 6 2   1160   T h ese  r esu lts   s u g g est  t h at  u n iv er s ities   s ee k in g   s ca lab le  an d   c o s t - ef f icien ass ess m en p r o ce s s es  s h o u ld   p r io r itize  MC - b ased   e - ass ess m en t s   in   s tan d ar d ize d ,   h ig h - en r o llm en c o u r s es.  At  th s am tim e,   s u cc ess f u im p lem en tatio n   r e q u ir es  r eliab le  tech n ical  in f r astru ctu r e,   in s titu tio n al  s tr ate g ies,  an d   a d eq u ate   tr ain in g   f o r   teac h i n g   s taf f .   Fu t u r tech n o lo g ical  d ev elo p m en ts ,   p ar ticu lar ly   AI - ass is ted   s co r in g   s y s tem s ,   m ay   f u r th er   in cr ea s th ef f icien c y   o f   d ig ital  ass ess m en ts   in v o lv in g   o p e n   r esp o n s es.   T h s tu d y   is   lim ited   to   b u s in ess   an d   ec o n o m ics  m o d u les  at  Swis s   u n iv er s ity   a n d   f o cu s es  p r im a r ily   o n   q u a n tifia b le  ef f icien c y   in d icato r s .   Fu tu r r esear ch   s h o u ld   ex am i n o th e r   d is cip lin es  an d   ex p lo r l o n g - te r m   d ev elo p m en ts   in   ef f icien cy ,   ac ce p tan ce ,   an d   as s ess m en t q u ality   as d ig ital e x am in atio n   s y s tem s   co n tin u to   ev o lv e.       F UNDING   I NF O R M A T I O N   Au th o r   s tates th er is   n o   f u n d i n g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al   u s es  th C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Flav io   Di  Giu s to                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT     Au th o r   s tates n o   co n f lict o f   in t er est.       DATA AV AI L AB I L I T Y   T h d ata   th at  s u p p o r ts   th f in d in g s   o f   th is   s tu d y   ar e   av ailab le   f r o m   th e   co r r esp o n d in g   au th o r ,   [ FDG] u p o n   r ea s o n ab le  r eq u est.       RE F E R E NC E S   [ 1 ]   A .   K u n d u   a n d   T.   B e j ,   Ex p e r i e n c i n g   e - a ss e ssm e n t   d u r i n g   C O V I D - 1 9 :   a n   a n a l y si s   o f   I n d i a n   st u d e n t s’   p e r c e p t i o n ,   H i g h e r   Ed u c a t i o n   Ev a l u a t i o n   a n d   D e v e l o p m e n t ,   v o l .   1 5 ,   n o .   2 ,   p p .   1 1 4 1 3 4 ,   2 0 2 1 ,   d o i :   1 0 . 1 1 0 8 / h e e d - 03 - 2 0 2 1 - 0 0 3 2 .   [ 2 ]   J.  H e i l   a n d   D .   I f e n t h a l e r ,   O n l i n e   a s sessme n t   i n   h i g h e r   e d u c a t i o n :   a   s y st e mat i c   r e v i e w ,   O n l i n e   L e a r n i n g v o l .   2 7 ,   n o .   1 ,   2 0 2 3 ,   d o i :   1 0 . 2 4 0 5 9 / o l j . v 2 7 i 1 . 3 3 9 8 .   [ 3 ]   S .   S .   M .   H u d a ,   M d .   K a b i r ,   a n d   T.   S i d d i q ,   E - a ss e ssm e n t   i n   h i g h e r   e d u c a t i o n :   st u d e n t s’   p e r sp e c t i v e ,   I n t e r n a t i o n a l   J o u r n a l   o f   Ed u c a t i o n   a n d   D e v e l o p m e n t   u si n g   I n f o rm a t i o n   a n d   C o m m u n i c a t i o n   T e c h n o l o g y   ( I J ED I C T ) ,   v o l .   1 6 ,   n o .   2 ,   p p .   2 5 0 2 5 8 ,   2 0 2 0 .   [ 4 ]   M .   I sk a n d e r ,   I n n o v a t i v e   t e c h n i q u e s   i n   i n s t r u c t i o n   t e c h n o l o g y ,   e - l e a r n i n g ,   e - a ss e ssm e n t ,   a n d   e d u c a t i o n ,   1 st   ed .   D o r d r e c h t :   S p r i n g e r   N e t h e r l a n d s,  2 0 0 8 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 1 - 4 0 2 0 - 8 7 3 9 - 4.   [ 5 ]   R .   B a b o ,   L .   V .   B a b o ,   J.   T .   S u h o n e n ,   a n d   M .   T u k i a i n e n ,   E -   a ss e ssm e n t   w i t h   m u l t i p l e - c h o i c e   q u e st i o n s :   a   5   y e a r   s t u d y   o f   st u d e n t s’   o p i n i o n s   a n d   e x p e r i e n c e ,   J o u rn a l   o f   I n f o rm a t i o n   T e c h n o l o g y   Ed u c a t i o n :   I n n o v a t i o n i n   Pr a c t i c e ,   v o l .   1 9 ,   p p .   1 2 9 ,   2 0 2 0 ,     d o i :   1 0 . 2 8 9 4 5 / 4 4 9 1 .   [ 6 ]   S .   B .   S a n g l e ,   K .   N .   N a n d u r k a r ,   a n d   P .   J .   P a w a r ,   I n c o r p o r a t i n g   e - a ss e ssm e n t   t o o l s   i n   t e a c h i n g   f o r   e f f e c t i v e   a n d   a u t h e n t i c   a ssessm e n t ,   J o u rn a l   o f   En g i n e e ri n g   E d u c a t i o n   T r a n s f o rm a t i o n s ,   v o l .   3 3 ,   n o .   S p e c i a l   I ssu e ,   p p .   1 3 0 1 3 6 ,   Ja n .   2 0 2 0 ,     d o i :   1 0 . 1 6 9 2 0 / j e e t / 2 0 2 0 / v 3 3 i 0 / 1 5 0 0 8 1 .   [ 7 ]   K .   B u t l e r H e n d e r so n   a n d   J.   C r a w f o r d ,   A   sy st e mat i c   r e v i e w   o f   o n l i n e   e x a m i n a t i o n s :   A   p e d a g o g i c a l   i n n o v a t i o n   f o r   s c a l a b l e   a u t h e n t i c a t i o n   a n d   i n t e g r i t y ,   C o m p u t e rs &  Ed u c a t i o n ,   v o l .   1 5 9 ,   1 0 4 0 2 4 ,   D e c .   2 0 2 0 ,   doi :   1 0 . 1 0 1 6 / j . c o m p e d u . 2 0 2 0 . 1 0 4 0 2 4 .   [ 8 ]   A .   C .   P h i l l i p s ,   S .   F .   M a c k i n t o s h ,   C .   G i b b s ,   L .   N g ,   a n d   C .   E .   F r y e r ,   A   c o m p a r i s o n   o f   e l e c t r o n i c   a n d   p a p e r - b a s e d   c l i n i c a l   s k i l l s   a s s e s s m e n t :   s y s t e m a t i c   r e v i e w ,   M e d i c a l   T e a c h e r ,   v o l .   4 1 ,   n o .   1 0 ,   p p .   1 1 5 1 1 1 5 9 ,   O c t .   2 0 1 9 ,   d o i :   1 0 . 1 0 8 0 / 0 1 4 2 1 5 9 X . 2 0 1 9 . 1 6 2 3 3 8 7 .   [ 9 ]   B .   B o i t s h w a r e l o ,   A . K .   R e e d y   a n d   T.   B i l l a n y ,   E n v i si o n i n g   t h e   u se  o f   o n l i n e   t e st i n   a ssess i n g   t w e n t y f i r st   c e n t u r y   l e a r n i n g :   l i t e r a t u r e   r e v i e w ,   R e se a rc h   a n d   Pr a c t i c e   i n   T e c h n o l o g y   En h a n c e d   L e a r n i n g ,   v o l .   1 2 ,   p .   1 6 ,   2 0 1 7 ,   doi :   1 0 . 1 1 8 6 / s 4 1 0 3 9 - 0 1 7 - 0 0 5 5 - 7 .   [ 1 0 ]   C .   R e d e c k e r   a n d   Ø .   J o h a n n e sse n ,   C h a n g i n g   a ss e ssm e n t t o w a r d a   n e w   p a r a d i g o f   a sse ssm e n t   f o r   l e a r n i n g ,   Eu ro p e a n   J o u rn a l   o f   Ed u c a t i o n ,   v o l .   4 8 ,   n o .   1 ,   p p .   7 9 9 6 ,   2 0 1 3 ,   d o i :   1 0 . 1 1 1 1 / e j e d . 1 2 0 1 8 .   [ 1 1 ]   J.  C .   G .   d e   S a n d e ,   J.   I .   G o d i n o - Ll o r e n t e ,   V .   O sma - R u i z ,   a n d   N .   S á e n z - L e c h ó n ,   A n a l y s i s   o f   t h e   v a l i d i t y   o f   e - a ssessme n t   a n d     sel f - a sse ssm e n t   i n   f o r ma l   a s sessm e n t   i n   e l e c t r i c a l   a n d   e l e c t r o n i c e n g i n e e r i n g   st u d i e t h r o u g h   a   c a se  s t u d y ,   i n   2 0 1 2   I EEE  1 2 t h   I n t e r n a t i o n a l   C o n f e r e n c e   o n   A d v a n c e d   L e a r n i n g   T e c h n o l o g i e s ,   J u l .   2 0 1 2 ,   p p .   3 1 35 ,   d o i :   1 0 . 1 1 0 9 / I C A LT. 2 0 1 2 . 1 2 2 .   Evaluation Warning : The document was created with Spire.PDF for Python.