I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   15 ,   No .   3 J u n e   20 26 ,   p p .   2305 ~ 2 3 1 2   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 15 i 3 . 3 8 4 7 6           2305       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Exper t - der iv ed in dica tors  f o r eva lu a ting desig n t hi nk ing   pro toty pes in  teac her edu ca tion       M a ry   Cris J .   G o ,   J o v ely n G .   Delo s a ,   Chris t ine C .   Ro y o   I n st i t u t e   f o r   Te a c h e r   E d u c a t i o n ,   N o r t h e r n   B u k i d n o n   S t a t e   C o l l e g e ,   M a n o l o   F o r t i c h ,   P h i l i p p i n e s       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   J an   1 2 0 2 6   R ev is ed   Mar   12 2 0 2 6   Acc ep ted   May   14 2 0 2 6       Ev a lu a ti n g   d e sig n   th in k in g   p r o to t y p e i n   tea c h e e d u c a ti o n   re m a in c h a ll e n g i n g   d u e   to   th e   a b se n c e   o sta n d a rd ize d   a n d   th e o r y - a li g n e d   e v a lu a ti o n   c rit e ria.  Ex isti n g   a ss e ss m e n p ra c ti c e a re   o ften   i n c o n s isten a n d   in su fficie n t ly   a li g n e d   with   t h e   p ro c e ss - o rien ted   n a tu re   o d e sig n   th in k in g b a se d   re se a rc h .   Th is   stu d y   a ime d   t o   d e v e lo p   e x p e rt - d e ri v e d   i n d ica to rs  t o   in fo rm   t h e   c o n stru c ti o n   o f   a   p r o to t y p e   e v a lu a ti o n   in str u m e n f o tea c h e r   e d u c a ti o n   re se a rc h .   Us in g   a   q u a li tativ e   in str u m e n d e v e l o p m e n a p p ro a c h ,     a   fo c u g r o u p   d isc u ss io n   (F G D)   wa c o n d u c ted   with   re se a rc h   a d v iso rs  a n d   p a n e m e m b e rs  e x p e rien c e d   in   e v a lu a ti n g   u n d e rg ra d u a te  a n d   g ra d u a te   re se a rc h   o u tp u ts.  Da ta  we re   a n a ly z e d   u sin g   Bra u n   a n d   Clark e ’s   re flex iv e   th e m a ti c   a n a ly sis,  re su lt in g   i n   si x   e v a l u a ti o n   d o m a in s:   p r o b lem   a li g n m e n t   a n d   fu n c ti o n a re lev a n c e ,   n o v e lt y   a n d   in tellec t u a p r o p e rt y   in teg ri ty ,   sta n d a rd iza ti o n   o e v a l u a ti o n   p ra c ti c e s,  a li g n m e n wit h   d e sig n   th i n k i n g   p ro c e ss e s,  fe a sib il it y   a n d   su sta i n a b il it y ,   a n d   d e m o n stra ti o n   o re s e a rc h   a n d   p ro fe ss io n a c o m p e ten c ies .   T h e se   d o m a in we re   o p e ra ti o n a l ize d   in to   a   p o o l   o o b se rv a b le   in d ica to rs   re p re se n ti n g   k e y   d ime n si o n o f   p r o to t y p e   q u a li ty .   Th e   re su lt i n g   d o m a in p r o v id e   in it ial  c o n ten v a li d it y   e v id e n c e   fo th e   d e v e lo p m e n o f   a   sta n d a r d ize d   p ro to t y p e   e v a lu a ti o n   i n stru m e n t ,   s u p p o rti n g   su b se q u e n c o n ten v a li d a ti o n   a n d   p sy c h o m e tri c   tes ti n g .   T h e   fin d in g o ffe a n   e x p e rt - i n fo rm e d   e v a lu a ti o n   fr a m e wo rk   th a c o n tri b u tes   t o   m o r e   rig o r o u s ,   tran sp a re n t,   a n d   c o n siste n a ss e ss m e n o d e sig n   t h in k in g   p r o t o ty p e in   tea c h e e d u c a ti o n   a n d   h i g h e e d u c a ti o n   re se a rc h .   K ey w o r d s :   Desig n   th in k in g   e v alu atio n   E d u ca tio n al  ev al u atio n   I n s tr u m en t d e v elo p m e n t   Pro to ty p ass ess m en t   T ea ch er   ed u ca tio n   r esear c h   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ma r y   C r is   J .   Go   I n s titu te  f o r   T ea ch e r   E d u ca tio n ,   No r th er n   B u k id n o n   State  C o lleg e   Ma n o lo   Fo r tich ,   B u k id n o n ,   Ph ilip p in es   E m ail: m jg o @ n b s c. ed u . p h       1.   I NT RO D UCT I O N   T h in cr ea s in g   in te g r atio n   o f   d esig n   th in k in g   with in   teac h e r   ed u ca tio n   h as  r esh ap ed   h o w   r esear ch   p r o b lem s   ar c o n ce p t u alize d   an d   ad d r ess ed ,   p ar ticu lar l y   th r o u g h   th d e v elo p m e n o f   p r o to ty p es  as  tan g ib le  an d   co n tex t - r esp o n s iv r esear ch   o u tp u ts .   Desig n   th in k in g   em p h asizes h u m an - ce n te r ed   p r o b lem   id en tific atio n ,   iter ativ id ea tio n ,   p r o to ty p i n g ,   an d   test in g ,   m a k in g   it  w ell  alig n ed   with   ed u ca tio n al   co n tex ts   th at  s ee k   p r ac tical  s o lu tio n s   to   au th en tic  in s tr u ctio n al  an d   in s titu tio n al  ch allen g es  [ 1 ] ,   [ 2 ] .   As  h ig h er   e d u ca tio n   in s titu tio n s   in cr ea s in g ly   r e q u ir r esear ch   s tu d e n ts   to   g e n e r ate  d esig n - o r ien ted   o u tp u ts   r ath er   th a n   p u r ely   th eo r etica s tu d ies,  th n ee d   f o r   s y s tem atic  an d   d e f en s ib le  ev alu atio n   o f   s u ch   p r o to ty p es  h as  b ec o m an   im p o r tan t c o n ce r n   with in   ed u c atio n al  ev alu atio n   a n d   ass ess m en t p r ac tices.   Desp ite  its   g r o win g   ad o p tio n ,   th ev alu atio n   o f   d esig n   t h in k in g   p r o to ty p es  in   teac h er   ed u ca tio n   r em ain s   m eth o d o lo g ically   u n d er d ev elo p ed .   E x is tin g   ass ess m en p r ac tices  ar f r eq u e n tly   in co n s is ten t,  r elian o n   in d iv id u al  ev alu ato r s   in t er p r etatio n s ,   an d   o f ten   ad a p ted   f r o m   to o ls   o r ig in ally   d esig n ed   f o r   tr ad itio n a l   r esear ch   o u t p u ts .   E d u ca tio n al   ass ess m en s ch o lar s h ip   em p h asizes  th n ec ess ity   o f   clea r ,   tr an s p ar e n t,  an d   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 3 0 5 - 2 3 1 2   2306   s tan d ar d ized   cr iter ia  to   en s u r e   f air n ess ,   v alid ity ,   an d   r eliab il ity   in   ev alu atin g   s tu d en wo r k   [ 3 ] ,   [ 4 ] .   Ho wev er ,   wh en   d esig n - o r ien ted   o u tp u ts   ar ass ess ed   u s in g   ad   h o c   o r   o u tco m e - o r ien te d   m ea s u r es   th at  d o   n o r e f lect  th eir   iter ativ an d   p r o ce s s - b ased   n atu r e,   r is k s   to   co n s tr u ct  v alid ity   an d   r eliab ilit y   in cr ea s e.   Desp ite  th e   in cr ea s in g   u s o f   d esig n   th in k in g   in   teac h er   e d u ca tio n ,   n o   em p ir ically   g r o u n d ed   a n d   ex p er t - d er i v e d   ev alu atio n   f r am ewo r k   cu r r e n tly   ex is ts   f o r   ass ess in g   d esig n   th in k in g   p r o t o ty p es a s   r esear ch   o u tp u ts .   T h liter atu r e   f u r t h er   in d icate s   co n ce p tu al   am b ig u ity   in   d i s tin g u is h in g   d esig n   th in k in g   p r o to ty p es  f r o m   o u t p u ts   g en er ated   th r o u g h   b asic  r esear ch   o r   ac tio n   r esear ch   f r am ewo r k s ,   p ar t icu lar ly   in   h ig h er   ed u ca tio n   s ettin g s .   W h ile  a ctio n   r esear ch   em p h asizes  im p lem en tatio n   an d   m ea s u r a b le  im p ac t,  d esig n   th in k in g   p r io r itizes  s o lu tio n   g en er atio n   a n d   iter ativ r ef in em en p r io r   to   lar g e - s ca le  test in g   [ 5 ] ,   [ 6 ] .   W h en   ev alu atio n   f r a m ewo r k s   f ail  t o   ac co u n f o r   th ese  th eo r etica d is tin ctio n s ,   d esig n   th in k i n g   o u t p u ts   m ay   b e   ass es s ed   u s in g   in ap p r o p r iate  ef f ec tiv en ess   m etr ics,  th er e b y   u n d er m i n in g   b o th   p ed a g o g ical  in ten a n d   ev alu atio n   ac c u r ac y .   R ec en t   s tu d ies  h ig h lig h th e   im p o r tan ce   o f   alig n in g   ass ess m en cr iter ia  with   th e   th eo r etica f o u n d atio n s   an d   p r o ce s s es  u n d er ly in g   th e   r esear ch   ap p r o ac h   in   o r d er   to   p r o d u ce   m ea n in g f u a n d   d ef en s ib le  ev alu atio n   o u tc o m e s   [ 7 ] ,   [ 8 ] .   Alth o u g h   s ev er al  s tu d ies  h av ex p lo r ed   i n n o v atio n   ass ess m en t,  r u b r ic   d esig n ,   an d   co m p eten cy - b ased   ev alu atio n   in   e d u ca tio n ,   ex is tin g   in s tr u m e n ts   p r im ar il y   f o c u s   o n   tr a d itio n al  r esear c h   q u ality   i n d icato r s   o r   em p h asize  im p lem en tatio n   o u tco m es.  T h ese  ap p r o ac h es  o f ten   f ail  to   ca p tu r c r itical  d im en s io n s   o f   d esig n   th in k in g b ased   o u tp u ts ,   in clu d in g   p r o ce s s   f id elity ,   o r i g in al ity   s af eg u ar d s ,   f ea s ib ilit y   co n s id er atio n s ,   an d   th e   d em o n s tr atio n   o f   r esear ch   a n d   p r o f ess io n al  c o m p eten cies.  T h is   lim itatio n   u n d e r s co r es  th n ee d   f o r   d o m ai n - s p ec if ic  ev alu atio n   f r am ewo r k   g r o u n d ed   i n   ex p er c o n s en s u s   an d   alig n ed   with   th d is tin ctiv ch ar ac ter is tics   o f   d esig n   th in k in g b ased   i n q u ir y   [ 9 ] ,   [ 1 0 ] .   T o   ad d r ess   th is   g ap ,   th is   s tu d y   s ee k s   to   a n s wer   th f o llo win g   r esear ch   q u esti o n :   wh at  ex p er t - d er iv ed   ev al u atio n   d o m ain s   an d   in d icato r s   ar n ec ess ar y   f o r   ass ess in g   d esig n   th in k in g   p r o to t y p es in   teac h er   ed u ca tio n ?   Usi n g   q u alitativ i n s tr u m en d ev elo p m en a p p r o ac h ,   t h s tu d y   an aly ze s   f o cu s   g r o u p   d is cu s s io n   ( FGD)   d ata  f r o m   r esear ch   a d v is o r s   an d   p an el  m em b er s   th r o u g h   B r au n   an d   C lar k e’ s   r ef lex iv e   th em atic   an aly s is   [ 1 1 ] .   T h s tu d y   co n tr ib u tes  b y   s y s tem atica lly   tr an s l atin g   ex p e r ju d g m en in t o   s tr u ctu r ed   e v alu atio n   d o m ain s   an d   o b s er v ab le  in d ic ato r s ,   th er eb y   p r o v id in g   an   e m p ir ically   g r o u n d ed   f o u n d atio n   f o r   s tan d ar d ize d   p r o to ty p ev alu atio n   f r am ewo r k .   B y   s tr en g th en in g   alig n m e n b etwe en   ev alu atio n   p r ac tic es  an d   th iter ativ e,   p r o b lem - d r iv e n   n atu r e   o f   d es ig n   th in k in g ,   th is   r esear ch   a d v an ce s   m eth o d o lo g ical  r ig o r ,   tr an s p ar e n cy ,   an d   co n s is ten cy   in   th ev al u atio n   o f   d esig n - o r ien ted   r esear ch   o u tp u ts   in   teac h er   ed u ca tio n   a n d   h ig h er   e d u ca tio n .       2.   M E T H O D   2 . 1 .     Resea rc des ig n   T h is   s tu d y   e m p lo y e d   a   q u alit ativ in s tr u m en t   d ev el o p m en t   d esig n ,   co n s titu tin g   th i n itial  p h ase  o f     b r o a d er   ev al u atio n   to o c o n s tr u ctio n   p r o ce s s .   Qu alitativ ap p r o ac h es  ar e   ap p r o p r i ate  f o r   g en er atin g   ev alu ativ in d icato r s   wh en   c o n s tr u cts  ar co m p lex ,   e m er g en t,  o r   in s u f f icien tly   o p er atio n alize d   [ 1 2 ] ,   [ 1 3 ] .   C o n s is ten with   b est  p r ac tic es  in   ed u ca tio n al  m ea s u r em en t,  ex p er j u d g m e n was  u s ed   as  th e   p r im ar y     s o u r ce   o f   ev id e n ce   f o r   id e n t if y in g   e v alu atio n - r elev an d i m en s io n s   p r io r   to   q u an titati v v alid atio n   [ 1 4 ] .     T h q u alitativ p h ase  f o cu s e d   o n   elicitin g   ex p er p e r s p ec tiv es  to   in f o r m   th d ev el o p m e n o f   in d icato r s   f o r   ev alu atin g   d esig n   th i n k in g   p r o to ty p es  p r o d u ce d   b y   r esear c h   s tu d en ts   in   teac h er   ed u ca tio n .   T h is   p h ase  aim ed   to   estab lis h   co n ce p tu al   clar ity ,   d ef i n c o n s tr u ct  b o u n d ar ies,   an d   e n s u r c o n ten t   r elev a n ce k ey   p r er eq u is ites   f o r   s u b s eq u e n t v alid atio n   an d   r eliab ilit y   test in g   [ 1 5 ] .     2 . 2 .     P a rt icipa nts   t o tal   o f   1 2   r es ea r c h   ad v is o r s   a n d   p a n el   m e m b e r s   p a r ti ci p at e d   i n   t h e   FG D .   A ll   p a r ti ci p a n ts   w er e   af f il iat ed   w it h   tea c h e r   e d u ca t io n   p r o g r a m s   i n   h ig h e r   e d u c ati o n   i n s t it u ti o n s   a n d   w er e   a cti v el y   i n v o lv e d   in   s u p e r v is i n g   a n d   e v al u ati n g   u n d e r g r ad u ate   a n d   g r a d u a te   r ese ar ch   o u tp u ts .   A   p u r p o s i v ex p er t   s a m p li n g   s tr ate g y   was   e m p lo y ed   to   en s u r e   th e   i n c lu s io n   o f   p ar tic ip a n ts   wi th   r el e v a n t   d o m a in   e x p er tis e .   Se le cti o n   c r it er ia   r e q u i r e d   t h a p a r ti ci p a n ts :   i )   h ad   e x p er ie n c s u p e r v is i n g   u n d er g r a d u at o r   g r a d u at r es ea r c h ii )   we r e   d ir ec tl y   in v o l v e d   i n   ev al u a ti n g   r ese ar ch   p r o p o s als,   m an u s cr ip ts ,   o r   p r o to ty p e - b as e d   o u tp u ts a n d   i ii )   d e m o n s t r a te d   f a m ili a r it y   wit h   d esi g n   t h i n k i n g ,   a cti o n   r es ea r c h ,   o r   r e lat e d   e d u ca ti o n al   r ese ar ch   a p p r o ac h e s .   T h in clu s io n   o f   ex p er p ar tic ip an ts   is   co n s is ten with   in s tr u m en d ev elo p m en s ch o lar s h ip ,   wh ich   em p h asizes  th at  th e   g en e r atio n   o f   ev al u ativ in d icato r s   s h o u ld   b g r o u n d e d   in   th e   in f o r m ed   ju d g m e n ts   o f   in d iv id u als  with   s u b s tan tiv co n ten an d   ass ess m en ex p er tis [ 1 6 ] ,   [ 1 7 ] .   T h n u m b er   o f   p ar ticip a n ts   was  co n s id er ed   s u f f icien f o r   th p u r p o s es  o f   q u alitativ in s tr u m en d ev elo p m en t,  as  th em atic  s atu r atio n   was  ac h iev ed   d u r i n g   an aly s is ,   with   n o   s u b s tan tiv ely   n ew  ev alu ativ d im en s io n s   em er g in g   in   th later   s tag es   o f   d is cu s s io n .   All  p ar ticip an ts   wer in f o r m ed   o f   th e   s tu d y s   o b jectiv es  an d   p r o ce d u r es,  an d   wr itten   in f o r m e d   co n s en t w as o b tain ed   p r io r   to   d ata  co llectio n .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E xp ert - d erived   in d ica to r s   fo r   ev a lu a tin g   d esig n   th in kin g   p r o to typ es in   tea ch er e d u c a tio n   ( Ma r C r is   J.   Go )   2307   2 . 3 .     Da t a   c o llect io n   Data   wer co llected   th r o u g h   a   FGD  d esig n ed   to   elicit   s h ar ed   ev alu ativ s tan d ar d s   an d   cr i ter ia  u s ed   in   ass ess in g   d esig n   th in k in g   p r o to ty p es.  FGDs   ar p ar ticu lar ly   s u itab le  f o r   in s tr u m en d ev elo p m en s tu d ies   b ec au s th ey   f ac ilit ate  in ter ac tio n   am o n g   ex p er ts ,   allo win g   f o r   th clar if icatio n ,   n eg o tiatio n ,   an d   r ef i n em en t   o f   ev alu ativ c o n s tr u cts  [ 1 8 ] .   T h FGD  f o llo wed   s em i - s tr u ctu r ed   p r o to c o th at  p r o m p ted   p ar ticip an ts   to   d is cu s s   cu r r en ev alu atio n   p r a ctice s ,   ch allen g es  in   as s es s in g   d esig n   th in k in g   o u t p u ts ,   an d   cr iter ia  co n s id er ed   ess en tial  in   ju d g in g   p r o to ty p q u ality .   T h s ess io n   was  au d io - r ec o r d e d   with   p er m is s io n   an d   tr a n s cr ib ed   v er b atim   to   e n s u r ac cu r ac y   a n d   co m p leten ess   o f   th d ata  [ 1 9 ] .     2 . 4 .     Da t a   a na ly s is   T h tr an s cr ib e d   FGD  d ata  wer an aly ze d   u s in g   B r au n   an d   C lar k e’ s   s ix - p h ase  th e m atic  an a ly s is   [ 2 0 ] ,   wh ich   p r o v i d es  s y s tem ati an d   f lex ib le  ap p r o ac h   f o r   id en tify in g   p atter n s   r elev an to   in s tr u m en d ev elo p m e n an d   ev al u atio n   r esear ch .   T h a n aly s is   f o llo wed   r ef lex iv e   th em atic  an aly s is   ap p r o ac h ,   em p h asizin g   in ter p r etiv an a ly tic  d ev elo p m en r at h er   th a n   co d e - r eliab ilit y   o r   in ter - co d er   q u an tific atio n ,   co n s is ten with   th s tu d y s   o b j ec tiv o f   tr an s latin g   e x p er t   ju d g m en ts   in to   ev al u ativ co n s tr u cts  f o r   in s tr u m e n d ev elo p m e n t.  T h a n aly s is   f o llo wed   B r au n   an d   C lar k e’ s   s ix - p h ase  r ef lex i v th e m atic  an aly s is   p r o ce d u r e.   First,  th r esear ch er s   f am iliar ized   th em s elv es  with   th d ata  th r o u g h   r ep ea ted   r ea d in g   o f   th tr an s cr ip ts .   Seco n d ,   in itial  co d es  wer g en er ated   to   ca p tu r e   ev alu atio n - r elate d   id ea s   e m er g in g   f r o m   th d is cu s s io n s .   T h ir d ,   p atter n s   am o n g   th co d es  wer ex am in e d   to   id en tify   p o te n tial  ev alu ativ d im en s io n s .   Fo u r th ,   ca n d id ate  th em es  wer r ev ie wed   an d   r ef in e d   to   en s u r c o n ce p tu al  co h e r en ce   an d   clea r   d is tin ctio n   b etwe en   d o m ain s .   Fifth ,   th em es  wer d ef in ed   an d   n am e d   as  ev alu a tio n   d o m ain s   r elev a n to   p r o t o ty p ass ess m en t.   Fin ally ,   an   an aly tic  n a r r ativ was d ev elo p ed   lin k in g   th e   id e n tifie d   d o m ai n s   to   p r o to ty p e v alu atio n   cr iter ia.   T h em atic  an aly s is   was  s elec ted   f o r   its   ca p ac ity   to   s u p p o r b o th   in d u ctiv co d i n g   a n d   an aly tic   ab s tr ac tio n ,   m ak in g   it  s u itab le  f o r   tr an s f o r m in g   ex p e r d is co u r s in to   s tr u ctu r e d   ev alu at io n   in d icato r s   [ 2 1 ] .     T o   en h an ce   a n aly tic  r ig o r ,   e m er g in g   th em es  wer e   iter ativ ely   r ev iewe d   an d   co m p ar ed   ag ain s estab lis h ed   ev alu ativ co n s tr u cts  in   ed u c atio n al  ass ess m en liter atu r to   en s u r c o n ce p t u al  alig n m e n with   r ec o g n ized   ev alu atio n   f r a m ewo r k s .   C o d in g   d ec is io n s   an d   th e m d ev elo p m en t p r o ce s s es we r d o cu m en ted   th r o u g h o u t th e   an aly s is   to   m ain tain   an   au d it tr ail  an d   s u p p o r t tr a n s p ar en cy   in   th an aly tic  p r o ce d u r e.     2 . 5 .     T rus t wo rt hin ess   o f   t he  s t ud y   Me th o d o lo g ical  r ig o r   was  en s u r ed   th r o u g h   s tr ateg ies  co n s is ten with   q u alitativ tr u s two r th in ess   [ 2 2 ] .   C r ed i b ilit y   was  s u p p o r t ed   th r o u g h   th u s o f   ex p er t   p ar ticip an ts   an d   s u s tain ed   e n g ag em e n with   th d ata.   Dep en d a b ilit y   was  en h an ce d   b y   ap p ly i n g   s y s tem a tic  an aly tic  p r o ce d u r an d   m ain tain in g   d etailed   d o cu m e n tatio n   o f   co d i n g   an d   t h em d ev elo p m en t.  C o n f ir m a b ilit y   was a d d r ess ed   b y   g r o u n d in g   in ter p r etatio n s   d ir ec tly   in   th d ata  an d   m in im izin g   r esear ch er   b ias th r o u g h   r ef lex iv m em o in g .   T r an s f er a b ilit y   was  s u p p o r ted   b y   p r o v id in g   s u f f icien m eth o d o lo g ical  d etail  to   en ab le  ap p licatio n   o f   f in d in g s   in   s im ilar   teac h er   ed u ca tio n   an d   h ig h er   ed u ca tio n   c o n tex ts   [ 2 3 ] .     2 . 6 .     E t hica co ns idera t io ns   T h s tu d y   co m p lied   with   estab lis h ed   eth ical  s tan d ar d s   f o r   r esear ch   in v o lv in g   h u m an   p ar ticip an ts .   Par ticip atio n   was  v o lu n tar y ,   i n f o r m e d   co n s en was  o b tain e d   p r io r   to   d ata  co llectio n ,   an d   co n f id en tiality   was  m ain tain ed   t h r o u g h o u th e   r e s ea r ch   p r o ce s s .   E th ical  clea r an ce   was  s ec u r ed   f r o m   an   in s titu tio n al  r esear ch   eth ics  co m m ittee,   co n s is ten with   n atio n al  r eg u latio n s   an d   in ter n atio n al  eth ical  g u id elin es  g o v er n in g   ed u ca tio n al  r esear ch   [ 2 4 ] .       3.   RE SU L T S AN D I SCU SS I O N   T h th em atic   an aly s is   o f   ex p er f o c u s   g r o u p   d ata  y ield ed   s ix   in ter r elate d   e v alu atio n   d o m ain s   th at   co llectiv ely   d ef in q u ality   an d   r ig o r   i n   th ass ess m en o f   d esig n   th in k in g   p r o to ty p es  in   teac h er   ed u ca tio n .   R ath er   th an   f u n ctio n in g   as  is o lated   cr iter ia,   th ese  d o m ain s   o p er ate  as  a   co h e r en ev al u ativ f r am ewo r k   th a t   in teg r ates  p r o b le m   r elev a n c e,   o r ig in ality ,   p r o ce s s   f id elity ,   f ea s ib ilit y ,   an d   co m p ete n cy   d em o n s tr atio n .   T o g eth er ,   th e y   r esp o n d   to   p e r s is ten ch allen g es  in   ev alu atin g   d esig n - o r ien te d   r esear ch   o u tp u ts   u s in g   cr iter ia  o r ig in ally   d esig n ed   f o r   tr a d itio n al  ac ad em ic  p r o d u cts.   T h e   d o m ain s   ar e   p r esen ted   with   em p h asis   o n   th eir   d is tin ct  ev alu ativ co n tr ib u tio n s   an d   im p licatio n s   f o r   p r o to t y p ass ess m en t.     3 . 1 .     P r o blem   a lig n m ent   a nd   f un ct io na l r elev a nce  o f   pro t o t y pes   E x p er ts   co n s is ten tly   em p h asiz ed   th at  ef f ec tiv p r o to t y p ev a lu atio n   b eg i n s   with   ass es s in g   th ex ten t   to   wh ich   p r o t o ty p is   alig n ed   with   clea r ly   ar ticu lated   ed u ca tio n al  p r o b lem   an d   wh e th er   it  f u n ctio n s   as    v iab le  s o lu tio n   with in   its   in ten d ed   co n tex t.   Par ticip an ts   u n d e r s co r ed   th at ,   p r o to ty p es  s h o u ld   n o t   m er el y   d em o n s tr ate  cr ea tiv ity   o r   tech n ical  s o p h is ticatio n   b u t   m u s r esp o n d   t o   au t h en tic  in s tr u cti o n al  o r   in s titu tio n al  Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 3 0 5 - 2 3 1 2   2308   n ee d s   an d   ex h ib it  co h er e n ce   b etwe en   th id en tifie d   p r o b lem ,   r esear ch   o b jectiv es,  an d   p r o p o s ed   s o lu tio n .   T h is   em p h asis   alig n s   with   ev alu at io n   liter atu r e   ass er tin g   t h at  r elev an ce   a n d   f u n ctio n al  alig n m en a r ce n tr al   cr iter ia  f o r   j u d g in g   th q u ality   o f   ed u ca tio n al  in n o v atio n s   [ 2 5 ] ,   [ 2 6 ] .   I n   d esig n - o r ien ted   r e s ea r ch ,   th v al u o f   p r o to ty p e   lies   p r im a r ily   in   its   p r o b lem s o lu tio n   f it   r ath er   th an   in   ae s th etic  o r   co n ce p tu al  ap p ea alo n e.   Acc o r d in g ly ,   in d icato r s   d er i v e d   f r o m   th is   d o m ain   em p h asize  clar ity   o f   p r o b lem   d ef i n itio n ,   ap p r o p r iaten ess   o f   th s o lu tio n ,   a n d   c o n tex tu al   ap p licab ilit y ,   r ei n f o r ci n g   c o n s tr u ct  r elev a n ce   an d   in ter p r etiv v alid ity   in   p r o to ty p ev alu atio n   [ 2 7 ] .     3 . 2 .     No v elt y ,   o rig ina lity ,   a nd   inte llect ua l pro pert y   inte g rit y   s ec o n d   d o m ain   f o c u s ed   o n   th ev alu atio n   o f   o r ig i n ality   wh ile  en s u r in g   ad h er e n ce   to   in tellectu al  p r o p er t y   a n d   et h ical  s tan d ar d s .   E x p er ts   e x p r ess ed   c o n ce r n   th at  p r o t o ty p es  a r o f ten   j u d g ed   as  “in n o v ativ e”   b ased   s o lely   o n   lo ca lized   o r   co n tex tu al  n o v elty ,   with o u s u f f icien e n g ag em e n with   ex is tin g   liter atu r o r   co m p ar ab le  s o lu tio n s   b ey o n d   th im m ed iate  in s titu tio n a s ettin g .   Su ch   p r ac tices  in cr ea s th r is k   o f   u n in ten tio n al  d u p licatio n   an d   wea k en   th s ch o lar l y   cr ed ib ili ty   o f   r esear c h   o u t p u ts .   T h is   d o m ain   r ef lects  b r o ad e r   co n ce r n s   i n   ed u ca tio n al  e v alu atio n   r eg a r d in g   ac ad e m ic  in te g r ity   an d   r esp o n s ib le  in n o v atio n   [ 2 8 ] ,   [ 2 9 ] .   I n d icato r s   ass o ciate d   with   th is   d o m ain   ex ten d   b ey o n d   s u r f ac e - lev el  n o v elty   b y   in co r p o r atin g   cr iter ia  r el ated   to   liter atu r g r o u n d in g ,   d if f er en tiatio n   f r o m   p r io r   wo r k ,   an d   eth ica l   attr ib u tio n .   B y   in teg r atin g   o r ig in ality   with   in tellectu al  p r o p er t y   in teg r ity ,   p r o to ty p e   ev alu atio n   alig n s   in n o v atio n   with   s ch o lar ly   r esp o n s ib ilit y   an d   eth ical  r esear c h   p r ac tice  [ 3 0 ] .     3 . 3 .     Nee d f o a   s t a nd a rdized  a nd   s y s t em a t ic  pro t o t y pe  ev a lua t io n f ra m ewo rk   E x p er ts   h i g h lig h ted   th e   ab s e n ce   o f   a   u n if ied   an d   s y s tem atic  f r am ewo r k   f o r   ev al u atin g   d esig n   th in k in g   p r o to t y p es,  n o tin g   th at  cu r r en p r ac tices  ar o f ten   im p r o v is ed   an d   d ep e n d en o n   in d iv id u a l   ev alu ato r s   p r e f er en ce s .   Par ti cip an ts   r ep o r ted   a d ap tin g   r u b r ics  o r ig in ally   d esig n ed   f o r   t r ad itio n al  r esear ch   o u tp u ts ,   r esu ltin g   in   in co n s is ten ju d g m en ts   an d   u n clea r   ex p ec tatio n s   f o r   s tu d en ts .   T h is   f in d in g   alig n s   with   p r io r   s tu d ies  em p h asizin g   t h at  s tan d ar d ized   ev alu atio n   in s tr u m en ts   en h a n ce   r eliab ilit y ,   f air n ess ,   an d   tr an s p ar en cy   in   ed u ca tio n al  a s s es s m en [ 3 ] ,   [ 3 1 ] .   W ith o u s y s tem atic  cr iter ia,   p r o to ty p ev alu atio n   b ec o m es  s u s ce p tib le  to   s u b jectiv ity   an d   lim ited   c o m p ar a b ilit y   ac r o s s   p r o g r a m s   an d   in s titu tio n s .   T h em er g e n ce   o f   th is   d o m ain   th er ef o r u n d e r s co r e s   th n ee d   f o r   a   s tr u ctu r e d   ev alu atio n   f r a m ewo r k   ca p a b le  o f   s u p p o r tin g   co n s is ten t a n d   d ef e n s ib le  ass ess m en t p r ac tices with in   teac h er   ed u ca tio n   co n tex ts   [ 2 ] .     3 . 4 .     Co ncept ua a lig n m ent   bet wee n desi g n t hin k ing   pro c ess es  a nd   ev a lua t io n c r it er ia   An o th er   d o m ain   em p h asized   t h n ee d   to   alig n   e v alu atio n   cr iter ia  with   th co r p r o ce s s es  o f   d esig n   th in k in g .   E x p er ts   o b s er v ed   th at  p r o to ty p es  ar f r eq u en tly   a s s es s ed   u s in g   o u tco m e - b ased   m ea s u r es  ty p ically   ass o ciate d   with   ac tio n   r esear c h   o r   ex p e r im en tal  s tu d ies,  wh ich   o v er l o o k   th iter ativ e   an d   ex p lo r at o r y   n atu r e   o f   d esig n   th in k in g .   Su ch   m is alig n m en ca n   lead   to   co n s tr u ct  u n d er r ep r esen tatio n   an d   in ac cu r ate  ju d g m en ts   o f   p r o to ty p q u ality .   E v alu atio n   liter atu r e   s tr ess es  t h at  ass ess m en cr iter ia  m u s r ef lect  th th eo r etica f o u n d atio n s   o f   th e   co n s tr u cts  b ein g   e v alu ated   [ 1 4 ] ,   [ 3 2 ] .   I n   d esig n   th i n k in g   co n tex ts ,   th is   in clu d es  r ec o g n izin g   em p ath y ,   id ea tio n ,   p r o to ty p in g ,   an d   iter ativ r ef in em e n as  k e y   in d icato r s   o f   q u ality .   I n d icato r s   d er iv ed   f r o m   th is   d o m ain   th er ef o r ca p tu r p r o ce s s   f id elity   an d   d ev elo p m en t al  p r o g r ess io n ,   en s u r in g   th at  ev alu atio n   p r ac tices   r em ain   th eo r etica lly   co h er e n an d   m eth o d o lo g ically   alig n ed   with   d esig n   th in k in g b ased   in q u ir y   [ 3 3 ] .     3 . 5 .     F e a s ibi lity ,   s us t a ina bil it y ,   a nd   co nte x t ua a da pta bil it y   o f   pro t o t y pes   E x p er ts   f u r t h er   em p h asized   th at  p r o to ty p ev alu atio n   s h o u l d   ex ten d   b ey o n d   im m e d iate  f u n ctio n ality   to   co n s id er   f ea s ib ilit y ,   s u s tain ab ilit y ,   an d   co n tex tu al  ad a p tab ilit y .   Pro to ty p es  th at  r eq u ir ex ce s s iv r eso u r ce s ,   s p ec ialized   ex p er tis e,   o r   n ar r o wly   d ef in ed   co n d itio n s   wer v iewe d   as  lim ited   in   ev alu ativ e   v alu e,   p ar ticu lar l y   in   teac h er   ed u ca tio n   c o n tex ts   wh er s ca lab ilit y   an d   lo n g - ter m   im p lem en tatio n   ar cr itical  co n s id er atio n s .   T h is   em p h asis   alig n s   with   ev alu a tio n   f r am ew o r k s   th at  p r io r iti ze   p r ac ticality ,   s u s tain ab ilit y ,   an d   u s ab ilit y   as  in d icato r s   o f   q u ality   ed u ca ti o n al  in n o v atio n s   [ 3 4 ] ,   [ 3 5 ] .   Fro m   an   ev alu atio n   p er s p ec t iv e,   f ea s ib ilit y   an d   ad ap tab ilit y   en h a n ce   b o t h   th u tili ty   an d   ex ter n al  v alid ity   o f   p r o to ty p es.  C o n s eq u en tly ,   i n d icato r s   ass o ciate d   with   th is   d o m ain   ass es s   r eso u r ce   r eq u ir em e n ts ,   im p lem en ta tio n   co n s tr ain ts ,   an d   th p o te n tial  f o r   ad ap tatio n   ac r o s s   d iv er s ed u ca tio n al  c o n tex ts   [ 3 6 ] .     3 . 6 .     De m o ns t ra t io n o f   re s ea rc a nd   pro f ess io na l c o m pet encies t hro ug h pro t o t y pes   Fin ally ,   ex p er ts   v iewe d   p r o to ty p es  as  in teg r ativ ev id en ce   o f   s tu d en ts   r esear ch   an d   p r o f ess io n al  co m p eten cies.  B ey o n d   ass ess i n g   th ar tifa ct   its elf ,   ev alu atio n   s h o u ld   ca p tu r th ex ten to   wh ich   p r o to ty p es  r ef lect  an aly tical  r ea s o n in g ,   th eo r etica g r o u n d in g ,   m et h o d o lo g ical  r ig o r ,   a n d   p r o f ess io n al  ju d g m en t.   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E xp ert - d erived   in d ica to r s   fo r   ev a lu a tin g   d esig n   th in kin g   p r o to typ es in   tea ch er e d u c a tio n   ( Ma r C r is   J.   Go )   2309   Par ticip an ts   em p h asized   th at  p r o to ty p es  s er v as  tan g ib le  m an if estatio n s   o f   s tu d en ts   ab ilit y   to   tr an s late  r esear ch   k n o wled g in to   p r ac t ice.   T h is   d o m ain   alig n s   with   co m p eten cy - b ased   ev alu atio n   ap p r o ac h es  th at  co n ce p tu al ize  s tu d en o u tp u ts   as  i n d icato r s   o f   u n d e r l y in g   c o g n itiv e   an d   p r o f ess io n al  s k ills   [ 3 7 ] ,   [ 3 8 ] .   B y   in c o r p o r atin g   c o m p eten c y - f o cu s ed   in d icato r s ,   p r o to ty p e   ev alu atio n   ex te n d s   b e y o n d   p r o d u ct  ass ess m en to   en co m p ass   lear n in g   o u tco m es  ce n tr al  to   teac h e r   ed u ca tio n .   T h is   s tr en g th en s   t h in ter p r etiv v alu o f   e v alu atio n   r e s u lts   an d   s u p p o r ts   alig n m en t w ith   p r o g r a m - lev el  lear n in g   o u tco m es [ 3 9 ] .     3 . 7 .     O pera t io na liza t io n o f   e v a lua t io n do ma ins   into   ind ic a t o rs   Fo llo win g   th em atic  an aly s is ,   th s ix   ev alu atio n   d o m ain s   wer s y s tem atica lly   o p er atio n alize d   in to   o b s er v ab le  an d   ass ess ab le  i n d icato r s   r ef lectin g   co r d i m en s io n s   o f   d esig n   th in k in g   p r o to ty p q u ality .   I n d icato r   d ev elo p m en was  d ir ec tly   g r o u n d e d   in   ex p er t   d i s co u r s an d   r ef in ed   th r o u g h   iter ativ r ev iew  to   en s u r co n ce p tu al  clar ity ,   n o n - r ed u n d a n cy ,   an d   alig n m e n with   estab li s h ed   p r in cip l es  o f   ed u ca tio n al  ev alu atio n .   B y   tr an s latin g   q u a litativ ex p er in s ig h ts   in to   s tr u ctu r ed   ev alu ativ e   cr iter ia,   t h is   p r o ce s s   p r o v id es   in itial  ev id en ce   o f   c o n ten t v alid ity ,   as  th r esu ltin g   in d icato r s   r ep r esen co n s en s u s - b ased   j u d g m e n ts   r eg ar d in g   ap p r o p r iate  s tan d ar d s   f o r   ass ess in g   d esig n   th in k in g   p r o to ty p es.   B ey o n d   co n ten r elev a n ce ,   th e   ex p licit  alig n m en o f   in d icato r s   with   th eo r etica lly   d ef i n ed   e v alu atio n   d o m ain s   s tr en g th en s   co n s tr u c co h er en ce   b y   en s u r in g   co n s is ten cy   b etwe en   th u n d er ly in g   co n s tr u cts  an d   th eir   o p er atio n al   r ep r esen tatio n .   Un lik e   co n v en tio n al  p r o to ty p e   ass ess m en ts   th at  em p h asize  o u tco m e   ef f ec tiv en ess   alo n e,   th p r o p o s ed   f r am ewo r k   in teg r ates  p r o b lem   alig n m en t,  o r ig in ality   s af eg u ar d s ,   p r o ce s s   f id elity ,   f ea s ib ilit y   co n s id er atio n s ,   an d   co m p eten cy   d e m o n s t r atio n   with in   u n if ied   e v alu at iv s tr u ctu r e.   T h is   in teg r ated   o p er atio n aliza tio n   ad d r ess es  th m eth o d o l o g ical   g ap   id en tifie d   in   th liter at u r e,   wh er d esig n   th in k in g   o u tp u ts   ar f r e q u en t ly   ass ess ed   u s in g   cr iter ia  m is alig n ed   with   th eir   iter ativ e   a n d   p r o b lem - d r iv en   n atu r e.   T o   s y n th esize  th e   p r o g r ess io n   f r o m   ex p e r ju d g m en t o   m ea s u r ab le  ev alu atio n   cr iter ia,   ea ch   d o m ain   was  m ap p ed   to   its   co r ev al u ativ f o c u s   an d   r ep r esen tati v in d icato r s .   T ab le  1   p r ese n ts   th is   s y n th esis ,   illu s tr atin g   h o ex p er t - d er iv e d   co n s tr u cts  wer tr an s f o r m ed   in to   an   in itial  in d icato r   p o o d esig n ed   to   s u p p o r t   s u b s eq u en co n ten v alid atio n ,   p ilo test in g ,   a n d   p s y ch o m etr ic  an aly s is .   As  s u m m ar ized   in   T ab le  1 ,     th d o m ain s   ca p tu r c o m p le m en tar y   y et  d is tin ct  d im en s i o n s   o f   p r o to ty p q u ality ,   c o llectiv ely   f o r m i n g     co h er en an d   th e o r etica lly   g r o u n d e d   f r am ewo r k   f o r   th s y s tem atic  ass e s s m en o f   d esig n   t h in k in g   o u tp u ts   in   teac h er   ed u ca tio n .   T h is   s tr u ct u r ed   o p er atio n aliza tio n   s tr en g th en s   tr an s p ar en c y ,   d ef en s ib ili ty ,   an d   co n s is ten cy   in   p r o to t y p ev alu atio n   wh il estab lis h in g   r o b u s f o u n d atio n   f o r   th d e v elo p m e n o f   s tan d ar d ize d   ass es s m en t in s tr u m en t.       T ab le  1 .   E x p er t - d er iv ed   e v alu atio n   d o m ai n s ,   co r e v alu ativ e   f o cu s ,   an d   s am p le  in d icato r s   f o r   d esig n   th i n k in g   p r o to ty p ass ess m en t   Ev a l u a t i o n   d o ma i n   C o r e   e v a l u a t i v e   f o c u s   S a mp l e   e v a l u a t i o n   i n d i c a t o r s   P r o b l e a l i g n m e n t   a n d   f u n c t i o n a l   r e l e v a n c e   A l i g n m e n t   b e t w e e n   i d e n t i f i e d   e d u c a t i o n a l   p r o b l e m   a n d   p r o t o t y p e   s o l u t i o n ;   r e sp o n si v e n e s t o   a u t h e n t i c   i n s t r u c t i o n a l   o r   i n s t i t u t i o n a l   n e e d s   Th e   p r o t o t y p e   a d d r e ss e a   c l e a r l y   a r t i c u l a t e d   a n d   r e s e a r c h - g r o u n d e d   e d u c a t i o n a l   p r o b l e m.   N o v e l t y ,   o r i g i n a l i t y ,   a n d   i n t e l l e c t u a l   p r o p e r t y   i n t e g r i t y   Ev i d e n c e   o f   i n n o v a t i o n   w h i l e   e n s u r i n g   e t h i c a l   d i f f e r e n t i a t i o n   f r o m   e x i s t i n g   t o o l s   o r   s o l u t i o n s   Th e   p r o t o t y p e   d e m o n st r a t e s   o r i g i n a l i t y   b e y o n d   e x i s t i n g   o r   c o mm o n l y   u se d   so l u t i o n s .   S t a n d a r d i z a t i o n   o f   e v a l u a t i o n   p r a c t i c e s   N e e d   f o r   c o n si s t e n t ,   t r a n s p a r e n t ,   a n d   d e f e n si b l e   e v a l u a t i o n   c r i t e r i a   a c r o ss e v a l u a t o r a n d   c o n t e x t s   Th e   p r o t o t y p e   c a n   b e   a ss e sse d   u si n g     a   sh a r e d   r u b r i c   o r   f r a m e w o r k .   A l i g n m e n t   w i t h   d e s i g n   t h i n k i n g   p r o c e ss e s   C o n si s t e n c y   b e t w e e n   e v a l u a t i o n   c r i t e r i a   a n d   t h e   i t e r a t i v e ,   p r o c e ss - o r i e n t e d   n a t u r e   o f   d e si g n   t h i n k i n g   Th e   p r o t o t y p e   r e f l e c t k e y   d e s i g n   t h i n k i n g   st a g e s   ( e . g . ,   e mp a t h y ,   i d e a t i o n ,   p r o t o t y p i n g ,   t e s t i n g ) .   F e a si b i l i t y ,   s u st a i n a b i l i t y ,   a n d   c o n t e x t u a l   a d a p t a b i l i t y   P r a c t i c a l i t y   o f   i m p l e me n t a t i o n ,   l o n g - t e r u se ,   a n d   a d a p t a b i l i t y   t o   d i f f e r e n t   e d u c a t i o n a l   c o n t e x t s   Th e   p r o t o t y p e   c a n   b e   i m p l e me n t e d   u si n g   a v a i l a b l e   i n st i t u t i o n a l   r e so u r c e s.   D e mo n st r a t i o n   o f   r e s e a r c h   a n d   p r o f e ss i o n a l   c o mp e t e n c i e s   Ex t e n t   t o   w h i c h   t h e   p r o t o t y p e   r e f l e c t s   r e s e a r c h   r i g o r   a n d   p r o f e ss i o n a l   j u d g me n t   Th e   p r o t o t y p e   d e mo n s t r a t e a n a l y t i c a l   r e a so n i n g   a n d   t h e o r e t i c a l   g r o u n d i n g .       4.   CO NCLU SI O N   T h is   s tu d y   d ev elo p e d   a n   ex p er t - in f o r m ed   ev alu atio n   f r a m ewo r k   f o r   ass ess in g   d esig n   th in k in g   p r o to ty p es  in   teac h er   ed u ca t io n ,   ad d r ess in g   th ab s en ce   o f   s y s tem atic  an d   th eo r y - a lig n ed   cr iter ia  f o r   ev alu atin g   d esig n - o r ie n ted   r e s ea r ch   o u tp u ts .   T h r o u g h   r ig o r o u s   th em atic  a n aly s is   o f   FGD   with   r esear ch   ad v is o r s   an d   p an el   m em b er s ,   s ix   in ter r elate d   ev al u atio n   d o m ain s   wer id e n tifie d   an d   tr an s lated   i n to   o b s er v ab le  i n d icato r s   r e p r ese n tin g   k e y   d im e n s io n s   o f   p r o to ty p q u ality ,   in clu d in g   r ele v an ce ,   o r ig in ality ,   p r o ce s s   f id elity ,   f ea s ib ilit y ,   s u s tain ab ilit y ,   an d   co m p eten cy   d em o n s tr atio n .   T h s y s tem atic  p r o g r ess io n   f r o m   ex p er j u d g m e n to   o p er atio n alize d   cr iter ia   p r o v id es  i n itial  ev id en ce   o f   c o n ten t   v alid ity   an d   estab lis h es    Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 3 0 5 - 2 3 1 2   2310   co h er en s tr u ct u r f o r   alig n i n g   ev alu atio n   p r ac tices  with   t h p r o b lem - d r iv en   a n d   iter ati v n atu r o f   d esig n   th in k in g .   B y   o f f e r in g   tr an s p ar en an d   d ef e n s ib le  b asis   f o r   p r o to ty p ass ess m en t,  th p r o p o s ed   f r am ewo r k   co n tr ib u tes  to   r ed u cin g   s u b je ctiv ity   in   ev alu atio n   an d   s tr en g th en in g   co n s is ten cy   ac r o s s   teac h er   ed u ca tio n   p r o g r a m s ,   wh ile  s u p p o r tin g   th ass es s m en o f   p r o t o ty p es  as  b o th   r esear ch   o u tp u ts   an d   p r o f ess io n al  lear n in g   ar tifa cts.  Me th o d o lo g ically ,   t h is   s tu d y   co n tr ib u tes  to   ev a lu atio n   s cien ce   b y   d em o n s tr atin g   h o ex p er t   q u alitativ ju d g m e n ca n   b s y s tem atica lly   tr an s lated   in to   d ef en s ib le  ev alu atio n   c r iter ia  f o r   d esig n - o r ien ted   r esear ch   o u tp u ts .   Fu tu r e   r esea r ch   s h o u ld   em p ir ically   v alid at th p r o p o s ed   in d icat o r s   th r o u g h   f o r m al   co n te n v alid atio n ,   p ilo im p lem en tatio n ,   a n d   p s y ch o m etr ic  a n aly s is   ac r o s s   d iv er s in s titu tio n al   co n tex ts   to   f u r t h er   estab lis h   r eliab ilit y ,   co n s tr u ct  v alid ity ,   an d   b r o a d er   a p p licab i lity .       ACK NO WL E DG M E N T S   T h au th o r s   s in ce r ely   th an k   t h r esear ch   ad v is o r s   an d   p an e m em b er s   wh o   p ar ticip ated   in   th FGD  an d   s h ar ed   th eir   ex p er tis an d   ev alu ativ in s ig h ts ,   wh ich   we r ess en tial  to   th d ev elo p m en o f   th ev alu atio n   d o m ain s   an d   in d icato r s .   T h a u th o r s   also   ac k n o wled g No r t h er n   B u k id n o n   State  C o lleg f o r   its   in s titu tio n al   s u p p o r t in   t h co n d u ct  o f   th is   r esear ch .       F UNDING   I NF O R M A T I O N   T h is   r esear ch   was  f u n d e d   b y   No r th er n   B u k i d n o n   State  C o lleg ( NB SC )   as  p ar o f   its   in s titu tio n al   r esear ch   an d   d ev elo p m en t in it iativ es.  No   ex ter n al  g r a n t f u n d in g   was in v o lv e d .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al   u s es  th C o n t r ib u to r   R o les  T a x o n o m y   ( C R ed iT)   to   r ec o g n ize   in d iv i d u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Ma r y   C r is   J .   Go                               J o v ely n   G .   Delo s a                               C h r is tin C .   R o y o                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   T h au th o r s   d ec lar n o   co m p etin g   f in an cial  o r   p er s o n al  i n ter ests   th at  co u ld   h av in f lu en ce d   th is   s tu d y .   T h e   f u n d in g   in s titu tio n   h ad   n o   r o le  in   th s tu d y   d esig n ,   d ata   co llectio n ,   an al y s is ,   in ter p r etatio n ,   m an u s cr ip t p r e p ar atio n ,   o r   d ec is io n   to   p u b lis h .       I NF O RM E CO NS E N T   I n f o r m ed   co n s en was  o b tain ed   f r o m   all  p ar ticip a n ts   p r io r   to   d ata  co llectio n .   Par ticip an ts   wer e   in f o r m e d   o f   th s tu d y s   p u r p o s e,   p r o ce d u r es,  v o lu n tar y   n a tu r e,   an d   th eir   r i g h to   with d r aw  with o u p en alty ,   in clu d in g   c o n s en t f o r   au d io   r e co r d in g   an d   t h u s o f   an o n y m ized   d ata  f o r   r esear ch   a n d   p u b licatio n .       E T H I CAL AP P RO V AL   T h s tu d y   was  co n d u cte d   in   ac co r d an ce   with   n atio n al   r eg u latio n s   an d   in s titu tio n al  p o li cies  an d   i n   co m p lian ce   with   th Dec lar a tio n   o f   Helsin k i.  E th ical  ap p r o v al  was  o b tain e d   f r o m   t h R esear ch   E th ics  C o m m ittee  o f   Dav ao   De  Or o   State  C o lleg p r io r   to   d ata  c o llectio n .           Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E xp ert - d erived   in d ica to r s   fo r   ev a lu a tin g   d esig n   th in kin g   p r o to typ es in   tea ch er e d u c a tio n   ( Ma r C r is   J.   Go )   2311   DATA AV AI L AB I L I T Y   T h d ata  s u p p o r tin g   t h f in d i n g s   o f   th is   s tu d y   ar a v ailab le  f r o m   th co r r esp o n d in g   a u th o r ,   [ MCJ G] ,   u p o n   r ea s o n ab le  r e q u est.  Du to   co n f id e n tiality   an d   p r i v a cy   co n s id er atio n s ,   th d atasets   ar n o p u b licly   av ailab le;  h o wev er ,   d er iv e d   d a ta  ar in clu d ed   with in   th ar tic le.       RE F E R E NC E S   [ 1 ]   D .   V l a c h o p o u l o s   a n d   A .   M a k r i ,   A   s y st e ma t i c   l i t e r a t u r e   r e v i e w   o n   a u t h e n t i c   a ss e ssm e n t   i n   h i g h e r   e d u c a t i o n :   b e s t   p r a c t i c e f o r   t h e   d e v e l o p me n t   o f   2 1 s t   c e n t u r y   sk i l l s,   a n d   p o l i c y   c o n s i d e r a t i o n s ,   S t u d i e i n   Ed u c a t i o n a l   Ev a l u a t i o n ,   v o l .   8 3 ,   p .   1 0 1 4 2 5 ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 1 6 / j . s t u e d u c . 2 0 2 4 . 1 0 1 4 2 5 .   [ 2 ]   E.   H u b e r   e t   a l . ,   T o w a r d a   f r a mew o r k   f o r   d e s i g n i n g   a n d   e v a l u a t i n g   o n l i n e   a ssess me n t i n   b u s i n e ss  e d u c a t i o n ,   Ass e ssm e n t   &   Ev a l u a t i o n   i n   H i g h e r   E d u c a t i o n ,   v o l .   4 9 ,   n o .   1 ,   p p .   1 0 2 1 1 6 ,   Ja n .   2 0 2 4 ,   d o i :   1 0 . 1 0 8 0 / 0 2 6 0 2 9 3 8 . 2 0 2 3 . 2 1 8 3 4 8 7 .   [ 3 ]   G .   T.   L.   B r o w n ,   T h e   p a s t ,   p r e se n t   a n d   f u t u r e   o f   e d u c a t i o n a l   a ss e ssm e n t :   a   t r a n s d i sci p l i n a r y   p e r sp e c t i v e ,   Fr o n t i e rs  i n   E d u c a t i o n v o l .   7 ,   p .   1 0 6 0 6 3 3 ,   N o v .   2 0 2 2 ,   d o i :   1 0 . 3 3 8 9 / f e d u c . 2 0 2 2 . 1 0 6 0 6 3 3 .   [ 4 ]   S .   M c K e n n e y   a n d   T.   R e e v e s ,   C o n d u c t i n g   e d u c a t i o n a l   d e si g n   res e a rc h ,   Lo n d o n :   R o u t l e d g e ,   2 0 2 0 ,   d o i :   1 0 . 4 3 2 4 / 9 7 8 0 2 0 3 8 1 8 1 8 3 .   [ 5 ]   M .   Z .   K a m a r u d i n   a n d   M .   S .   A .   M.   N o o r ,   W h a t   d o   w e   k n o w   a b o u t   t h e   sel e c t i o n   o f   a c t i o n   r e s e a r c h   m e t h o d o l o g i e i n   p r i m a r y   sci e n c e   e d u c a t i o n ?     A   sy s t e m a t i c   l i t e r a t u r e   r e v i e w ,   E d u c a t i o n a l   A c t i o n   R e se a rc h ,   v o l .   3 2 ,   n o .   5 ,   p p .   8 2 5 8 4 7 ,   O c t .   2 0 2 4 ,     d o i :   1 0 . 1 0 8 0 / 0 9 6 5 0 7 9 2 . 2 0 2 3 . 2 2 6 1 5 0 2 .   [ 6 ]   J.  Li e d t k a ,   P u t t i n g   t e c h n o l o g y   i n   i t p l a c e :   d e s i g n   t h i n k i n g so c i a l   t e c h n o l o g y   a t   w o r k ,”  C a l i f o rn i a   Ma n a g e m e n t   R e v i e w   v o l .   6 2 ,   n o .   2 ,   p p .   5 3 8 3 ,   F e b .   2 0 2 0 ,   d o i :   1 0 . 1 1 7 7 / 0 0 0 8 1 2 5 6 1 9 8 9 7 3 9 1 .   [ 7 ]   Z.   Y a n   a n d   D .   C a r l e ss ,   S e l f - a sses sm e n t   i a b o u t   m o r e   t h a n   s e l f :   t h e   e n a b l i n g   r o l e   o f   f e e d b a c k   l i t e r a c y ,   Asses sm e n t   & Ev a l u a t i o n   i n   H i g h e r E d u c a t i o n ,   v o l .   4 7 ,   n o .   7 ,   p p .   1 1 1 6 1 1 2 8 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 0 2 6 0 2 9 3 8 . 2 0 2 1 . 2 0 0 1 4 3 1 .   [ 8 ]   M .   W a k i d ,   H .   S o f y a n ,   A .   W i d o w a t i ,   a n d   A .   Z .   I l ma,   Le a r n i n g - o r i e n t e d   a ssessm e n t :   a   sy s t e m a t i c   l i t e r a t u r e   n e t w o r k   a n a l y s i s,   C o g e n t   E d u c a t i o n ,   v o l .   1 1 ,   n o .   1 ,   p p .   1 12 D e c .   2 0 2 4 ,   d o i :   1 0 . 1 0 8 0 / 2 3 3 1 1 8 6 X . 2 0 2 4 . 2 3 6 6 0 7 5 .   [ 9 ]   G .   O .   B o a t e n g ,   T.   B .   N e i l a n d s ,   E.   A .   F r o n g i l l o ,   H .   R .   M e l g a r - Q u i ñ o n e z ,   a n d   S .   L .   Y o u n g ,   B e st   p r a c t i c e f o r   d e v e l o p i n g   a n d   v a l i d a t i n g   sc a l e f o r   h e a l t h ,   s o c i a l ,   a n d   b e h a v i o r a l   r e s e a r c h :   a   p r i mer ,   F ro n t i e rs  i n   P u b l i c   H e a l t h ,   v o l .   6 ,   p.   1 4 9 J u n .   2 0 1 8 ,     d o i :   1 0 . 3 3 8 9 / f p u b h . 2 0 1 8 . 0 0 1 4 9 .   [ 1 0 ]   M .   S .   B .   Y u s o f f ,   A B C   o f   c o n t e n t   v a l i d a t i o n   a n d   c o n t e n t   v a l i d i t y   i n d e x   c a l c u l a t i o n ,   E d u c a t i o n   i n   M e d i c i n e   J o u rn a l ,   v o l .   1 1 ,     n o .   2 ,   p p .   4 9 5 4 ,   J u n .   2 0 1 9 ,   d o i :   1 0 . 2 1 3 1 5 / e i m j 2 0 1 9 . 1 1 . 2 . 6 .   [ 1 1 ]   T.   O .   N y u m b a ,   K .   W i l s o n ,   C .   J.   D e r r i c k ,   a n d   N .   M u k h e r j e e ,   T h e   u s e   o f   f o c u s   g r o u p   d i sc u ss i o n   me t h o d o l o g y :   i n si g h t s   f r o m   t w o   d e c a d e o f   a p p l i c a t i o n   i n   c o n ser v a t i o n ,   Me t h o d i n   E c o l o g y   a n d   Ev o l u t i o n ,   v o l .   9 ,   n o .   1 ,   p p .   2 0 3 2 ,   J a n .   2 0 1 8 ,     d o i :   1 0 . 1 1 1 1 / 2 0 4 1 - 2 1 0 X . 1 2 8 6 0 .   [ 1 2 ]   J.  W .   C r e sw e l l   a n d   V .   L.   P .   C l a r k ,   D e si g n i n g   a n d   c o n d u c t i n g   m i x e d   m e t h o d rese a rc h ,   3 r d   e d .   Th o u sa n d   O a k s,  C A :   S A G E   P u b l i c a t i o n s ,   I n c . ,   2 0 1 8 .   [ 1 3 ]   A .   S h o r t e n   a n d   J.   S mi t h ,   M i x e d   m e t h o d s   r e se a r c h :   e x p a n d i n g   t h e   e v i d e n c e   b a se,   Ev i d e n c e   B a se d   N u rs i n g ,   v o l .   2 0 ,   n o .   3 ,     p p .   7 4 7 5 ,   J u l .   2 0 1 7 ,   d o i :   1 0 . 1 1 3 6 / e b - 2 0 1 7 - 1 0 2 6 9 9 .   [ 1 4 ]   M .   K a n e ,   V a l i d a t i n g   sc o r e   i n t e r p r e t a t i o n s   a n d   u ses,   L a n g u a g e   T e st i n g ,   v o l .   2 9 ,   n o .   1 ,   p p .   3 1 7 ,   Ja n .   2 0 1 2 ,     d o i :   1 0 . 1 1 7 7 / 0 2 6 5 5 3 2 2 1 1 4 1 7 2 1 0 .   [ 1 5 ]   T.   A .   K y r i a z o s ,   A p p l i e d   p s y c h o me t r i c s:   s a mp l e   s i z e   a n d   sam p l e   p o w e r   c o n si d e r a t i o n i n   f a c t o r   a n a l y si s   ( EFA ,   C F A )   a n d   S E M   i n   g e n e r a l ,   Ps y c h o l o g y ,   v o l .   9 ,   n o .   8 ,   p p .   2 2 0 7 2 2 3 0 ,   2 0 1 8 ,   d o i :   1 0 . 4 2 3 6 / p sy c h . 2 0 1 8 . 9 8 1 2 6 .   [ 1 6 ]   E.   F o k i d e s ,   D e v e l o p m e n t   a n d   t e s t i n g   o f   a   sc a l e   f o r   e x a m i n i n g   f a c t o r s   a f f e c t i n g   t h e   l e a r n i n g   e x p e r i e n c e   i n   t h e   M e t a v e r s e ,   C o m p u t e rs   & E d u c a t i o n :   R e a l i t y ,   v o l .   2 ,   p .   1 0 0 0 2 5 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . c e x r . 2 0 2 3 . 1 0 0 0 2 5 .   [ 1 7 ]   A .   P e c h a r d   e t   a l . ,   D e v e l o p me n t   a n d   v a l i d a t i o n   o f   a   sca l e   t o   a ssess   st u d e n t s’   p e r c e p t i o n s o f   t e a f e e d b a c k   i n   c o l l a b o r a t i v e   t a sk s,”   Assessm e n t   & E v a l u a t i o n   i n   H i g h e r   E d u c a t i o n ,   v o l .   5 1 ,   n o .   2 ,   p p .   3 7 9 3 9 7 ,   F e b .   2 0 2 6 ,   d o i :   1 0 . 1 0 8 0 / 0 2 6 0 2 9 3 8 . 2 0 2 5 . 2 5 3 6 5 6 6 .   [ 1 8 ]   V .   B r a u n   a n d   V .   C l a r k e ,   O n e   si z e   f i t s a l l ?   W h a t   c o u n t s a q u a l i t y   p r a c t i c e   i n   ( r e f l e x i v e )   t h e ma t i c   a n a l y s i s?   Q u a l i t a t i v e   R e se a rc h   i n   Psy c h o l o g y ,   v o l .   1 8 ,   n o .   3 ,   p p .   3 2 8 3 5 2 ,   J u l .   2 0 2 1 ,   d o i :   1 0 . 1 0 8 0 / 1 4 7 8 0 8 8 7 . 2 0 2 0 . 1 7 6 9 2 3 8 .   [ 1 9 ]   L.   S .   N o w e l l ,   J.   M .   N o r r i s,   D .   E.   W h i t e ,   a n d   N .   J.   M o u l e s,   T h e ma t i c   a n a l y s i s:   st r i v i n g   t o   m e e t   t h e   t r u s t w o r t h i n e ss  c r i t e r i a ,   I n t e r n a t i o n a l   J o u r n a l   o f   Q u a l i t a t i v e   Me t h o d s ,   v o l .   1 6 ,   n o .   1 ,   p p .   1 13 D e c .   2 0 1 7 ,   d o i :   1 0 . 1 1 7 7 / 1 6 0 9 4 0 6 9 1 7 7 3 3 8 4 7 .   [ 2 0 ]   V .   B r a u n   a n d   V .   C l a r k e ,   R e f l e c t i n g   o n   r e f l e x i v e   t h e ma t i c   a n a l y s i s,   Q u a l i t a t i v e   Re se a rc h   i n   S p o rt ,   Ex e rci se  a n d   H e a l t h ,   v o l .   1 1 ,   n o .   4 ,   p p .   5 8 9 5 9 7 ,   A u g .   2 0 1 9 ,   d o i :   1 0 . 1 0 8 0 / 2 1 5 9 6 7 6 X . 2 0 1 9 . 1 6 2 8 8 0 6 .   [ 2 1 ]   G .   K o n st a n t i n o s,  T h e m a t i c   a n a l y s i s:   a   p r a c t i c a l   g u i d e   b y   V i r g i n i a   B r a u n   a n d   V i c t o r i a   C l a r k e ,   Lo s   A n g e l e s,   U S A ,   S a g e   P u b l i c a t i o n s ,   2 0 2 2 ,”  E u ro p e a n   J o u r n a l   o f   Psy c h o t h e ra p y   &   C o u n s e l l i n g ,   v o l .   2 6 ,   n o .   3 4 ,   p p .   4 6 1 4 6 4 ,   O c t .   2 0 2 4 ,   d o i :   1 0 . 1 0 8 0 / 1 3 6 4 2 5 3 7 . 2 0 2 4 . 2 3 9 1 6 6 6 .   [ 2 2 ]   L.   B i r t ,   S .   S c o t t ,   D .   C a v e r s ,   C .   C a mp b e l l ,   a n d   F .   W a l t e r ,   M e m b e r   c h e c k i n g ,   Q u a l i t a t i v e   H e a l t h   Re s e a r c h ,   v o l .   2 6 ,   n o .   1 3 ,     p p .   1 8 0 2 1 8 1 1 ,   N o v .   2 0 1 6 ,   d o i :   1 0 . 1 1 7 7 / 1 0 4 9 7 3 2 3 1 6 6 5 4 8 7 0 .   [ 2 3 ]   C .   O C o n n o r   a n d   H .   J o f f e ,   I n t e r c o d e r   r e l i a b i l i t y   i n   q u a l i t a t i v e   r e se a r c h :   d e b a t e a n d   p r a c t i c a l   g u i d e l i n e s ,”  I n t e r n a t i o n a l   J o u rn a l   o f   Q u a l i t a t i v e   M e t h o d s ,   v o l .   1 9 ,   p p .   1 13 Ja n .   2 0 2 0 ,   d o i :   1 0 . 1 1 7 7 / 1 6 0 9 4 0 6 9 1 9 8 9 9 2 2 0 .   [ 2 4 ]   W o r l d   M e d i c a l   A ss o c i a t i o n ,   W o r l d   med i c a l   a sso c i a t i o n   D e c l a r a t i o n   o f   H e l si n k i ,   J AM A ,   v o l .   3 1 0 ,   n o .   2 0 ,   p p .   2 1 9 1 2 1 9 4 ,   N o v .   2 0 1 3 ,   d o i :   1 0 . 1 0 0 1 / j a ma. 2 0 1 3 . 2 8 1 0 5 3 .   [ 2 5 ]   C .   R a p a n t a ,   L .   B o t t u r i ,   P .   G o o d y e a r ,   L.   G u à r d i a ,   a n d   M .   K o o l e ,   B a l a n c i n g   t e c h n o l o g y ,   p e d a g o g y   a n d   t h e   n e w   n o r ma l :     p o s t - p a n d e mi c   c h a l l e n g e f o r   h i g h e r   e d u c a t i o n ,   Po s t d i g i t a l   S c i e n c e   a n d   E d u c a t i o n ,   v o l .   3 ,   n o .   3 ,   p p .   7 1 5 7 4 2 ,   O c t .   2 0 2 1 ,     d o i :   1 0 . 1 0 0 7 / s 4 2 4 3 8 - 021 - 0 0 2 4 9 - 1.   [ 2 6 ]   S .   M c K e n n e y   a n d   T .   C .   R e e v e s,  E d u c a t i o n a l   d e si g n   r e se a r c h :   p o r t r a y i n g ,   c o n d u c t i n g ,   a n d   e n h a n c i n g   p r o d u c t i v e   s c h o l a r sh i p ,   Me d i c a l   E d u c a t i o n ,   v o l .   5 5 ,   n o .   1 ,   p p .   8 2 9 2 ,   J a n .   2 0 2 1 ,   d o i :   1 0 . 1 1 1 1 / me d u . 1 4 2 8 0 .   [ 2 7 ]   H .   S .   Y o u ,   S .   P a r k ,   J .   A .   M a r s h a l l ,   a n d   C .   D e l g a d o ,   I n t e r d i sc i p l i n a r y   sci e n c e   a ss e ssm e n t   o f   c a r b o n   c y c l i n g :   c o n s t r u c t   v a l i d i t y   e v i d e n c e   b a s e d   o n   i n t e r n a l   st r u c t u r e ,   Re se a rc h   i n   S c i e n c e   E d u c a t i o n ,   v o l .   5 2 ,   n o .   2 ,   p p .   4 7 3 4 9 2 ,   A p r .   2 0 2 2 ,     d o i :   1 0 . 1 0 0 7 / s 1 1 1 6 5 - 020 - 0 9 9 4 3 - 9.   [ 2 8 ]   T.   B r e t a g   e t   a l . ,   C o n t r a c t   c h e a t i n g   a n d   a ssess me n t   d e si g n :   e x p l o r i n g   t h e   r e l a t i o n sh i p ,   Asse ssm e n t   &   Ev a l u a t i o n   i n   H i g h e r   Ed u c a t i o n ,   v o l .   4 4 ,   n o .   5 ,   p p .   6 7 6 6 9 1 ,   J u l .   2 0 1 9 ,   d o i :   1 0 . 1 0 8 0 / 0 2 6 0 2 9 3 8 . 2 0 1 8 . 1 5 2 7 8 9 2 .   [ 2 9 ]   O .   L.   H o l d e n ,   M .   E.   N o r r i s ,   a n d   V .   A .   K u h l me i e r ,   A c a d e m i c   i n t e g r i t y   i n   o n l i n e   a ss e ssm e n t :   a   r e s e a r c h   r e v i e w ,”  Fro n t i e r i n   Ed u c a t i o n ,   v o l .   6 ,   p .   6 3 9 8 1 4 J u l .   2 0 2 1 ,   d o i :   1 0 . 3 3 8 9 / f e d u c . 2 0 2 1 . 6 3 9 8 1 4 .   [ 3 0 ]   R .   M u l e n g a   a n d   H .   S h i l o n g o ,   A c a d e mi c   i n t e g r i t y   i n   h i g h e r   e d u c a t i o n :   u n d e r s t a n d i n g   a n d   a d d r e ssi n g   p l a g i a r i sm ,”  A c t a   Pe d a g o g i a   Asi a n a ,   v o l .   3 ,   n o .   1 ,   p p .   3 0 4 3 ,   J a n .   2 0 2 4 ,   d o i :   1 0 . 5 3 6 2 3 / a p g a . v 3 i 1 . 3 3 7 .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 8 2 2   I n J   E v al  &   R es E d u c Vo l .   15 ,   No .   3 J u n e   20 2 6 :   2 3 0 5 - 2 3 1 2   2312   [ 3 1 ]   J.  Ta i ,   R .   A j j a w i ,   D .   B o u d ,   P .   D a w s o n ,   a n d   E.   P a n a d e r o ,   D e v e l o p i n g   e v a l u a t i v e   j u d g e m e n t :   e n a b l i n g   s t u d e n t t o   m a k e   d e c i si o n s   a b o u t   t h e   q u a l i t y   o f   w o r k ,   H i g h e r   Ed u c a t i o n ,   v o l .   7 6 ,   n o .   3 ,   p p .   4 6 7 4 8 1 ,   S e p .   2 0 1 8 ,   d o i :   1 0 . 1 0 0 7 / s1 0 7 3 4 - 017 - 0 2 2 0 - 3.   [ 3 2 ]   D .   C a r l e ss  a n d   D .   B o u d ,   Th e   d e v e l o p me n t   o f   s t u d e n t   f e e d b a c k   l i t e r a c y :   e n a b l i n g   u p t a k e   o f   f e e d b a c k ,   Ass e ssm e n t   E v a l u a t i o n   i n   H i g h e r E d u c a t i o n ,   v o l .   4 3 ,   n o .   8 ,   p p .   1 3 1 5 1 3 2 5 ,   N o v .   2 0 1 8 ,   d o i :   1 0 . 1 0 8 0 / 0 2 6 0 2 9 3 8 . 2 0 1 8 . 1 4 6 3 3 5 4 .   [ 3 3 ]   Y .   G a o ,   D e e p   l e a r n i n g - b a se d   st r a t e g i e f o r   e v a l u a t i n g   a n d   e n h a n c i n g   u n i v e r si t y   t e a c h i n g   q u a l i t y ,   C o m p u t e rs   a n d   E d u c a t i o n :   Art i f i c i a l   I n t e l l i g e n c e ,   v o l .   8 ,   p .   1 0 0 3 6 2 ,   J u n .   2 0 2 5 ,   d o i :   1 0 . 1 0 1 6 / j . c a e a i . 2 0 2 5 . 1 0 0 3 6 2 .   [ 3 4 ]   J.  v a n   d e r   Li n d e n ,   C .   v a n   d e r   V l e u t e n ,   L.   N i e u w e n h u i s,  a n d   T .   v a n   S c h i l t - M o l ,   F o r mat i v e   u se  o f   a s sessm e n t   t o   f o s t e r   se l f - r e g u l a t e d   l e a r n i n g :   t h e   a l i g n me n t   o f   t e a c h e r s’   c o n c e p t i o n a n d   c l a ssr o o a ssessme n t   p r a c t i c e s ,”  J o u r n a l   o f   Fo r m a t i v e   D e si g n   i n   L e a r n i n g ,   v o l .   7 ,   n o .   2 ,   p p .   1 9 5 2 0 7 ,   N o v .   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s4 1 6 8 6 - 023 - 0 0 0 8 2 - 8.   [ 3 5 ]   A .   H a r g r e a v e s,   W h a t   t h e   C O V I D - 1 9   p a n d e m i c   h a t a u g h t   u a b o u t   t e a c h e r a n d   t e a c h i n g ,   Fa c e t s ,   v o l .   6 ,   n o .   1 ,   p p .   1 8 3 5 1 8 6 3 ,   Jan .   2 0 2 1 ,   d o i :   1 0 . 1 1 3 9 / f a c e t s - 2 0 2 1 - 0 0 8 4 .   [ 3 6 ]   C .   D e l l Er a ,   S .   M a g i st r e t t i ,   C .   C a u t e l a ,   R .   V e r g a n t i ,   a n d   F .   Z u r l o ,   F o u r   k i n d o f   d e s i g n   t h i n k i n g :   f r o i d e a t i n g   t o   ma k i n g ,   e n g a g i n g ,   a n d   c r i t i c i z i n g ,   C r e a t i v i t y   a n d   I n n o v a t i o n   M a n a g e m e n t ,   v o l .   2 9 ,   n o .   2 ,   p p .   3 2 4 3 4 4 ,   J u n .   2 0 2 0 ,     d o i :   1 0 . 1 1 1 1 / c a i m. 1 2 3 5 3 .   [ 3 7 ]   M .   G r i f f i t h   a n d   C .   Le c h u g a - Ji me n e z ,   D e si g n   t h i n k i n g   i n   h i g h e r   e d u c a t i o n   c a se  s t u d i e s :   d i sc i p l i n a r y   c o n t r a st b e t w e e n   c u l t u r a l   h e r i t a g e   a n d   l a n g u a g e   a n d   t e c h n o l o g y ,”  E d u c a t i o n   S c i e n c e s ,   v o l .   1 4 ,   n o .   1 ,   p .   9 0 ,   J a n .   2 0 2 4 ,   d o i :   1 0 . 3 3 9 0 / e d u c sc i 1 4 0 1 0 0 9 0 .   [ 3 8 ]   C .   S .   R o ß n a g e l ,   K .   L .   B a i d o ,   a n d   N .   F i t z a l l e n ,   R e v i si t i n g   t h e   r e l a t i o n s h i p   b e t w e e n   c o n st r u c t i v e   a l i g n m e n t   a n d   l e a r n i n g   a p p r o a c h e s :   a   p e r c e i v e d   a l i g n m e n t   p e r sp e c t i v e ,   PLo S   O N E ,   v o l .   1 6 ,   n o .   8 ,   p .   e 0 2 5 3 9 4 9 ,   A u g .   2 0 2 1 ,     d o i :   1 0 . 1 3 7 1 / j o u r n a l . p o n e . 0 2 5 3 9 4 9 .   [ 3 9 ]   L.   D a r l i n g - H a m mo n d   e t   a l . Pre p a r i n g   t e a c h e rs  f o d e e p e r l e a rn i n g .   C a mb r i d g e ,   M A :   H a r v a r d   E d u c a t i o n   P r e ss ,   2 0 1 9 .       B I O G RAP H I E S O F   AUTH O RS       Ma r y   Cr is  J .   Go           is  a n   in stru c t o a No rth e rn   B u k i d n o n   S tate   Co ll e g e ,   P h il i p p i n e s.  S h e   h o ld s   a   P h . D.  i n   M a th e m a ti c Ed u c a ti o n   a n d   h a tau g h t   m a th e m a ti c a n d   p ro fe ss io n a e d u c a ti o n   c o u rse a th e   se c o n d a ry   a n d   tertiar y   lev e ls.  He re se a rc h   in tere sts   in c lu d e   m a th e m a ti c e d u c a ti o n ,   tea c h e e d u c a ti o n ,   e d u c a ti o n a tec h n o lo g y ,   a rti ficia l   in telli g e n c e   in   e d u c a ti o n ,   a ss e ss m e n a n d   e v a l u a ti o n ,   a n d   q u a li tativ e   a n d   m ix e d - m e th o d s   re se a rc h .   S h e   c a n   b e   c o n tac ted   a e m a il m jg o @n b sc . e d u . p h .         J o v e l y n   G .   De l o sa           is  a n   a ss o c iate   p ro fe ss o a n d   th e   v ice   p re sid e n fo Ac a d e m ic   Affa irs  o No rth e rn   Bu k i d n o n   S ta te  Co ll e g e ,   P h il ip p in e s.  S h e   h o ld s   a   P h . D.  in   E d u c a ti o n   fro m   Xa v ier  Un iv e rsit y Ate n e o   d e   Ca g a y a n   a n d   a   M a ste o Arts  in   Ed u c a ti o n   f ro m   t h e   Un iv e rsit y   o Ad e laid e ,   Au stra li a ,   wit h   sp e c i a li z a ti o n   i n   m e a su re m e n t,   a ss e ss m e n t,   a n d   re se a rc h   m e th o d s.   S h e   h a e x ten si v e   e x p e rien c e   i n   tea c h e e d u c a ti o n ,   e d u c a ti o n a lea d e rsh ip ,   a ss e ss m e n a n d   e v a lu a ti o n ,   c u rricu l u m   d e v e lo p m e n t,   a n d   re se a rc h   s u p e rv isi o n   a b o t h   u n d e rg ra d u a te  a n d   g ra d u a te  lev e ls.  He sc h o larly   wo rk   f o c u se o n   e d u c a ti o n a l   m e a su re m e n t,   re se a rc h   se lf - e ffica c y ,   a ss e s sm e n li tera c y ,   a n d   e v a lu a ti o n   p ra c ti c e in   tea c h e e d u c a ti o n .   S h e   c a n   b e   c o n tac ted   a e m a il :   jg d e lo sa @n b s c . e d u . p h .         Christin e   C .   R o y o           is  a   se n i o fa c u lt y   m e m b e a n d   a c a d e m i c   a d m in istrato r   a t   No rth e rn   Bu k i d n o n   S tate   C o ll e g e ,   P h il ip p i n e s.  S h e   h o l d a   P h . D.   in   S c ien c e   Ed u c a ti o n   wit h   sp e c ializa ti o n   i n   Ch e m istry   fro m   th e   Un i v e rsity   o f   S c ien c e   a n d   T e c h n o l o g y   i n   th e   S o u th e r n   P h il i p p i n e s.  S h e   h a s e x ten siv e   e x p e rien c e   in   tea c h e e d u c a ti o n ,   re s e a rc h   su p e rv isio n ,   a c a d e m ic  lea d e rsh ip ,   a n d   q u a li t y   a ss u ra n c e ,   h a v i n g   se rv e d   i n   v a rio u i n str u c ti o n a a n d   a d m in istrati v e   ro les   in   h ig h e e d u c a ti o n .   He re se a rc h   in tere sts  in c lu d e   sc ien c e   e d u c a ti o n ,   tea c h e r   e d u c a ti o n ,   e d u c a ti o n a l   e v a lu a ti o n ,   in st it u t i o n a e ffe c ti v e n e ss ,   a n d   a ss e ss m e n p ra c ti c e in   h ig h e e d u c a ti o n .   S h e   h a a c ti v e ly   p a rti c ip a ted   in   n a ti o n a a n d   in tern a ti o n a re se a rc h   c o n fe re n c e a n d   in stit u ti o n a re se a rc h   in it iati v e s.  S h e   c a n   b e   c o n tac ted   a e m a il :   c c ro y o @n b sc . e d u . p h .     Evaluation Warning : The document was created with Spire.PDF for Python.