I nd o ne s ia J o urna l o f   E lect rica l En g ineering   a nd   Co m pu t er   Science   Vo l.   39 ,   No .   2 A u g u s t   2 0 2 5 ,   p p .   1 035 ~ 1 0 5 2   I SS N:  2 5 0 2 - 4 7 5 2 ,   DOI : 1 0 . 1 1 5 9 1 /ijeecs.v 39 .i 2 . p p 1 0 3 5 - 1 0 5 2          1035     J o ur na l ho m ep a g e h ttp : //ij ee cs.ia esco r e. co m   Dev ising  t he m - le a rning  f ra mewo r k f o r en ha ncing  s tudent s'   co nfidence  t hro u g ex pe rt   co nse nsus       T eik   H eng   Su n 1 ,2 ,   M uh a m m a d M o di L a k ulu 1 ,   No o Ani da   Z a ria   M o hd   No o r 1   1 F a c u l t y   o f   C o mp u t i n g   a n d   M e t a - Te c h n o l o g y ,   S u l t a n   I d r i s E d u c a t i o n   U n i v e r si t y P e r a k ,   M a l a y s i a   2 F a c u l t y   o f   I n f o r m a t i o n   a n d   C o mm u n i c a t i o n   T e c h n o l o g y ,   T u n k u   A b d u l   R a h ma n   U n i v e r s i t y P e r a k ,   M a l a y si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Sep   1 2 0 2 4   R ev is ed   Mar   19 2 0 2 5   Acc ep ted   J u l   1 2 0 2 5       P a st  re se a rc h   h a sh o w n   t h e   re latio n sh ip   b e twe e n   se lf - re g u late d   lea rn i n g   (S RL)  a n d   a c a d e m ic  su c c e ss .   S e lf - re g u late d   lea rn e rs  will   m o n it o r   th e ir   lea rn in g ,   re flec o n   wh a t   th e y   h a v e   lea rn t,   a d ju st   t h e ir  lea rn i n g   stra teg ies   a c c o rd in g l y ,   a n d   re p e a th is   e n ti re   p ro c e ss   t h ro u g h o u th e ir  lea rn in g .   Th e   a b il it y   to   p e rfo rm   S RL  will   re q u ire  th e   in d iv i d u a l   to   h a v e   t h e   b e li e a n d   c o n fid e n c e   in   h is/h e c a p a c it y   to   su c c e e d   a n d   a c c o m p li sh   th e   tas k s.  Th e re fo re ,   t h is  stu d y   a ims   to   d e v ise   a   m o b il e   lea rn in g   ( m - lea rn in g )   fra m e wo rk   fo e n h a n c i n g   t h e   st u d e n ts’  c o n fi d e n c e .   To   a c h iev e   th is,  t h e   F u z z y   De lp h m e th o d   wa u se d   to   v a li d a te  t h e   p r o p o se d   fra m e wo rk   w h e re   th e   su r v e y   q u e sti o n n a ire  wa d ist rib u te d   t o   2 1   e x p e rts  w h o   a re   th e   e x p e rts  i n   th e ir  re sp e c ti v e   field s   fo r   t h e ir  c o n se n su t o   b e   o b tain e d .   C o n se n su sh o we d   th a a ss e ss m e n d a ta”   c a n   in d i c a te  th e   stu d e n ts’  c o n fi d e n c e   wh e n   t h e y   a tt e m p th e   a ss e ss m e n t.   Ex p e rts  o p in e d   t h a g o a e x p e c tatio n ,   a n d   v iew e d   les so n s,  c h a p ters ,   o s y ll a b u s”   e x e rt  th e   m o st  in fl u e n c e   o n   t h e   stu d e n ts’   c o n fid e n c e   wh e n   th e y   a tt e m p t h e ir  a ss e s sm e n t.   Th e re   wa stro n g   c o n se n su s   fro m   e x p e rts  t h a d a ta  se c u rit y   is  th e   m o st  imp o rtan e lem e n i n   t h e   sy ste m   in fra stru c tu re ,   a n d   th e   te x m i n in g   tec h n i q u e   e l e m e n t   c a n   b e   u se d   to   e v a lu a te t h e   stu d e n ts’  c o n fi d e n c e .   K ey w o r d s :   Activ ity   th eo r y   Fu zz y   Delp h i   m eth o d   L ea r n in g   a n aly tics   Mo b ile  lear n in g   Self - co n f id en ce   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Mu h am m ad   M o d i L ak u lu   Facu lty   o f   C o m p u tin g   an d   Me ta - T ec h n o lo g y ,   U n iv er s iti Pen d id ik an   Su ltan   I d r is   Per ak ,   Ma lay s ia    E m ail:  m o d i@ m eta. u p s i.e d u . m y       1.   I NT RO D UCT I O N   S e l f - c o n f i d e n c e   r e f e r s   t o   a n   i n d i v i d u a l s   b e l i e f   i n   t h ei r   a b il i t y   t o   s u c c ess f u l l y   c o m p l e t e   t a s k s   a n d   a c h i e v e   g o a l s .   R es e a r c h   s u g g es ts   t h a t   s e l f - c o n f i d e n c e   h as   a   s i g n i f i c a n t   i m p a c t   o n   a c a d e m ic   a c h i e v e m e n t ,   a n d   a c a d e m i c   s u c ce s s ,   i n   t u r n ,   r e i n f o r c e s   s e l f - c o n f i d e n c e   [ 1 ] ,   [ 2 ] .   S t u d e n t s   w it h   h i g h e r   c o n f i d e n c e   l e v e l s   a r e   m o r l i k e l y   t o   e n g a g i n   l ea r n i n g   a n d   e m b r a c e   c h a l le n g e s .   T h e   c o g n i t i v e   as p e c t   o f   s e l f - c o n f i d e n c p l a y s   a   c r u c i a l r o le  i n   l e a r n i n g   a n d   c a n   b e   a s s es s e d   t h r o u g h   s e l f - r e p o r t   q u e s t i o n n ai r e s   o r   p e r f o r m a n c e - b a s e d   e v alu a t i o n s .   I n   c o n t r as t ,   e p i s t e m i c   c o n f i d e n c e   r e f e r s   t o   a n   i n d i v i d u a l ' s   c e r t a i n t y   r e g a r d i n g   t h e   a c c u r a c y ,   v a l i d i t y ,   a n d   r e l i a b i l i t y   o f   t h e i r   k n o w l e d g e .   T h i s   f o r m   o f   c o n f i d e n c e   i s   p a r t i c u l a r l y   i m p o r t a n i n   d e c i s i o n - m a k i n g   a n d   p r o b l e m - s o l v i n g .   S e v e r al  t o o l s   e x is t   f o r   m e as u r i n g   g e n e r a l   s e l f - c o n f i d e n c e ,   i n c l u d i n g   th e   p e r s o n a l   e v a l u a ti o n   i n v e n t o r y   ( P E I )   d e v e l o p e d   b y   S h r a u g e r   a n d   S c h o h n   [ 3 ] ,   A g n i h o t r i s   s el f - c o n f i d e n c e   i n v e n t o r y   ( A S C I )   [ 4 ] ,   a n d   t h e   P a n d e y   s e l f - c o n f i d e n c e   i n v e n t o r y   ( P SC I )   [ 5 ] .   H o w e v er ,   t h e s e   i n s t r u m e n ts   a s s es s   c o n f i d e n c e   i n   p e r s o n a l   a b il i ti e s   r at h e r   t h a n   e p i s te m i c o n f i d e n c e ,   w h i c h   r e l a te s   t o   ce r t a i n t y   i n   o n e' s   k n o w l e d g e .   C o n f i d e n c e - b a s e d   m a r k i n g   ( C B M )   i s   a n   a p p r o a c h   t h a t   e n c o u r a g e s   s t u d e n ts   t o   a s s e s s   t h e   a c c u r a c y   o f   t h e i r   a n s we r s   b y   r e w a r d i n g   t h e m   f o r   a p p r o p r i a t e l y   c a l i b r a te d   c o n f i d e n c e .   T h i s   m e t h o d   f o s te r s   s e l f - r e f l e ct i o n   a n d   m e ta co g n i t i v e   a w a r e n ess ,   w h i c h   a r e   c l o s el y   l i n k e d   t o   e p i s t e m i c   c o n f i d e n c e   [ 6 ] .   A n o t h e r   t o o l ,   t h e   m e t a c o g n i ti v e   aw a r e n e s s   i n v e n t o r y   ( MA I ) ,   d ev e l o p e d   b y   S c h r a a n d   D e n n i s o n   [ 7 ] ,   e v a l u a t e s   m e t a c o g n i t i v e   a w a r e n ess ,   i n c l u d i n g   s e l f - r e g u l a ti o n   a n d   c o n f i d e n c e   i n   o n e s   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   2 ,   Au g u s 20 25 1 0 3 5 - 1 052   1036   k n o w l e d g e .   H o w e v e r ,   i t   is   n o t   e x p l i c i t l y   d es i g n e d   t o   m e a s u r e   e p i s t e m i c   c o n f i d e n c e .   D es p i te   t h e   a v a i l a b i li t y   o f   s e l f - r e p o r t   m e a s u r es ,   a s s es s i n g   e p i s t e m i c   c o n f i d e n c e   r e m a in s   c h a l l e n g i n g ,   a s   s o m e   i n d iv i d u a l s   m a y   e x h i b it  o v e r c o n f i d e n c e ,   w h i l o t h e r s   m a y   u n d e r e s t i m at e   t h e i r   k n o w le d g e .   T h e s e   b i a s e s   h i g h l i g h t   t h e   n e e d   f o r   o b j e c ti v a n d   r e l i a b l e   as s e s s m e n t   m e t h o d s   t o   m e a s u r e   e p i s t e m i c   c o n f i d e n c e   a c c u r a t e l y .   T h i s   s t u d y   a i m s   t o   d e v e l o p   a n   m - l e a r n i n g   f r a m e w o r k   t o   e n h an c e   s t u d e n ts   c o n f i d e n c e .   T h e   f r a m e w o r k   i s   b a s e d   o n   E n g e s t r ö m s   [ 8 ]   e x t e n d e d   a c t i v i t y   s y s t e m   a n d   i s   v a l i d a t e d   u s i n g   t h e   f u z z y   D e l p h i   m e t h o d   ( F D M ) .   E n g e s t r ö m s   e x t e n d e d   a c ti v i ty   s y s t e m   e x p a n d s   u p o n   a c t iv i t y   t h e o r y   ( A T ) ,   o r i g i n a l l y   i n t r o d u c e d   b y   L e v   V y g o t s k y ,   l at e r   d e v el o p e d   i n to   a   c o n c e p t u al   f r a m ew o r k   b y   A l e k s e L e o n t e v ,   a n d   s u b s eq u e n t l y   e x t e n d e d   b y   E n g e s t r ö m   [ 9 ] .   E n g e s t r ö m s   [ 9 ]   e x t e n d e d   a c t i v i t y   s y s t e m   c o n s i s ts   o f   s i x   c o m p o n e n t s ,   w h o s e   i n t e r a ct i o n s   p r o d u c e   t h e   o u t c o m e .   T h e s e   c o m p o n e n t s   a r e   t o o l s ,   “s u b je c t ,   r u l es ,   c o m m u n i t y ,   d i v i s i o n   o f   l a b o u r ,   a n d   o b j e c t .   T h e   s u b j e c t   r e f e r s   t o   a n   i n d i v i d u al   o r   g r o u p   e n g a g e d   i n   t h e   a c t i v it y ,   w h i l t h e   o b j e c t ”  r e p r e s e n t s   t h e   g o a l   o r   p r o b l e m   s p a c e ,   w h i c h   is   t r a n s f o r m e d   i n to   t h e   o u t c o m e .   T h e   s u b j e c t”   u t i l i z es   t o o ls   t o   a c h i e v e   o b j e c t i v es ,   w i t h   t h e   e n t i r e   s y s t e m   g o v e r n e d   b y   r u l e s .   T h e   c o m m u n i t y   c o n s is t s   o f   i n d i v i d u a ls   s h a r i n g   a   c o m m o n   o b j e c t   a n d   c o n t r i b u t i n g   t o   t h e   a c t i v i t y ,   w h i l e   t h e   d i v i s i o n   o f   l a b o u r   d e f i n e s   t h e   d i s t r i b u t i o n   o f   t a s k s   b as e d   o n   r o l e s   a n d   r el a t i o n s h i p s   wi t h i n   t h e   c o m m u n i t y .   T h e   f r a m e w o r k   d e v i s e d   in   t h i s   s t u d y   t h a t   i s   b a s e d   o n   E n g e s t r ö m s   e x t e n d e d   a c t i v i t y   s y s t e m   is   s h o w n   in   F i g u r e   1 .   I n   t h e   d e v i s e d   f r a m e w o r k ,   t h e   t o o l s ”  c o m p o n e n t   i s   r e v is e d   t o   t e c h n o l o g y   e n a b l e r ,   w h i l t h e   o b j e c t   c o m p o n e n t   is   r e n a m e d   o b j e c t i v e   t o   a li g n   w i t h   c o u r s e   le a r n i n g   o u t c o m es .   T h e   f r a m e w o r k   is   c e n t e r e d   a r o u n d   t h e   c o n f i d e n c e   m o d e l,   w h i c h   c o m p r i s es  a s s e s s m e n t   d at a ,   ac t i v it y   a n d   m i s c el l a n e o u s   d at a ,   a n d   o u t p u t .   T h e s c o m p o n e n t s   r e l y   o n   m a c h i n l e a r n i n g   a n d   d a t a   a n a l y s is   f o r   a s s es s m e n t   a n al y t i cs .   T h e   e l e m e n ts   w i t h i n   t h e   o b j e ct i v e   c o m p o n e n t   v a r y   d e p e n d i n g   o n   t h e   c o u r s e   i m p l em e n t i n g   t h e   f r a m e w o r k ,   a s   e a ch   c o u r s e   h a s   it s   o w n   l e a r n i n g   o u t c o m e s .   T h e   F D M   h a s   b e e n   w i d e l y   u s ed   i n   e x i s t i n g   s t u d i es   t o   d e t e r m in e   c o n s e n s u s   a m o n g   e x p e r t s   an d   v a l i d a t e   r e s e a r c h   e le m e n ts .   F o r   i n s t a n ce ,   F D M   w as   u s e d   t o   e v a l u a t e x p e r t   c o n s e n s u s   o n   t h e   u s a b i li t y   a n d   r e l e v a n c e   o f   t h e   s c h o o l   l e a d e r s '   c o m p e t e n ci e s   i n   d a t a - d r i v e n   d e ci s i o n   m a k i n g   ( S L C 3 DM )   m o d e l .   T h e   s t u d y   p u r s u e d   t w o   p r i m a r y   o b j e c t i v e s :   f i r s t ,   t o   e x a m i n e   t h e   v a l i d i t y   a n d   u t i li t y   o f   t h e   m o d e l ' s   c o m p e t e n c y   c o m p o n e n t s ;   a n d   s e c o n d ,   t o   d e t e r m i n e   t h e   o v e r a l l   a p p li ca b i l i t y   o f   t h e   f r a m e w o r k   [ 1 0 ] .   S i m i la r l y [ 1 1 ]   u s e d   F D M   t o   r e a c h   a   c o n s e n s u s   o n   t h e   r o l e   o f   t h e   s c h o o l   e n v i r o n m e n t   a n d   c l a s s r o o m   m a n a g e m e n t   i n   p r e - s c h o o l e r s   m o r a l   d e v e l o p m e n t .   M a s n a n   e a l .   [ 1 1 ]   v a l i d a t e d   a n d   d e t e r m i n e d   k e y   i t e m s   t h r o u g h   a   s u r v e y   i n s t r u m e n t   a n a l y z e d   b y   a n   e l e v e n - m e m b e r   e x p e r t   p a n e l ,   a i m i n g   t o   es t a b l is h   a g r e e m e n t   o n   t h e   i m p o r t a n c e   o f   t h e   p h y s i ca l   s c h o o l   e n v i r o n m e n t   a n d   c l ass r o o m   m a n a g e m e n t   i n   f o s t e r i n g   h e a lt h y   m o r a l   d e v e l o p m e n t   i n   p r e s c h o o l   c h i l d r e n .   FD M   h a s   al s o   b e e n   a p p l i e d   i n   v a r i o u s   o t h e r   s t u d i es .   F o r   e x am p l e ,   [ 1 2 ]   u t i li z e d   F D M   t o   id e n t i f y   e s s e n ti a l   el e m e n ts   f o r   a n   o n l i n e   p r o b l e m - b a s e d   l e a r n i n g   m o d u l e   i n   a n   I s l a m i c   s t u d i es   c o u r s e .   I n   a n o t h e r   s t u d y ,   [ 1 3 ]   e m p l o y e d   F D M   t o   v a l i d a t e   t h e   d e s i g n   o f   a   S p a n i s h - l a n g u a g e   q u es t i o n n a i r e   o n   t h e   " q u a l i t y   o f   d y i n g   i n   l o n g - t e r m   c a r e "   b y   o b t a i n i n g   e x p e r t   c o n s e n s u s   t h r o u g h   f u z z y   o p i n i o n s .   A d d i t i o n a l l y ,   [ 1 4 ]   a p p l i e d   F D M   t o   d e t e r m i n e   t h e   k e y   f a c t o r s   a n d   i t e m s   t o   b e   i n c l u d e d   i n   a   f r a m e w o r k   f o r   e v a l u a t i n g   t h e   s u c c e s s   o f   m - g o v e r n m e n t   s e r v i c e s   i n   M a l a y s i a .   F u r t h e r m o r e ,   [ 1 5 ]   u s e d   F D M   t o   v a l i d a t e   t h e   e s s e n t i a l   c o m p e t e n c i e s   t h a t   p r o g r a m m i n g   t e a c h e r s   s h o u l d   p o s s e s s   t o   e f f e c t i v e l y   t e a c h   s t u d e n t s   t h e   p r i n c i p l e s   o f   p r o g r a m m i n g .   T h e   p o p u l a r i t y   o f   F D M   s t e m s   f r o m   i t s   a b i l i t y   t o   h a n d l e   u n c e r t a i n t i e s ,   p r o v i d e   s t r o n g e r   c o n s e n s u s - b u i l d i n g   a m o n g   e x p e r t s ,   o f f e r   f l e x i b i l i t y   i n   e x p r e s s i n g   o p i n i o n s ,   r e d u c e   s e n s i t i v i t y   t o   o u t l i e r   r e s p o n s e s ,   a n d   e n a b l e   q u a n t i t a t i v e   a n a l y s i s   o f   f u z z y   o p i n i o n s .           Fig u r e   1 .   T h d e v is ed   f r am ew o r k   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Dev is in g   th m - lea r n in g   fr a m ewo r fo r   en h a n cin g   s tu d e n ts co n fid en ce   th r o u g h   ex p ert     ( Teik  Hen g   S u n )   1037   T h is   p ap er   is   s tr u ctu r ed   as  f o llo ws.  Sectio n   2   p r o v id es  d etailed   ex p lan atio n   o f   th m e th o d o lo g y   em p lo y ed   in   th is   s tu d y ,   o u tlin in g   th e   k ey   ap p r o ac h es  a n d   tech n iq u es  u s ed   f o r   d ata  c o llectio n   an d   an aly s is .   Sectio n   3   p r esen ts   th r esu lts ,   h ig h lig h tin g   th s i g n if ica n f in d in g s .   Sectio n   4   o f f er s   co m p r eh en s iv e   d is cu s s io n   o f   th f in d in g s ,   in ter p r etin g   th eir   r elev a n ce   in   th co n tex o f   ex is tin g   liter atu r an d   s u g g esti n g   p o s s ib le  d ir ec tio n s   f o r   f u tu r e   r esear ch .   I m p licatio n s   an d   p o ten tial  ap p licatio n s   ar also   d is cu s s ed   in   th is   s ec tio n .   Fin ally ,   s ec tio n   5   s u m m ar izes th k ey   c o n clu s io n s   o f   th is   s tu d y .       2.   M E T H O D   T h d e v elo p m e n o f   th f r am ewo r k   f o llo wed   f iv d is tin ct  p h ases an aly s is ,   d esig n ,   d e v elo p m en t,   im p lem en tatio n ,   an d   ev alu ati o n .   T o   estab lis h   ex p er co n s en s u s   a n d   v alid ate  th f r am ew o r k   co m p o n e n ts   an d   elem en ts ,   th FDM  was  em p l o y ed .   FDM  is   an   en h a n ce d   v e r s io n   o f   th e   tr ad itio n al  Delp h i   m eth o d ,   in teg r atin g   f u zz y   s et  th e o r y   wh ile  m ain t ain in g   its   f o u n d atio n al  p r in ci p les.  T h is   ap p r o ac h   en s u r es  m o r e   r o b u s an d   s y s tem atic  co n s en s u s - b u ild in g   p r o ce s s   am o n g   e x p er ts .   T h e   co n v en tio n al  Delp h m eth o d ,   wh ile  wid ely   u s ed ,   is   o f ten   tim e - in ten s iv an d   co s tly   d u to   its   r eq u ir em en f o r   m u ltip le  r o u n d s   o f   e x p er f ee d b ac k   to   r ea c h   a   co n s en s u s .   I n   co n tr ast,  FDM  r ef in es  th is   p r o ce s s   b y   lev er ag in g   f u zz y   n u m b e r   s ets,  en ab lin g   m o r ef f icien t   an d   s tr u ctu r e d   d ec is io n - m ak in g   f r am ew o r k   [ 1 6 ] .   T h s u m m ar y   f o r   ea c h   p h ase  o f   t h f r am ewo r k   d e v elo p m e n t   is   g iv en   in   Fig u r e   2 .           Fig u r e   2 .   Ph ases   in v o l v ed   in   d ev is in g   th f r am ew o r k       2 . 1 .     Ana ly s is   ph a s e   Du r in g   th an aly s is   p h ase,   T E ( 1 0 )   ex is tin g   f r am ewo r k s   an d   m o d els  wer s elec ted   f o r   th o r o u g h   an aly s is   an d   s y n th esis .   T h e   elem en ts   f o r   th e   p r o p o s ed   f r am ewo r k   wer ex t r ac ted   f r o m   th e   ex is tin g   f r am ewo r k s   an d   m o d els.  T h l iter atu r es f o r   th f r a m ewo r k s   an d   m o d els ar lis ted   b elo w:   a)   “L ea r n in g   a n aly tics   f r am ewo r k   f o r   e d u ca tio n al  v ir tu al  wo r ld s ”  [ 1 7 ] .   b)   “An   ass ess m en t a n aly tics   f r am ewo r k   ( AAF)   f o r   en h an cin g   s tu d en ts   p r o g r ess ”  [ 1 8 ] .   c)   “A  f r am ewo r k   f o r   lear n in g   an aly tics   in   M o o d le  f o r   ass ess in g   c o u r s e ”  [ 1 9 ] .   d)   “L et’ s   talk   lear n in g   a n aly tics : a   f r am ewo r k   f o r   im p lem en tati o n   in   r elatio n   to   s tu d e n t r eten t io n ”  [ 2 0 ] .   e)   “De v elo p in g   lear n in g   a n aly tic s   d esig n   k n o wled g in   th Mid d le  Sp ac e’ th s tu d e n t tu n in g   m o d el  a n d   alig n   d esig n   f r am ewo r k   f o r   le ar n in g   a n aly tics   u s e ”  [ 2 1 ] .   f)   “Ass es s m en an aly tic  th eo r etica l f r am ewo r k   b ased   o n   lear n e r s   co n tin u o u s   lear n in g   im p r o v em en t ”  [ 2 2 ] .   g)   “A  co m p lete  v alid ated   lea r n in g   an aly tics   f r am ewo r k : d esig n in g   is s u es f r o m   d ata  p r ep ar ati o n   p er s p ec tiv e ”  [ 2 3 ] .   h)   “Usin g   d esig n - b ased   r esear c h   to   d ev elo p   m o b ile  lear n in g   f r am ewo r k   f o r   ass ess m en t f ee d b ac k ”  [ 2 4 ] .   i)   “An   o n to lo g y b ased   f r am ewo r k   o f   ass ess m en t a n aly tics   f o r   m ass iv lear n in g ”  [ 2 5 ] .   j)   “T em p o r al  lear n in g   a n aly tics   f o r   co m p u ter   b ased   test in g ”  [ 2 6 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   2 ,   Au g u s 20 25 1 0 3 5 - 1 052   1038   2 . 2 .     Desig n pha s e   Du r in g   t h d esig n   p h ase,   th e   f r am ewo r k   was  d esig n ed   b ased   o n   E n g eströ m s   ex ten d ed   ac tiv ity   s y s tem .   E lem en ts   co r r esp o n d i n g   to   ea ch   co m p o n en o f   th e   f r am ewo r k   wer id en tifie d   t h r o u g h   liter atu r r ev iew,   as  o u tlin ed   in   T ab le  1   ( in   Ap p e n d ix ) .   r esear ch   in s tr u m en was  th en   co n s tr u c ted   b ased   o n   t h ese   id en tifie d   elem en ts .   A d d itio n ally ,   ex p e r ts   wer s elec ted   to   ev alu ate  th e   f r am ew o r k .   E x p er ts   ar in d iv i d u als  with   s p ec ialized   k n o wled g an d   ex p er ie n ce   in   g iv en   f i eld   [ 2 7 ] .   T o   e n s u r v alid ity ,   co n s en s u s   o n   th f r am ewo r k s   co m p o n e n ts   was  s o u g h f r o m   p an el   o f   ex p e r ts .   T h r ec o m m e n d ed   p a n el  s i ze   v ar ies  b etwe en   1 5   an d   2 5   p ar ticip a n ts   [ 1 4 ] ,   [ 1 5 ] ,   [ 2 8 ] .   Selecte d   ex p er ts   wer r eq u i r ed   to   h av e   m in im u m   o f   f iv y ea r s   o f   ex p er ien ce   in   th eir   r esp ec tiv e   f ield s   a n d   th ab ilit y   to   p r o v id in f o r m ed   in s ig h ts   [ 2 9 ] .   A   to tal  o f   2 1   ex p er ts   p ar ticip ated   in   t h f u zz y   Delp h s tu d y ,   i n clu d in g   1 7   s u b ject  m atter   ex p er ts ,   9   in f o r m atio n   s y s tem s   s p ec iali s ts ,   2   ed u ca tio n al  tech n o lo g is ts ,   an d   1   ed u ca tio n al  p s y ch o lo g is t.  T h co m p o s i tio n   o f   th ex p er p an el  is   p r esen ted   in   T ab le  2 .   T h ex p e r ts   wer in v ited   to   co m p lete  q u esti o n n air d is tr ib u ted   v ia  t h Go o g le  Fo r m s   p latf o r m .   Ad d itio n ally ,   th s y s tem   r ec o r d ed   r esp o n d en ts   em ail  a d d r es s es a n d   th tim o f   q u esti o n n a ir s u b m is s io n .       T ab le  2 .   Par ticip an ts   o f   th f u zz y   D elp h s tu d y   Ex p e r t   n o.   Jo b   t i t l e   ( d e s i g n a t i o n )   F i e l d   e x p e r t i s e   Le n g t h   o f   s e r v i c e   i n   t h e   f i e l d   o f   e x p e r t i se   1.   D e p u t y   D e a n   S u b j e c t   m a t t e r   e x p e r t s;   i n f o r m a t i o n   s y st e ms  e x p e r t s   6 - 1 0   y e a r s   2.   A sso c i a t e   P r o f e sso r   I n f o r mat i o n   s y st e ms e x p e r t s   21 - 3 0   y e a r s   3.   H e a d   o f   D e p a r t m e n t ;   A ssi st a n t   P r o f e s so r   S u b j e c t   m a t t e r   e x p e r t s;   i n f o r m a t i o n   s y st e ms  e x p e r t s   6 - 1 0   y e a r s   4.   D e p u t y   D e a n   S u b j e c t   m a t t e r   e x p e r t s   11 - 2 0   y e a r s   5.   D e p u t y   D e a n   S u b j e c t   m a t t e r   e x p e r t s   11 - 2 0   y e a r s   6.   S e n i o r   Le c t u r e r   Ed u c a t i o n a l   t e c h n o l o g i e s   o v e r   3 0   y e a r s   7.   H e a d   o f   D e p a r t m e n t   C o m p u t e r   sc i e n c e   11 - 2 0   y e a r s   8.   A sso c i a t e   P r o f e sso r   I n f o r mat i o n   s y st e ms e x p e r t s   11 - 2 0   y e a r s   9.   D e a n   S u b j e c t   m a t t e r   e x p e r t s   21 - 3 0   y e a r s   1 0 .   P r o f e sso r   S u b j e c t   m a t t e r   e x p e r t s   21 - 3 0   y e a r s   1 1 .   S e n i o r   Le c t u r e r   S u b j e c t   m a t t e r   e x p e r t s   11 - 2 0   y e a r s   1 2 .   A ssi st a n t   P r o f e s so r   S u b j e c t   m a t t e r   e x p e r t s ;   i n f o r m a t i o n   s y st e ms  e x p e r t s   6 - 1 0   y e a r s   1 3 .   A sso c i a t e   P r o f e sso r ;   H e a d   o f   S c h o o l   S u b j e c t   m a t t e r   e x p e r t s;   i n f o r m a t i o n   s y st e ms  e x p e r t s   21 - 3 0   y e a r s   1 4 .   H e a d   o f   D e p a r t m e n t ;   A sso c i a t e   P r o f e sso r   S u b j e c t   m a t t e r   e x p e r t s ;   i n f o r m a t i o n   s y st e ms  e x p e r t s   21 - 3 0   y e a r s   1 5 .   A sso c i a t e   P r o f e sso r   S u b j e c t   m a t t e r   e x p e r t s;   i n f o r m a t i o n   s y st e ms  e x p e r t s   11 - 2 0   y e a r s   1 6 .   Le c t u r e r   S u b j e c t   m a t t e r   e x p e r t s   11 - 2 0   y e a r s   1 7 .   A sso c i a t e   P r o f e sso r   S u b j e c t   m a t t e r   e x p e r t s;   e d u c a t i o n a l   p s y c h o l o g i st ;   m u l t i m e d i a   11 - 2 0   y e a r s   1 8 .   S e n i o r   Le c t u r e r   S u b j e c t   m a t t e r   e x p e r t s   6 - 1 0   y e a r s   1 9 .   S e n i o r   Le c t u r e r   S u b j e c t   m a t t e r   e x p e r t s   6 - 1 0   y e a r s   2 0 .   S e n i o r   Le c t u r e r   I n f o r mat i o n   s y st e ms e x p e r t s   21 - 3 0   y e a r s   2 1 .   S e n i o r   Le c t u r e r   Ed u c a t i o n a l   t e c h n o l o g y   6 - 1 0   y e a r s       2 . 3 .     Dev el o pm ent   ph a s e   I n   th is   p h ase,   q u esti o n n air was  d ev elo p ed   as  th e   p r im ar y   r esear ch   in s tr u m e n t.  Usi n g   q u esti o n n air es  p r o v i d ed   s ev er al  ad v a n tag es,  in cl u d in g   c o s t - ef f ec tiv en ess ,   p ar ticu lar l y   wh en   d is tr ib u ted   o n lin e,   t h ab ilit y   to   c o llect  d ata  f r o m   a   lar g e   s am p le  ef f icien tly ,   co n s is ten cy   in   q u es tio n   d eliv er y ,   an d   r esp o n d en an o n y m ity ,   wh ic h   en co u r a g es  h o n est  an d   ca n d id   r esp o n s es.  T h q u est io n n air em p lo y e d   f iv e - p o in L ik er s ca le  with   r esp o n s o p tio n s s tr o n g ly   d is ag r e e, ”  “d is ag r ee , ”  “m o d er ately   a g r ee , ”  “a g r ee , ”  an d   “stro n g ly   ag r ee . ”  T h f iv e - p o in L ik er s ca le  was  s elec te d   to   r ed u ce   th lik elih o o d   o f   r esp o n d e n ts   o v e r   an aly zin g   th eir   c h o ices.  I n c r ea s in g   th n u m b er   o f   s ca le  p o in ts   ca n   in tr o d u ce   m ea s u r e m en er r o r s   d u to   r esp o n d en c o n f u s io n   [ 3 0 ] .   Fe ed b ac k   was  o b tain e d   f r o m   ex p er ts   r eg ar d in g   th r ele v an ce   an d   s ig n if ican ce   o f   th q u esti o n n air e .   Sev er al  s tu d ies  h av e   ef f ec tiv e ly   ap p l ied   th e   f iv e - p o in t   L ik er s ca le  with in   th e   FDM  f r am e wo r k   [ 2 8 ] ,   [ 3 1 ] .   T h ese   s tu d ies  d em o n s tr a te  its   ap p licab ilit y   i n   m o b ile  l ea r n in g   r esear ch ,   p a r ticu lar ly   in   ca p tu r in g   ex p e r co n s en s u s   o n   v ar io u s   elem e n ts   an d   co m p eten cies.  I n   th FDM,   tr ian g u lar   f u zz y   n u m b er s   ( T FNs )   ar e   em p lo y ed   to   co n s tr u ct   a   f u z zy   s ca le  th at   tr an s lates  lin g u is tic  v ar iab les.  Fu zz y   s ca les  ef f ec tiv ely   ca p tu r e   h u m an   p er ce p tio n s ,   p r ef er en c es,  an d   ju d g m e n ts ,   wh ich   a r o f ten   im p r ec is o r   s u b jectiv e.   R ath er   th an   r el y in g   o n   f ix ed   ca teg o r ies,  f u zz y   b o u n d ar ies  p r o v id a   m o r ac c u r ate  r ep r esen tatio n   o f   r esp o n s es  s u ch   as  “sli g h tly   d is ag r ee ”  o r   “m o d er ately   ag r ee .   T FNs   ar d ef in ed   b y   th r ee   v alu es:  m 1 ,   m 2 ,   an d   m 3 ,   wh er m 1   r ep r esen ts   th m in im u m   v al u e,   m 2   d en o t es  th m o s t r ea s o n ab le   o r   ex p ec ted   v alu e,   an d   m 3   in d icate s   th m ax im u m   v alu e   [ 3 2 ] .   T h T FNs   u s ed   to   g e n er a te  th f u zz y   s ca le  ar e   p r esen te d   in   T ab le  3 .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Dev is in g   th m - lea r n in g   fr a m ewo r fo r   en h a n cin g   s tu d e n ts co n fid en ce   th r o u g h   ex p ert     ( Teik  Hen g   S u n )   1039   T ab le  3 .   T r ia n g u lar   f u zz y   n u m b er s   f o r   lin g u is tic  v ar iab les   Li n g u i s t i c   v a r i a b l e s   F u z z y   s c a l e   m1   m2   m3   S t r o n g l y   a g r e e   0 . 6   0 . 8   1 . 0   A g r e e   0 . 4   0 . 6   0 . 8   M o d e r a t e l y   a g r e e   0 . 2   0 . 4   0 . 6   D i sag r e e   0 . 0   0 . 2   0 . 4   S t r o n g l y   d i sa g r e e   0 . 0   0 . 0   0 . 2       2 . 4 .     I m ple m ent a t io n pha s e   Go o g le  Fo r m s   was  u s ed   to   cr ea te  th v alid ate d   q u esti o n n air e.   T h e   ad v a n tag es  o f   u s in g   Go o g le   Fo r m s   in clu d ed   an   in tu itiv u s er   in ter f ac e   f o r   q u esti o n n air cr ea tio n ,   ea s o f   d is tr ib u tio n ,   s ea m less   ac ce s s   f o r   p ar ticip an ts   o n   a n y   i n ter n et - co n n ec ted   d ev ice,   t h ab ilit y   f o r   p ar ticip a n ts   to   s av p ar tially   co m p leted   r esp o n s es  an d   co n tin u later ,   d o wn lo ad a b le  r esp o n s es  in   C SV  f o r m at  f o r   s tatis tical  an aly s is ,   an d   b u ilt - in   d ata   v alid atio n   f u n ctio n ality   th at  h elp ed   r ed u ce   d ata   en tr y   er r o r s .   E m ails   co n tain in g   th G o o g l Fo r m s   lin k   wer e   s en to   ex p er ts   f o r   th eir   r esp o n s es.  f o llo w - u p   em ail  an d / o r   p h o n ca ll  was  m ad e   to   n o n - r esp o n d en ts   af ter   tw o   wee k s   to   r em in d   t h em   to   co m p lete  th q u esti o n n air e.     2 . 5 .     E v a lua t i o n pha s e   Fo r   ea ch   s u r v e y   item ,   th e   av e r ag v alu e   o f   t h f u zz y   s ca le  f o r   th at  item   was  ca lcu lated   f o r   th 2 1   ex p er ts   u s in g   th ( 1 ) - ( 3 )   w h er n 1 ij,  n 2 ij a n d   n 3 ij r ep r esen ted   th f u zz y   s ca le o f   ex p er t i  f o r   item   j.     1 = 1  21 = 1 21   ( 1 )     2 = 2  21 = 1 21   ( 2 )     3 = 3  21 = 1 21   ( 3 )     T h lev el  o f   co n s en s u s   am o n g   th ex p er ts   was  d eter m in ed   b y   th v alu o f   th t h r esh o ld   ( d ) .   Fo r   ea ch   s u r v e y   item   j,  th e   d is tan ce   d ij   b etwe e n   th e   av er a g v al u o f   th e   f u z zy   s ca le  f o r   item   an d   th e   f u z zy   s ca le  o f   ex p er i   was c o m p u ted   u s in g   th ( 4 ) :      ( ̃ , ̃ ) = 1 3 [ ( 1 1  ) 2 + ( 2 2  ) 2 + ( 3 3  ) 2 ]   ( 4 )     T h er ef o r e,   th v alu o f   th th r esh o ld   ( d j )   f o r   item   j c an   b e   co m p u ted   as:   =  ( ̃ , ̃ ) 21 = 1 21   ( 5 )     T y p ically ,   th r esh o ld   ( d )   v al u less   th an   o r   eq u al  t o   0 . 2   in d i ca tes  ex p er ag r ee m e n o n   a   c r iter io n .   s m aller   v alu o f   d   s ig n if ies  s tr o n g er   co n s en s u s   am o n g   ex p er ts .   Fo r   in s tan ce ,   s tu d ies  in   [ 1 2 ] ,   [ 3 3 ]   co n s id er e d   cr iter io n   to   h av e   ex p er t   co n s en s u s   if   th th r esh o ld   ( d )   wa s   l ess   th an   o r   eq u al  to   0 . 2 .   Ad d itio n ally ,   a n o th er   co n d itio n   th at  m u s b f u lf illed   is   th at  th p er ce n tag o f   ag r ee m en am o n g   ex p er ts   m u s b at  least   7 5 [ 3 4 ] ,   [ 3 5 ] .   T h p e r ce n tag o f   ag r ee m en t a m o n g   ex p er ts   f o r   item   j   was c alcu lated   u s in g   th ( 6 ) :      =            <   0 . 3 21 × 100%   ( 6 )     T h ( 6 )   was  u s ed   to   co m p u te  th p er ce n tag o f   ag r ee m en a m o n g   ex p er ts   f o r   ea ch   co n s tr u ct,   wh er n   d en o tes   th n u m b er   o f   item s   in   th e   co n s tr u ct,   a n d   j   r e p r esen ts   t h in d e x   o f   an   item   with in   th co n s tr u ct.   T h p er ce n tag o f   ag r ee m en t f o r   it em   j   was d en o ted   b y   PA j .      =  + 1     ( 7 )     Du r in g   d ef u zz if icatio n ,   th e   a v er ag f u zz y   s co r was  c o m p u ted .   I f   t h o b tain ed   v alu was  g r ea ter   th an   th e   alp h a - cu t   v alu e   ( α = 0 . 5 ) ,   th e   m ea s u r ed   item   was  ac ce p ted   b a s ed   o n   ex p e r co n s en s u s .   C o n v er s ely ,   if   th e   v alu e   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   2 ,   Au g u s 20 25 1 0 3 5 - 1 052   1040   was  les s   th an   th alp h a - c u v al u e,   th m ea s u r e d   item   was  r ejec ted .   T h f u zz y   s co r f o r   an   i tem   was  co m p u ted   u s in g   th ( 8 ) :         , = 1 3 × ( 1 + 2 + 3 )   ( 8 )       3.   RE SU L T S   T h r esu lts   p r esen ted   in   T ab le  4   in d icate d   th at  th av er ag e   th r esh o ld   v alu ( d )   f o r   all  co m p o n e n ts   was  less   th an   0 . 2 ,   w h ile  th av er a g p er ce n tag e   o f   ex p er co n s en s u s   e x ce ed ed   7 5 %.  Ad d itio n ally ,   all   co m p o n en ts   h ad   a n   α - c u v al u g r ea ter   th a n   0 . 5 .   B ased   o n   th ese  r esu lts   s p ec if ically ,   th av er ag th r esh o ld   v alu ( d ) ,   av er a g p er ce n ta g o f   ex p er c o n s en s u s , ”  a n d   “a v er ag e   f u zz y   s co r e   it  ca n   b co n clu d ed   th at  all   p r o p o s ed   co m p o n en ts   ac h iev ed   ex p er co n s en s u s   an d   wer th u s   ac ce p ted   f o r   t h d ev is ed   f r am ewo r k .   T h e   h ig h est  ex p e r co n s en s u s   ( 9 1 %)  was  o b s er v ed   f o r   " Su b ject, wh ich   h a d   f u zz y   s co r o f   0 . 6 7 4 .   C o n v er s ely ,   " m ac h in lear n in g   an d   d ata  an aly s is h ad   th lo west f u zz y   s co r ( 0 . 5 9 0 ) ,   y et  it r em ain ed   a cc ep tab le.   T h h ig h   ex p er co n s en s u s   p er ce n tag es,   p r ed o m i n an tly   ab o v 8 0 %,  in d icate d   s tr o n g   ag r ee m en r e g a r d in g   th r elev an ce   o f   th ese  co m p o n en ts .   Fu r th er m o r e,   th d e f u zz if ied   v alu es,  all  ex ce ed in g   0 . 5 9 ,   s u g g ested   th at  th ese  co m p o n en ts   p lay ed   cr u cial  r o le  in   d ec is io n - m ak in g .   T h ese   f in d in g s   co n f ir m   th at  all  lis ted   co m p o n e n ts   ar e   r elev an t a n d   s h o u ld   b co n s id er ed   in   f r am ewo r k .       T ab le  4 .   E x p er t c o n s en s u s   o n   t h co m p o n en ts   o f   th f r am ew o r k   C o m p o n e n t s   Tr i a n g u l a r   f u z z y   n u mb e r s   D e f u z z i f i c a t i o n   v a l u e   R e s u l t   A v e r a g e   t h r e s h o l d   v a l u e   ( d )   A v e r a g e   p e r c e n t a g e   o f   e x p e r t   c o n se n s u s,  (  )   ( %)   A v e r a g e   f u z z y   sc o r e   (A)   Te c h n o l o g y   e n a b l e r   0 . 1 7 4   89   0 . 6 9 6   A c c e p t e d   A ssessme n t   d a t a   0 . 1 7 4   83   0 . 6 0 4   A c c e p t e d   A c t i v i t y   a n d   o t h e r   mi sce l l a n e o u s   d a t a   0 . 1 4 1   88   0 . 6 1 3   A c c e p t e d   M a c h i n e   l e a r n i n g   a n d   d a t a   a n a l y si s   0 . 1 7 2   78   0 . 5 9 0   A c c e p t e d   C o n t e x t   ( c o mm u n i t y )   0 . 1 6 2   87   0 . 6 4 1   A c c e p t e d   S u b j e c t   0 . 1 7 6   91   0 . 6 7 4   A c c e p t e d   C o n t r o l   ( r u l e s)   0 . 1 7 6   88   0 . 6 4 8   A c c e p t e d   C o mm u n i c a t i o n   ( d i v i si o n   o f   l a b o u r )   0 . 1 8 7   86   0 . 6 4 8   A c c e p t e d   O u t p u t   0 . 1 5 9   85   0 . 6 3 3   A c c e p t e d       3 . 1 .     E x pert   co ns ens us   f o t he  elem ent s   o f   t he  t ec hn o lo g i es e na bler   co m po nent   T ab le  5   p r esen ts   th e x p er c o n s en s u s   f o r   th tech n o lo g y   en ab ler   co m p o n en t   r eg ar d in g   wh eth er   th s y s tem   in f r astru ctu r f o r   m o b ile  ass ess m en an aly tic s   to   en h an ce   s tu d en ts   co n f i d en ce   r elies  o n   o r   r eq u ir es  th u s o f   t h s p ec if i ed   elem en ts .   All  elem en ts   with in   t h tech n o lo g y   e n ab ler ”  co m p o n en r ec eiv e d   m o r th an   7 5 co n s en s u s   f r o m   th ex p e r ts .   T h h ig h est - r a n k ed   elem e n ts   wer "d ata  s ec u r ity ( d e f u zz if ied   v alu e:  0 . 7 4 3 )   an d   " a v ailab ilit y ,   r eliab ilit y ,   an d   in teg r ity   o f   d ata"   ( d ef u zz if ied   v al u e:  0 . 7 3 3 ) ,   h ig h lig h tin g   th eir   s ig n if ican ce   with in   th tech n o lo g y   e n ab ler ”  c o m p o n en t.  T h elem en " clo u d   p latf o r m   an d   n etwo r k in g ( e. g . ,   p u b lic  clo u d ,   p r iv ate  clo u d ,   a n d /o r   h y b r id   clo u d )   r ec eiv ed   7 6 ex p er co n s en s u s ,   wh ich   was  s lig h tly   ab o v th 7 5 th r esh o ld ,   with   an   a v er ag f u zz y   s co r o f   0 . 6 2 9 .   T h s lig h tly   lo wer   p er ce n tag e   ag r ee m en ( 7 6 %)  in d icate d   th at   s o m e x p er ts   p r o v id ed   r esp o n s es  o u ts id e   th a g r ee d   r an g e,   c o n tr ib u t in g   to   v ar iatio n   in   co n s en s u s .   T h a v er ag f u zz y   s co r ( 0 . 6 2 9 )   s u g g ested   th at  w h ile  ex p er o p in io n s   wer g en er ally   alig n ed ,   s o m d iv er g e n ce   r em ai n ed ,   i n d icatin g   m o d er ate  a g r ee m en with   d eg r ee   o f   d is ag r ee m en t.  T h ese  r esu lts   s u g g est th at  all  lis ted   elem en ts   ar r elev an f o r   t h tech n o lo g y   en a b ler ”  co m p o n e n t.     3 . 2 .     E x pert   co ns ens us   f o t he  elem ent s   o f   t he  a s s ess m en t   da t a   c o m po nent   T ab le  6   p r esen ts   th e x p er t   co n s en s u s   o n   th e   elem en ts   o f   a s s es s m en d a ta”.   T h e   co r r ec tn ess   o f   th s u b m itted   an s wer ,   th n u m b er   o f   an s wer ed / u n an s wer ed   q u esti o n s ,   th g r a d es  o b tain ed ,   th n u m b er   o f   attem p t s   f o r   ass ess m en t,  an d   s tu d en ts '   r esp o n s tim es  w er ac ce p ted .   T h ese  elem en t s   h ad   h ig h   ex p er co n s en s u s   an d   ac h iev ed   d e f u zz if ied   s co r ab o v th th r esh o ld   ( ty p ically   0 . 5   o r   h ig h er ) .   C o n v er s ely ,   th e   n u m b er   o f   tim es  an   an s wer   was  ch an g ed ,   th d u r atio n   r e q u i r ed   to   co m p lete  th ass es s m en t,  th n u m b e r   o f   tim es  q u esti o n   was  v iewe d ,   an d   th e   am o u n o f   tim e   s tu d e n ts   r em ain ed   id le  ( i.e . ,   n o s u b m itti n g   an   an s wer )   wer r ejec ted .   T h ese  elem en ts   h ad   lo wer   co n s en s u s   with   th p e r ce n tag e   o f   ex p er t   co n s en s u s   b elo th e   ac ce p tab le  th r esh o ld .   T h m o s im p o r tan elem en t,   r an k ed   f i r s t,  was  th co r r ec tn ess   o f   th e   s u b m itted   an s wer ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Dev is in g   th m - lea r n in g   fr a m ewo r fo r   en h a n cin g   s tu d e n ts co n fid en ce   th r o u g h   ex p ert     ( Teik  Hen g   S u n )   1041   with   d ef u zz if ied   v alu e   o f   0 . 6 4 8 .   Stu d en t   b eh a v io r   as p ec ts   ( e. g . ,   ch a n g in g   an s we r s ,   id le  tim e,   an d   ass es s m en d u r atio n )   wer r ejec ted ,   s u g g esti n g   t h at  th ey   wer n o co n s id er e d   s ig n if i ca n in d icato r s   o f   s tu d en ts   co n f id e n ce   in   th ass es s m en t.  Ho wev er ,   th n u m b er   o f   attem p ts ,   r esp o n s e   tim e,   an d   v iewin g   d u r atio n   wer ac ce p ted ,   in d i ca tin g   th at  t h ese  elem en ts   c o n tr ib u ted   m ea n i n g f u lly   to   s tu d en c o n f id e n ce   ev alu atio n .   T h r esu lts   o f   th e   FDM   em p h asized   th e   im p o r tan ce   o f   r esp o n s ac c u r ac y ,   p ar ticip atio n   lev els,   an d   en g a g em en o v er   b eh a v i o r al   ch an g es  s u ch   as  m o d i f y in g   an s wer s   o r   r em ain in g   id le.   T h ese  f in d in g s   s u g g est  th at  th e   ev alu atio n   o f   s tu d en ts   co n f id en ce   s h o u ld   f o cu s   o n   ac cu r ac y   an d   ac tiv p ar ticip atio n   r ath er   th an   o n   h o o f ten   s tu d en ts   ch an g th eir   r esp o n s es o r   th e   tim tak en   to   c o m p lete  th ass ess m en t.       T ab le  5 .   E x p er t c o n s en s u s   f o r   th elem en ts   o f   tech n o lo g ies  en ab ler   El e m e n t s   Tr i a n g u l a r   f u z z y   n u mb e r s   D e f u z z i f i c a t i o n   v a l u e   R e s u l t   R a n k i n g   A v e r a g e   t h r e s h o l d   v a l u e   ( d )   A v e r a g e   p e r c e n t a g e   o f   e x p e r t   c o n se n su s   (  ( %)   A v e r a g e   f u z z y   sco r e   (A)   D a t a   sec u r i t y   0 . 1   95   0 . 7 4 3   A c c e p t e d   1   A v a i l a b i l i t y ,   r e l i a b i l i t y   a n d   i n t e g r i t y   o f   d a t a   0 . 1   95   0 . 7 3 3   A c c e p t e d   2   I C i n f r a s t r u c t u r e   0 . 2   95   0 . 7 2 4   A c c e p t e d   3   S e c u r i t y   a n d   i n t e g r i t y   o f   t h e   a ssessm e n t   0 . 2   90   0 . 7 1 4   A c c e p t e d   4   D a t a   p r o t e c t i o n   ( f o r   e x a mp l e ,   p r i v a c y   o f   t h e   d a t a )   0 . 2   90   0 . 7 1 4   A c c e p t e d   4   D a t a   st o r a g e   0 . 2   95   0 . 6 8 6   A c c e p t e d   6   l e a r n i n g   m a n a g e me n t   s y st e m (L M S )   0 . 2   81   0 . 6 6 7   A c c e p t e d   7   C o n f o r m i t y   t o   st a n d a r d s f o r   i n t e r o p e r a b i l i t y   b e t w e e n   v a r i o u s   L M S   0 . 2   81   0 . 6 5 7   A c c e p t e d   8   C l o u d   p l a t f o r m a n d   n e t w o r k i n g   ( e g .   p u b l i c   c l o u d ,   p r i v a t e   c l o u d   a n d / o r   h y b r i d   c l o u d )   0 . 2   76   0 . 6 2 9   A c c e p t e d   9       T ab le  6 .   E x p er t c o n s en s u s   f o r   th elem en ts   o f   ass ess m en t d ata”   El e m e n t s   Tr i a n g u l a r   f u z z y   n u mb e r s   D e f u z z i f i c a t i o n   v a l u e   R e s u l t   R a n k i n g   A v e r a g e   t h r e s h o l d   v a l u e   ( d )   A v e r a g e   p e r c e n t a g e   o f   e x p e r t   c o n se n su s   (  ( %)   A v e r a g e   f u z z y   sc o r e   (A)   C o r r e c t n e ss   o f   t h e   s u b mi t t e d   a n sw e r   ( c o r r e c t / w r o n g )   0 . 2   90   0 . 6 4 8   A c c e p t e d   1   N u mb e r   o f   a n sw e r e d   a n d   u n a n sw e r e d   q u e st i o n s   0 . 2   86   0 . 6 4 8   A c c e p t e d   1   G r a d e s   o b t a i n e d   o n   t h e   a ss e ssm e n t s   0 . 2   81   0 . 6 4 8   A c c e p t e d   1   N u mb e r   o f   a t t e mp t s f o r   a n   a ssessm e n t .   0 . 2   86   0 . 6 3 8   A c c e p t e d   4   S t u d e n t s’   r e sp o n se   t i mes  ( b a s e d   o n   c o r r e c t   r e sp o n se)   0 . 1   86   0 . 6 1 0   A c c e p t e d   5   N u mb e r   o f   t i mes   t h e   a n sw e r   f o r   a   q u e st i o n   i c h a n g e d   0 . 2   67   0 . 5 8 1   R e j e c t e d     Ti me   sp e n t   t o   a n sw e r   a   q u e st i o n   ( t h e   a n sw e r   i s s a v e d )   0 . 2   81   0 . 5 7 1   A c c e p t e d   6   N u mb e r   o f   c o r r e c t   r e s p o n s e t h a t   c h a n g e d   t o   w r o n g   r e s p o n ses   0 . 2   81   0 . 5 7 1   A c c e p t e d   6   N u mb e r   o f   w r o n g   r e s p o n ses   t h a t   c h a n g e d   t o   c o r r e c t   r e s p o n s e s   0 . 2   81   0 . 5 7 1   A c c e p t e d   6   D u r a t i o n   t o   c o m p l e t e   t h e   a ss e ssm e n t   0 . 2   67   0 . 5 7 1   R e j e c t e d     N u mb e r   o f   t i mes   t h e   q u e s t i o n   i s   v i e w e d   0 . 2   67   0 . 5 3 7   R e j e c t e d     D u r a t i o n   s p e n t   v i e w i n g   a   q u e st i o n   ( n o t   sa v i n g   t h e   a n sw e r )   0 . 2   76   0 . 5 2 7   A c c e p t e d   9   A mo u n t   o f   t i me  t h e   s t u d e n t r e mai n e d   i d l e   ( n o t   su b m i t t i n g   a n   a n sw e r )   0 . 3   62   0 . 5 1 4   R e j e c t e d         3 . 3 .     E x pert   co ns ens us   f o t he  elem ent s   o f   t he  a ct iv it y   a nd   o t her  m is ce lla neo us   da t a   co m po nent   T ab le  7   p r esen ts   th ex p e r co n s en s u s   o n   t h elem en ts   o f   th c o m p o n en ac tiv ity   an d   o t h er   m is ce llan eo u s   d ata . ”  T h elem en g o al  ex p ec tatio n ”  ( d ef u zz if ied   v alu e:  0 . 6 4 8 )   h ad   a n   av er ag th r esh o ld   v alu o f   0 . 1   a n d   r ec ei v ed   h ig h   ex p e r co n s en s u s   ( 9 5 %).   I was  th h ig h est - r an k ed   ac ce p ted   elem en t,   in d icatin g   s tr o n g   ag r ee m en am o n g   ex p er ts   o n   it s   im p o r tan ce .   Similar ly ,   th e   elem en t   v iewe d   less o n s ,   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   2 ,   Au g u s 20 25 1 0 3 5 - 1 052   1042   ch ap ter s ,   o r   s y llab u s ”  ( d ef u zz if ied   v alu e:  0 . 6 4 8 )   h a d   t h s am s co r an d   r an k in g ,   s u g g esti n g   eq u al  im p o r tan ce   in   th ex p er ts   v i ew.   Sli g h tly   lo wer   th an   th to p - r an k ed   elem en ts   b u s till   co n s id er ed   im p o r tan t   was  th elem en s tu d en ts   s a tis f ac tio n   lev el  o n   th co u r s e”   ( d ef u zz if ied   v alu e:  0 . 6 1 9 ) ,   wh ich   h ad   an   8 6 %   ex p er co n s en s u s ,   r ein f o r cin g   its   s ig n if ican ce .   T h elem e n a ctiv ity   lo g s ”  ( d e f u zz if ied   v alu e:  0 . 5 8 1 ) ,   wh ich   in clu d ed   m etr ics  s u ch   as  r eso u r ce   a cc ess   an d   d is cu s s io n   p ar ticip atio n ,   ac h iev ed   an   8 1 %   ex p e r co n s en s u s .   W h ile  it  was  co n s id er ed   r elev an t,  it  r an k e d   lo wer   th a n   s tu d en ts   s atis f ac tio n   lev el   o n   th co u r s e”   an d   g o al   ex p ec tatio n ”.   T h elem e n r ec o g n itio n   o f   af f ec ts   an d   m o o d   d u r in g   s elf - ass es s m en t”  ( d ef u zz if ied   v alu e:   0 . 5 7 1 )   h ad   lo wer   f u zz y   s co r th an   o th er   ac ce p ted   elem en ts ,   p lacin g   it  at  th lo west   r an k   am o n g   th em .   Ho wev er ,   its   ex p er c o n s en s u s   was  h ig h   ( 8 6 %),   in d icatin g   n ee d   f o r   c o n s id er atio n   with in   th co m p o n en t   ac tiv ity   an d   o th er   m is ce llan eo u s   d ata . ”  C o n v er s ely ,   t h elem en n u m b er   o f   e m ails   s en to   in s tr u cto r   ( d ef u zz if ied   v al u e:  0 . 4 4 8 )   was   r ejec ted ,   as  its   f u zz y   s co r ( 0 . 4 4 8 )   f ell  b elo t h ac ce p tab le   th r esh o ld .   Desp ite  6 7 ex p er co n s en s u s ,   it  wa s   d ee m ed   n o s ig n if ican t   en o u g h   f o r   in cl u s io n   in   th f i n al  ev alu atio n .   T h m o s cr itical  elem en ts   id en tifie d   we r g o al  e x p ec tatio n   an d   “v i ewe d   less o n s   ch ap ter s ,   o r   s y llab u s , ”  f o llo wed   b y   “Stu d en ts   s atis f ac tio n   lev el   o n   th co u r s e. ”  Activ ity   lo g s   an d   r ec o g n itio n   o f   m o o d   wer co n s id er ed   i m p o r tan b u r an k e d   lo wer .   E m ail  co m m u n icatio n   with   th in s tr u cto r   was  n o r e g ar d e d   as   u s ef u l   in d icato r .   T h ese  f in d in g s   aid   in   r ef in in g   lear n in g   an aly tics   cr iter ia  b y   f o cu s in g   o n   elem en ts   th at  ex p er ts   ag r ee d   wer e   m o r r elev a n t.  C o n f i d en ce   ap p ea r s   to   p lay   s ig n if ican r o l in   ex p r ess in g   o n e’ s   g o als  a n d   ex p ec tatio n s ,   as  co n f id en t i n d iv id u als ar m o r e   lik ely   to   co m m u n icate   clea r ly   an d   ass er tiv ely .       T ab le  7 .   E x p er t c o n s en s u s   f o r   th elem en ts   o f   ac tiv ity   a n d   o th er   m is ce llan eo u s   d ata   El e m e n t s   Tr i a n g u l a r   f u z z y   n u mb e r s   D e f u z z i f i c a t i o n   v a l u e   R e s u l t   R a n k i n g   A v e r a g e   t h r e s h o l d   v a l u e   ( d )   A v e r a g e   p e r c e n t a g e   o f   e x p e r t   c o n se n su s   (  )   ( %)   A v e r a g e   f u z z y   sco r e   (A)   G o a l   e x p e c t a t i o n   0 . 1   95   0 . 6 4 8   A c c e p t e d   1   V i e w e d   l e ss o n s ,   c h a p t e r s,   o r   s y l l a b u s   0 . 2   90   0 . 6 4 8   A c c e p t e d   1   S t u d e n t s’   sat i sf a c t i o n   l e v e l   o n   t h e   c o u r se   0 . 1   86   0 . 6 1 9   A c c e p t e d   3   A c t i v i t y   l o g s fr o m   t h e   f o l l o w i n g :   ( n u mb e r   o f   t i m e r e so u r c e   a c c e ss e d ,   d a t e   a n d   t i m e   o f   a c c e ss,   t y p e o f   r e c o u r ses   a c c e ss e d   a n d   n u m b e r   o f   a sk e d   q u e s t i o n s i n   d i s c u ss i o n   f o r u m fo r   a c t i v i t i e s s u c h   a s   c h a t ,   d i s c u ss i o n   d a t a ,   t e m p o r a l   d a t a ,   f r e e   t e x t )   0 . 1   81   0 . 5 8 1   A c c e p t e d   4   R e c o g n i t i o n   o f   a f f e c t s a n d   m o o d   d u r i n g   se l f - a ssessm e n t   ( e . g . ,   b o r e d o m ,   c o n f u s i o n ,   d e l i g h t ,   o r   f r u st r a t i o n )   0 . 1   86   0 . 5 7 1   A c c e p t e d   5   N u mb e r   o f   e m a i l s se n t   t o   i n st r u c t o r   0 . 2   67   0 . 4 4 8   R e j e c t e d         3 . 4 .     E x pert   co ns ens us   f o t he  elem ent s   o f   t he  m a chine le a rning   a nd   da t a   a na ly s is   co m po nent   T ab le  8   p r esen ts   th ex p e r co n s en s u s   o n   th elem en ts   o f   m ac h in lear n in g   an d   d ata  an aly s is ”.   Ou t   o f   th 1 0   elem en ts   with in   th i s   co m p o n en t,  two   elem en ts   “p r o ce s s   m in in g ”  ( d e f u zz if ied   v alu e:  0 . 6 0 0 )   an d   l in g u is tic  an aly s is ”  ( d ef u zz if ied   v alu e:  0 . 5 2 7 )   f ailed   to   o b tain   ex p er co n s en s u s   r eg ar d in g   th eir   ap p licab ilit y   in   ev alu atin g   o r   d eter m in in g   s tu d en ts   co n f id e n ce .   T h e   h ig h est - r an k e d   elem en ts   wer t ex m in in g ,   a s s o ciatio n   r u le  m in in g , ”  an d   a f f ec t r ec o g n itio n , ”  ea ch   ac h iev in g   d ef u zz if ied   s co r o f   0 . 6 1 0   an d   an   ex p er t   co n s en s u s   o f   8 1 %.  L o wer - r an k ed   b u ac ce p ted   elem e n ts   in c lu d ed   m ac h in lear n i n g   tech n iq u es”  ( d ef u zz i f ied   v alu e:  0 . 5 9 0 ,   R an k   4 ) ,   c lass if icatio n   tech n i q u es”  ( d ef u zz if i ed   v alu e:   0 . 5 8 1 ,   R an k   5 ) ,   d e s cr ip tiv s tatis tic s   ( d ef u zz if ied   v alu e:  0 . 5 8 1 ,   R a n k   5 ) ,   i n f e r en tial  s tatis tics ”  ( d ef u zz if ied   v alu e:  0 . 5 8 1 ,   R a n k   5 ) ,   an d   s p ee ch   r ec o g n itio n   ( d ef u zz if ied   v al u e:  0 . 5 6 2 ,   R an k   8 ) .   T h ese  f in d in g s   in d icate   th at   tex m i n in g ,   ass o ciatio n   r u l e   m in in g ,   an d   af f ec t   r ec o g n iti o n   a r th e   m o s f av o r ab le   t ec h n iq u es.   Ad d itio n ally ,   m a c h i n e   l e a r n i n g   a n d   s t a ti s t i c al   te c h n i q u e s   a r e   c o n s id e r e d   v i a b l e   f o r   e v a l u a ti n g   s tu d e n t s '   c o n f i d e n c e .   H o we v e r ,   p r o c e s s   m i n i n g   a n d   l i n g u i s ti c   a n a l y s i s   d i d   n o t   m e et   t h e   r e q u i r e d   c r i t e r i a   f o r   a c c ep t a n c e   d u e   t o   t h e i r   p e r c e n t a g e   o f   e x p e r t   c o n s e n s u s   t h a t   w a s   b e l o w   t h e   a c c e p t a b le   7 5 %   t h r e s h o l d .   T h e   l o w   c o n s en s u s   ( 4 8 % )   f o r   p r o c e s s   m i n i n g   m e a n s   t h a t   e x p e r t s   h a v e   d i v e r s e   o p i n i o n s   s o m e   m ay   s t r o n g l y   a g r e e   w h i le   o t h e r s   s tr o n g l y   d i s a g r e e .     3 . 5 .     E x pert   co ns ens us   f o t he  elem ent s   o f   t he  c o nte x t   ( c o m m un it y )   co m po nent   T ab le  9   p r esen ts   th ex p er co n s en s u s   o n   th e   “c o n tex t   ( co m m u n ity ) ”  c o m p o n en t.   E x p e r ts   ag r ee d   th a t   th i n s titu tio n   o f   h ig h er   lea r n in g   ( I HL ) ,   “c o u r s d i r ec to r /p r o g r a m m d ir ec to r ,   an d   e m p lo y er s   ar k ey   s tak eh o ld er s   in   s y s tem   p r o v id in g   m o b ile  ass ess m en an al y tics   to   en h an ce   s tu d en ts   co n f id en ce .   Ho wev e r ,   t h elem en “g o v er n m en t/p o li cy   m ak er /acc r e d itatio n   b o d y   f ailed   to   o b tain   th r eq u ir e d   co n s en s u s ,   as  o n ly   6 2 % o f   ex p er ts   s u p p o r ted   its   in clu s io n .     Evaluation Warning : The document was created with Spire.PDF for Python.
I n d o n esian   J   E lec  E n g   &   C o m p   Sci     I SS N:   2502 - 4 7 5 2         Dev is in g   th m - lea r n in g   fr a m ewo r fo r   en h a n cin g   s tu d e n ts co n fid en ce   th r o u g h   ex p ert     ( Teik  Hen g   S u n )   1043   T ab le  8 .   E x p er t c o n s en s u s   f o r   th elem en ts   o f   m ac h in lear n in g   an d   d ata  a n aly s is   El e m e n t s   Tr i a n g u l a r   f u z z y   n u mb e r s   D e f u z z i f i c a t i o n   v a l u e   R e s u l t   R a n k i n g   A v e r a g e   t h r e s h o l d   v a l u e   ( d )   A v e r a g e   p e r c e n t a g e   o f   e x p e r t   c o n se n su s   (  ( %)   A v e r a g e   f u z z y   sco r e   ( A)   Te x t   m i n i n g   0 . 1   81   0 . 6 1 0   A c c e p t e d   1   A sso c i a t i o n   r u l e   m i n i n g .   [ N o t e :   A   r u l e - b a s e d   ma c h i n e   l e a r n i n g   met h o d   f o r   d i s c o v e r i n g   i n t e r e st i n g   r e l a t i o n b e t w e e n   v a r i a b l e s   i n   l a r g e   d a t a b a ses.   F o r   e x a m p l e ,   t h e   r u l e   { o n i o n s,   p o t a t o e s} { b u r g e r } f o u n d   i n   t h e   sal e s d a t a   o f   a   su p e r mar k e t   w o u l d   i n d i c a t e   t h a t   i f   a   c u st o mer   b u y o n i o n s   a n d   p o t a t o e s   t o g e t h e r ,   t h e y   a r e   l i k e l y   t o   a l s o   b u y   h a mb u r g e r   me a t . ]   0 . 2   81   0 . 6 1 0   A c c e p t e d   1   A f f e c t   r e c o g n i t i o n .   [ N o t e :   o b s e r v a t i o n   o f   v i s u a l   a n d   a u d i t o r y   n o n v e r b a l   c u e s.  N o n v e r b a l   c u e s i n c l u d e   f a c i a l ,   v o c a l ,   p o st u r a l ,   a n d   g e s t u r a l   c u e s.]   0 . 2   81   0 . 6 1 0   A c c e p t e d   1   P r o c e ss   mi n i n g   0 . 2   48   0 . 6 0 0   R e j e c t e d     M a c h i n e   l e a r n i n g   t e c h n i q u e s (s u c h   a p a r t i c l e   sw a r m o p t i mi z a t i o n - b a se d   s u p p o r t   v e c t o r   ma c h i n e )   o r   r e g r e ssi o n t e c h n i q u e   0 . 2   76   0 . 5 9 0   A c c e p t e d   4   C l a s si f i c a t i o n   t e c h n i q u e s   0 . 2   76   0 . 5 8 1   A c c e p t e d   5   D e scri p t i v e   s t a t i st i c s   [ N o t e :   s t a t i st i c s   sh o w i n g   t h e   s u mm a r y   o f   t h e   d a t a ]   0 . 2   76   0 . 5 8 1   A c c e p t e d   5   I n f e r e n t i a l   st a t i st i c s.   [ N o t e :   s t a t i st i c s   sh o w i n g   t h e   c o n c l u s i o n   a n d   p r e d i c t i o n . ]   0 . 2   76   0 . 5 8 1   A c c e p t e d   5   S p e e c h   r e c o g n i t i o n   0 . 2   76   0 . 5 6 2   A c c e p t e d   8   Li n g u i s t i c   a n a l y si s   0 . 3   67   0 . 5 2 7   R e j e c t e d         T ab le  9 .   E x p er t c o n s en s u s   f o r   th elem en ts   o f   co n tex t ( c o m m u n ity )”   El e m e n t s   Tr i a n g u l a r   f u z z y   n u mb e r s   D e f u z z i f i c a t i o n   v a l u e   R e s u l t   R a n k i n g   A v e r a g e   t h r e s h o l d   v a l u e   ( d )   A v e r a g e   p e r c e n t a g e   o f   e x p e r t   c o n se n s u s (  )   ( %)   A v e r a g e   f u z z y   sco r e   (A)       I H L   0 . 2   90   0 . 6 7 6   A c c e p t e d   1   C o u r se  d i r e c t o r / p r o g r a mm e   d i r e c t o r   0 . 2   90   0 . 6 5 7   A c c e p t e d   2   Emp l o y e r s   0 . 1   81   0 . 5 9 0   A c c e p t e d   3   G o v e r n m e n t / p o l i c y   mak e r / a c c r e d i t a t i o n   b o d y   0 . 2   62   0 . 5 8 1   R e j e c t e d         3 . 6 .     E x pert   co ns ens us   f o t he  elem ent s   o f   t he  "s ub j ec t "   co m po nent   W ith   r esp ec to   e x p er t   co n s e n s u s   o n   th s er v ices,   r eso u r c es,  an d   in d iv id u als  en g a g ed   in   ac tiv ities   p r o v id e d   b y   m o b ile  ass es s m en an aly tics   to   en h an ce   s tu d en ts   co n f id en ce ,   e x p er ts   ag r ee d   th at   teac h er s /in s tr u cto r s /lectu r er s ”  p r o v id ed   lear n in g   r eso u r ce s   an d   e - ass es s m en m ate r ials .   Ad d itio n ally ,   ass es s m en an aly tics   as s is ted   teac h er s   in   d eliv er in g   m o r e n g ag in g ,   u s ef u l,  an d   r elev an co n ten t,  ass ess m en t   m ater ials ,   an d   ac tiv ities .   E x p er ts   also   ag r ee d   th at  s tu d e n ts /lear n er s ”  en g ag ed   in   lear n i n g   ac tiv ities   u s in g   v a r i o u s   r es o u r c e s ,   i n c l u d i n g   p r e - r e c o r d e d   v i d e o s ,   l e c t u r n o t es ,   u s e f u l   li n k s ,   a n d   w i k i s .   As   s h o w n   i n   T a b l 1 0 ,   all  elem en ts   h ad   an   av er a g t h r esh o ld   v al u o f   0 . 2 .   T h m o s im p o r tan t   elem en ts   wer lear n in g   r eso u r ce s ”  an d   “stu d e n ts /lear n er s , ”  b o t h   ac h iev in g   th e   h ig h est  d ef u zz if ied   s co r o f   0 . 6 8 6 .   T ea ch e r s /I n s tr u cto r s ”  an d   “Ser v ices  s u ch   as  e - ass ess m en an d   ass ess m en an aly tics ”  w er also   co n s id er ed   i m p o r ta n b u r an k ed   s lig h tly   lo wer .   All e lem en ts   wer ac ce p ted ,   in d icatin g   th eir   r ele v an c in   th s tu d y .     3 . 7 .     E x pert   co ns ens us   f o t he  elem ent s   o f   t he  c o ntr o l ( r ules )   co m po nent   C o n s en s u s   was  o b tain ed   am o n g   e x p er ts   r eg ar d in g   t h co n tr o ls   an d   r u les  g o v e r n in g   th e   im p lem en tatio n   o f   m o b ile  ass ess m en an aly tics   to   en h an ce   s tu d en ts   co n f id e n ce .   T a b le  1 1   in d icate s   lack   o f   ag r ee m en o n   t h elem en ts   “p o licy , ”  an d   “leg is latio n   a n d   la w”.   W h ile  ex p er ts   m ay   h av e   p ar tially   ag r ee d   o n   ce r tain   asp ec ts ,   “p o licy ”  r ec ei v ed   o n l y   5 2 ag r ee m en t,  r e f l ec tin g   d iv er s ex p er r esp o n s es.  T h f u zz y   s co r v alu o f   0 . 6   f o r   “p o licy ”  s u g g ests   th at  wh ile  r esp o n s es  w er n o wid ely   s ca tter ed ,   th e y   wer n o s tr o n g ly   u n if ied   eith e r .   T h is   im p lies   a   lev el  o f   co m m o n   u n d er s tan d in g   with   s o m e   v ar iatio n   in   e x p er o p in io n s .   Fo r   “leg is latio n   an d   law, ”  a   7 1 ag r ee m en t   was  o b s er v e d ,   w h ich   is   clo s to   th e   7 5 %   th r esh o ld ,   in d icatin g   th at   a   m ajo r ity   o f   ex p er ts   p r o v id e d   s im ilar   r esp o n s es.  Ho wev er ,   s in ce   th is   v alu r em ain ed   b elo 7 5 %,  s o m Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 5 0 2 - 4 7 5 2   I n d o n esian   J   E lec  E n g   &   C o m p   Sci ,   Vo l.  39 ,   No .   2 ,   Au g u s 20 25 1 0 3 5 - 1 052   1044   v ar iatio n   in   ex p er o p in io n s   p er s is ted .   T h f u zz y   s co r v alu o f   0 . 5 4 3   f u r th er   s u g g ests   th at  ex p er r esp o n s es   wer s o m ewh at  d is p er s ed ,   t h o u g h   n o en tire ly   m is alig n ed .   T h is   in d icate s   th at  wh ile   g en er al  a g r ee m en t   ex is ted ,   s ig n if ican d if f e r en ce s   in   in d iv id u al  o p in io n s   lo wer e d   th o v er all  co n s en s u s   s co r e.   So m ex p er ts   m ay   h av s tr o n g ly   o p p o s ed   ce r tai n   asp ec ts ,   r ed u cin g   th o v e r a ll  co n s en s u s .   C o n s eq u en tly ,   th ese  two   elem en ts   wer r em o v ed   f r o m   t h f r am ewo r k .   C o n v er s ely ,   “p e d ag o g y   ( d ef u zz if ied   v al u e:  0 . 7 0 5 )   a n d   “u s er   r ea d in ess /k n o wled g e/willin g n ess   to   u s tech n o lo g y ”  ( d ef u zz if ied   v alu e:  0 . 7 0 5 )   r a n k ed   h ig h est,  in d icatin g   th eir   cr itical  im p o r tan ce   wit h in   th e   g iv en   co n te x t.  “Go a s ettin g ”  ( d ef u zz if ied   v alu e 0 . 6 6 7 ) ,   “a ctio n   ( d e f u z z i f i e d   v a l u e :   0 . 6 5 7 ) ,   a n d   g r o u n d i n g / b o u n d a r y   ( d e f u z z i f i e d   v a l u e 0 . 6 4 8 )   f o l l o w e d   cl o s e l y ,   e m p h as i zi n g   t h e   s i g n i f ic a n c e   o f   g o a l   d e f i n it i o n ,   a c t i o n - t a k i n g ,   a n d   b o u n d a r y - s e t ti n g   i n   t h e   a n a l y s e d   d o m a i n .   C u r r i c u l u m   s t r u c t u r e ”  ( d e f u z z i f i e d   v a l u e 0 . 6 4 8 )   a n d   s k i ll   s e ts   b y   i n d u s t r i e s ”  ( d e f u z z i f i e d   v a l u e:   0 . 6 3 8 )   w e r e   a c c e p t e d   b u r a n k e d   l o w e r ,   i n d i c at i n g   m o d er a t e   i m p o r t a n c e .   C u lt u r e   r e c ei v e d   t h e   l o w es t a c c e p te d   s c o r e   ( 0 . 5 4 3 ) ,   s u g g e s t i n g   t h a t   w h i l e   it   m e t   t h e   t h r es h o l d ,   i t   w a s   n o t   c o n s i d e r e d   h i g h l y   c r i t i c a l .   O v e r a l l ,   p e d a g o g i c a l   a n d   u s e r   r e a d i n e s s   w e r e   r e g a r d e d   a s   t h e   m o s t   c r u c i a l   e le m e n t s .   P o li c y   a n d   l e g i s l at i o n   d i d   n o t   r e c ei v e   s u f f i c ie n t   e x p e r t   s u p p o r t ,   i m p l y i n g   t h a t   t h e y   m i g h t   n o t   b e   a s   r e l e v a n t   w i t h i n   t h i s   s p e c i f i c   e d u c a t i o n a l   a n d   t e ch n o l o g i c a l   c o n t e x t .   A d d i t i o n a l l y ,   g o a l   s et t i n g ,   a c tio n s ,   a n d   b o u n d a r y   d e f i n i t i o n s   w e r e   d e e m e d   i m p o r t a n t   c o n s i d e r a t i o n s .       T ab le  1 0 .   E x p er t c o n s en s u s   f o r   th elem en ts   o f   "su b ject"   El e m e n t s   Tr i a n g u l a r   f u z z y   n u mb e r s   D e f u z z i f i c a t i o n   v a l u e   R e s u l t   R a n k i n g   A v e r a g e   t h r e s h o l d   v a l u e   ( d )   A v e r a g e   p e r c e n t a g e   o f   e x p e r t   c o n se n s u s (  )     ( %)   A v e r a g e   f u z z y   sco r e   (A)   Le a r n i n g   r e s o u r c e s s u c h   a s ( p r e - r e c o r d e d   v i d e o s,   l e c t u r e   n o t e s,   e x e r c i s e s,  u sef u l   l i n k s,   w i k i )   0 . 2   95   0 . 6 8 6   A c c e p t e d   1   S t u d e n t s / l e a r n e r s   0 . 2   90   0 . 6 8 6   A c c e p t e d   1   Te a c h e r s/ i n s t r u c t o r s/ l e c t u r e r s   0 . 2   90   0 . 6 7 6   A c c e p t e d   3   S e r v i c e su c h   a e - a ss e ssm e n t   a n d   a ssessm e n t   a n a l y t i c s   0 . 2   90   0 . 6 4 8   A c c e p t e d   4       T ab le  1 1 .   E x p er t c o n s en s u s   f o r   th elem en ts   o f   c o n tr o l ( r u l es )”   El e m e n t s   Tr i a n g u l a r   f u z z y   n u m b e r s   D e f u z z i f i c a t i o n   v a l u e   R e s u l t   R a n k i n g   A v e r a g e   t h r e s h o l d   v a l u e   ( d )   A v e r a g e   p e r c e n t a g e   o f   e x p e r t   c o n s e n s u s   (  )   ( %)   A v e r a g e   f u z z y   sco r e   ( A)       P e d a g o g y   0 . 2   95   0 . 7 0 5   A c c e p t e d   1   U ser rea d i n e ss / k n o w l e d g e / w i l l i n g n e s s t o   u se  t h e   t e c h n o l o g y   0 . 2   95   0 . 7 0 5   A c c e p t e d   1   " G o a l   set t i n g .   [ N o t e :   s t u d e n t s   c o n si d e r   w h a t   t h e y   w a n t   t o   a c h i e v e   a n d   set t i n g   o n e   o r   mo r e   g o a l a c c o r d i n g l y . ] "   0 . 2   95   0 . 6 6 7   A c c e p t e d   3   " A c t i o n .   [ N o t e :   a c t i o n t h a t   c a n   b e   t a k e n   b y   t h e   v a r i o u s   st a k e h o l d e r ( e g .   p o l i c y   m a k e r s,  a d mi n i s t r a t o r s,   l e c t u r e r s ,   st u d e n t s) ] "   0 . 2   90   0 . 6 5 7   A c c e p t e d   4   " G r o u n d i n g   /   B o u n d a r y .   [ N o t e :   t h e   sc o p e   c o v e r e d .   F o r   e x a m p l e ,   t h e   sc o p e   o f   i n f o r mat i o n   t h a t   t h e   a n a l y t i c s wi l l   p r o v i d e   a n d   h o w   i t   r e l a t e t o   t h e   e d u c a t i o n a l   c o n t e x t . ] "   0 . 2   90   0 . 6 4 8   A c c e p t e d   5   C u r r i c u l u m st r u c t u r e   0 . 2   86   0 . 6 4 8   A c c e p t e d   5   S k i l l s s e t s   b y   i n d u st r i e s   0 . 2   86   0 . 6 3 8   A c c e p t e d   7   D a t a   p r i v a c y / s e c u r i t y   0 . 2   81   0 . 6 1 9   A c c e p t e d   8   P o l i c y   0 . 1   52   0 . 6 0 0   R e j e c t e d     Le g i sl a t i o n   a n d   l a w   0 . 2   71   0 . 5 4 3   R e j e c t e d     C u l t u r e   0 . 2   76   0 . 5 4 3   A c c e p t e d   9       3 . 8 .     E x pert   co ns ens us   f o t he  co mm un ica t io n ( div is io n o f   la bo ur )   c o m po nent   T ab le  1 2   p r esen ts   th ex p er c o n s en s u s   o n   th elem en ts   o f   th co m m u n icatio n   ( d iv is io n   o f   lab o u r ) ”  co m p o n en co n ce r n i n g   th e   c o m m u n icatio n   m ed i u m   am o n g   v a r io u s   s tak eh o l d er s .   E x p er ts   ag r ee d   th at  a   s y s tem   p r o v id in g   m o b ile  ass e s s m en an aly tics   to   en h an ce   s t u d en ts '   co n f id en ce   m u s f ac ilit ate  co m m u n icatio n   am o n g   s tak eh o ld er s ,   en ab li n g   f o r u m s ,   co llab o r atio n ,   an d   team wo r k .   B o th   el em en ts   with in   th e   “c o m m u n icatio n   ( d iv is io n   o f   lab o u r ) ”  c o m p o n en r ec eiv ed   h ig h   ag r ee m e n am o n g   e x p e r ts .   “Co llab o r atio n   Evaluation Warning : The document was created with Spire.PDF for Python.