I nte rna t io na l J o urna l o f   E v a lua t io n a nd   Resea rc h in E du ca t io n ( I J E RE )   Vo l.   15 ,   No .   1 Feb r u ar y   2 0 2 6 ,   p p .   784 ~ 794   I SS N:  2 2 5 2 - 8 8 2 2 DOI : 1 0 . 1 1 5 9 1 / ijer e . v 15 i 1 . 3 5 3 5 5       784       J o ur na l ho m ep a g e h ttp : //ij ere. ia esco r e. co m   Exper ev a lua tion  of a web - ba sed g ra mm a tical co mpetence   mo dule:  F uzzy   D elphi me thod       Nur  H ida y a h M d Ya zid 1, 2 ,   N ur  Ainil   S ula im a n 1 ,   H a rwa t i   H a s him 1, 3   1 F a c u l t y   o f   Ed u c a t i o n ,   U n i v e r si t i   K e b a n g sa a n   M a l a y s i a ,   B a n g i ,   M a l a y si a   2 C e n t r e   o f   F o u n d a t i o n   S t u d i e s,  U n i v e r si t i   Te k n o l o g i   M A R A ,   D e n g k i l ,   M a l a y si a   3 Ed u x c e l l e n c e :   D e v e l o p m e n t   o f   I n n o v a t i v e   C u r r i c u l u m   a n d   P e d a g o g y   R e s e a r c h   G r o u p ,   B a n g i ,   M a l a y si a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   Ap r   1 2 0 2 5   R ev is ed   Au g   15 2 0 2 5   Acc ep ted   Oct   1 2 0 2 5       Web - b a se d   lea rn i n g   m o d u les   h a v e   b e e n   c o n si d e re d   i n d is p e n sa b le  fo r   En g li s h   a a   se c o n d   lan g u a g e   ( ES L )   lea rn e rs  t o   u ti li z e   a u t o n o m o u sly .   Ho we v e r,   t h e re   a re   stil l   n o t   m a n y   re p u tab le   g ra m m a ti c a c o m p e ten c e   m o d u les   d e sig n e d   f o r   th e   tran siti o n   b e twe e n   se c o n d a ry   sc h o o a n d   u n d e r g ra d u a te   lev e ls.   Th u s,   th is  stu d y   a ime d   to   a sc e rtain   e x p e rt   c o n se n su s   o n   d e v e l o p i n g   a   we b - b a se d   g r a m m a ti c a c o m p e ten c e   m o d u le   fo r   p re - u n i v e rsity   ES L   lea rn e rs T h e   F u z z y   De lp h m e th o d   (F DM)   wa e m p lo y e d   i n   th is  st u d y   to   c re a te  th e   m o d u le.  F o u r   b r o a d   c o n str u c ts,  w h ich   a re   t h e   d e si g n ,   tec h n ica a sp e c ts,  c o n ten t,   p e d a g o g y   o th e   we b site  we re   u se d   a re fe re n c e s   in   d e v e l o p i n g   a   su r v e y   a th e   in stru m e n fo t h e   stu d y .   Th e   fe a t u re in   th e   su rv e y   we re   e v a lu a ted   b y   six   se lec ted   e x p e rts  b a se d   o n   e sta b li sh e d   c rit e ria   fo h ig h - q u a li ty   lan g u a g e   lea rn i n g   we b sites .   Da ta  a n a ly sis  wa u n d e rtak e n   u sin g   a   5 - p o i n f u z z y   sc a le  a n d   t h e   F u z z y   De lp h i   a p p r o a c h   L o g ic  S o f twa re   (F UD EL O 1 . 0 ).   S u p p o rted   b y   th e   fin d i n g s a n d   a   c o n se n su s rate   o o v e 7 5 % ,   a   c u t - o ff  v a l u e   (d o ≤0 . 2 ,   a n d   a   fu z z y   sc o re   (A)  o ≥α - c u v a lu e = 0 . 5 ,   e x p e r t   c o n se n su wa re a c h e d   fo th e   fo u c o n str u c ts.  Th e   fin d in g su p p o rt  th a th e   m o d u le  is  fit t in g   fo p re - u n i v e r sity   E S lea rn e rs  a n d   c a n   b e   u se d   a a   su p p lem e n tary   g ra m m a lea rn in g   m o d u le.  Em p iri c a stu d ies   r e late d   to   lea rn e p e rfo rm a n c e   a n d   e n g a g e m e n o u tco m e in   t h e   fu t u re   m u st  c o n t in u e   a ss e ss in g   th e   lo n g - term   e ffe c ti v e n e ss   o th e   m o d u le  a n d   e n s u re   it s   lo n g - term   e ffica c y   in   ES L   lea rn in g .   K ey w o r d s :   E SL   E x p er t e v al u atio n   Fu zz y   Delp h i m eth o d   Gr am m atica l c o m p eten ce   W eb - b ased   m o d u le   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Nu r   Hid ay ah   M d   Yaz id   C en tr o f   Fo u n d atio n   Stu d ies,  Un iv er s iti T ek n o lo g i M AR   Den g k il,  Selan g o r ,   Ma lay s ia   E m ail:  n u r h id a y ah 7 9 4 5 @ u itm . ed u . m y       1.   I NT RO D UCT I O N   I n   th lan g u a g ed u ca tio n   p ar ad ig m ,   web - b ased   lear n in g   m o d u les  h av b ee n   estab lis h ed   as  ess en tial   to o ls   f o r   a u to n o m o u s   lear n in g ,   p ar ticu lar ly   in   th e   co n te x o f   g r am m atica in s tr u ctio n .   No n e th eless ,   th s ch o o l   to   p o s t - s ec o n d ar y   tr an s itio n   c r ea tes  ch allen g es  f o r   Ma lay s i an   p r e - u n iv er s ity   lear n er s   in   E n g lis h   as  s ec o n d   lan g u ag ( E SL )   [ 1 ] .   T h ch al len g is   to   tr an s ce n d   co n v en t io n al  m eth o d s   o f   teac h in g   g r am m ar   th at  f ail  to   f ac ilit ate  au th en tic  an d   m ea n i n g f u en g ag em en [ 2 ] .   Fu r th e r m o r e,   th d e v elo p m e n o f   w eb - b ased   lear n in g   m o d u les  f o r   lear n in g   g r am m ar ,   p ar ticu lar ly   f o r   p r e - u n i v e r s ity   E SL  lear n er s ,   r em ain s   lack in g   as  lo o f   p r ev io u s   r esear ch   f o cu s ed   m a in ly   o n   u n d er g r ad u ate   s tu d en t s   [ 3 ] [ 5 ] .   C o n s eq u en tly ,   g r am m atica k n o wled g [ 6 ] ,   wh ich   is   cr u cial  f o r   s ec o n d   lan g u a g ( L 2 )   wr itin g   [ 7 ]   an d   ef f ec tiv co m m u n icatio n   [ 8 ]   at  th ter tiar y   lev el,   is   lim ited   in   m an y   p r e - u n iv er s ity   E SL  lear n er s .   Prio r   s tu d ies  also   in d icate d   th at  m an y   p r e - u n iv er s ity   s tu d en ts   o f ten   f ac ed   d if f icu ltie s   in   wr itin g   d u to   wea k n ess es  in   g r am m ar   an d   v o ca b u lar y   as  well  as  lack   o f   m o tiv atio n   [ 9 ] ,   [ 1 0 ] .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E xp ert ev a lu a tio n   o f a   w eb - b a s ed   g r a mma tica l c o mp eten ce   mo d u le:   F u z z y     ( N u r   Hid a y a h   Md   Ya z id )   785   R esear ch   in   L2   ac q u is itio n   h ig h lig h ts   th im p o r tan ce   o f   ex p licit  g r a m m ar   in s tr u ctio n   an d   co m m u n icativ e   p r ac tice.   Kr as h en   in p u t   h y p o th esis   [ 1 1 ]   p o s ited   th at  lear n er s   also   b en e f it  f r o m   n o ticin g   an d   co n s cio u s ly   p r o ce s s in g   g r a m m atica f o r m s .   At  th s am ti m e,   as  s u g g ested   b y   Sch m id n o ticin g   h y p o th esis   [ 1 2 ] ,   ex p o s u r to   co m p r eh e n s ib le  in p u is   cr u cial  f o r   lan g u ag d ev el o p m en t.  web - b ased   m o d u le  ca n   p r o v id an   o r d er l y   d o m ain   f o r   lear n er s   to   f o cu s   o n   g r am m ati ca f o r m s ,   f u n ctio n s ,   an d   a p p li ca tio n s   wh ile  th ey   en g ag in   m ea n in g f u la n g u a g ac tiv ities   an d   tak c o n tr o l   o f   th eir   o wn   lear n in g   p ac e,   w h ich   will  u ltima tely   b o o s t th eir   ac ad e m ic  r ea d in ess   [ 1 3 ] ,   [ 1 4 ] .   As  th g lo b al   d em a n d s   o f   th e   2 1 s ce n tu r y   co n tin u e   to   e v o lv e,   th er e   h as  b ee n   an   o b s er v ab l in cr ea s in   th tr an s f o r m atio n   to war d s   th in co r p o r atio n   o f   i n ter n et - b ased   lan g u a g teac h in g   in   t h class r o o m   [ 1 5 ] T h u tili za tio n   o f   web s ites   h as  b ee n   f lo u r is h in g   s ig n if ican tl y ,   esp ec ially   in   th p r o ce s s   o f   E n g lis h   lan g u a g e   lear n in g   ( ELL )   [ 1 ] .   Stre n g th en in g   s u ch   tech n o lo g y   will  en ab le  th m o d u le  to   b len d   ad ap tiv lear n in g   p r ac tices,  in s tan f ee d b ac k   f e atu r es,  an d   m u ltime d ia  r eso u r ce s   to   f u lf il  v ar io u s   lear n i n g   n ee d s   [ 1 6 ] .   T h e   ex is tin g   g ap   ca n   b n ar r o wed   th r o u g h   th in co r p o r atio n   o f   th web - b ased   g r am m atica c o m p eten ce   m o d u le  b y   g iv i n g   lear n er s   s y s tem atic,   in ter ac tiv e,   a n d   s elf - p ac e d   lear n in g   ex p er ie n ce s .   C o n te x tu al  lear n in g   an d   p er s o n alize d   lear n i n g   ex p er i en ce s   ar f o s ter ed   b y   au t o n o m o u s   lear n i n g   [ 1 7 ] .   T h u s ,   co m p ar e d   to   th e   tr ad itio n al  r o te   lear n in g   m eth o d ,   s tu d e n ts   ar a b le  to   i n ter n alize   g r am m atica s tr u ct u r es  m o r e   ef f ec tiv ely .   Ad d itio n ally ,   lan g u a g ed u ca t io n   h as  b ee n   tr an s f o r m ed   b y   th em er g en ce   o f   tech n o lo g y   d u to   r is in g   n ew   o p p o r tu n ities   f o r   im p r o v in g   la n g u ag e   lear n in g   an d   t h ef f ec t iv en ess   o f   in s tr u ctio n al  ef f icien cy   [ 1 8 ] .   Nu m er o u s   tech n o lo g ies  h av e   b ee n   d ev elo p ed   b y   r esear c h er s   to   ass is E SL  s tu d en ts   with   th eir   lan g u ag e   ed u ca tio n ,   s u ch   as  im p r o v e d   wr itin g   p er f o r m a n ce   th r o u g h   iPad s   am o n g   ad o les ce n ts   with   au tis m   s p ec tr u m   d is o r d er s   [ 1 9 ]   an d   en h an ce d   ac q u is itio n   o f   E n g l is h   lan g u ag co m p eten ce   th r o u g h   g am if icatio n   [ 2 0 ] .   Nev er th eless ,   in n o v atio n s   th at  p ar ticu lar l y   aid   Ma lay s ian   p r e - u n iv er s ity   E SL   lear n er s   with   th ei r   g r am m atica co m p eten cy   h av r ec eiv ed   lim ited   atten tio n .   Ad d itio n ally ,   alth o u g h   in s tr u cto r s   an d   s tu d en ts   wer f r eq u en tly   in clu d e d   i n   ea r lier   s tu d ies  wh en   ass ess in g   E L L   web s ites   an d   o n lin e   r eso u r ce s   [ 2 1 ] [ 2 3 ] s u b ject  m atter   s p ec ialis ts   im p o r tan v iewp o in at  e v er y   s tag o f   t h cr ea tio n   o f   th we b s ite  an d   g r o wth   is   s o m etim es  d is r eg ar d ed .   Field   ex p er ts   ar ess en tial  to   th ev alu atio n   o f   web s ites   s in ce   th ey   ar ab le  to   p o in t   o u p o s s ib le  ar ea s   f o r   d e v elo p m en [ 2 4 ] Hen ce ,   tec h n o lo g ical  to o ls   m u s b e v alu ated   b ef o r b ein g   im p lem en ted   f o r   u tili za tio n   b y   ac tu al  u s er s   to   en h a n ce   q u alit y .   Kar tal  an d   Uzu n   [ 2 5 ]   d is tin g u is h ed   th r ee   cr iter ia  o f   an   e f f ec tiv web s ite  f o r   lan g u ag a cq u is itio n .   T h f ir s cr iter io n   is   p h y s ical  f ea tu r es  th at  f o r esh ad o t h o v er all  d esig n   a n d   f r am ewo r k   o f   th e   web s ite  ( s u ch   as  ea s y   ac ce s s   to   m u ltime d ia  r eso u r ce s ,   s ea m less   tr an s itio n s ,   n o   ey s tr ain   f r o m   co lo r   u s e,   an d   th e   ab ilit y   to   u s v ir tu al  m ater ials   an d   o th er   to o ls ) .   T h s ec o n d   cr iter i o n   i s   co n tex tu al  f ea tu r es  r elate d   t o   th f ea tu r es  o f   th e   co n ten o f   th s ite.   Fo r   ex am p le,   au th en tic  an d   u p - to - d ate  m ater ials   in   v ar io u s   f o r m ats  an d   ty p es  th at  ar e   ap p o s ite  f o r   th s u b ject,   lear n er s   lev el  an d   ty p m u s b av ailab le.   T h ex er cises   o u g h t   to   b ad ap tab le  to   allo u s er   co n tr ib u tio n s   an d   p r o v id f ee d b ac k .   Similar ly ,   th co n ten t sh o u ld   c o m p r is p r a ctica l e x er cise to o ls   f o r   d if f e r en lev els.  T h th ir d   cr iter io n   is   p ed ag o g ical,   wh ich   r elate s   to   th co m p o n en ts   o f   lear n in g   ( f o r   ex am p le,   m ater ials   th at  ar s im p le  an d   p r o v id clea r   elu ci d atio n   an d   d ir e ctio n   o n   ac tiv i ties   an d   ex er cises ,   in f o r m ativ e,   h elp f u l,  u s ef u f e ed b ac k ,   alig n i n g   with   ed u ca ti o n   in n o v atio n ,   a p p r o p r iate  in   lev el  an d   p er tin e n with   r eg ar d s   to   web s ite’ s   s c o p e,   n ee d s ,   an d   p u r p o s e) .   Acc o r d in g   to   Fu en tes  an d   Ma r tín ez   [ 2 6 ] ,   th ese  th r e e   tr aits   alig n   with   th ap p r o p r iat f u n d a m en tals   o f   s u p p lem e n tar y   web - b ased   lear n in g   r eso u r ce .   T h Fu zz y   Delp h m eth o d   ( F DM )   h as  b ee n   ap p lied   in   s ev er al  s tu d ies  to   estab li s h   ex p er co n s en s u s   o n   ess en tial  elem en ts   f o r   d e s ig n in g   ed u ca tio n al   m o d u les  ac r o s s   d iv e r s d is cip lin es.  Mo s s tu d ies  h av e   f o cu s ed   o n   id en tif y in g   c r itical  co m p o n en ts   f o r   m o d u le  d ev elo p m en t,  p ar ticu lar ly   i n   o n li n an d   tec h n o lo g y - en h an ce d   lear n in g   en v i r o n m e n ts .   Fo r   in s tan ce ,   s ev er al  s tu d i es   [ 2 7 ] ,   [ 2 8 ]   em p h asized   in te g r atin g   p ed a g o g ical   s tr ateg ies  with   tech n o lo g y   b y   u s in g   ex p er v alid atio n   to   r e f in s ce n ar io - b ased   an d   p r o b l em - b ased   lear n i n g   m o d u les,  r esp ec tiv ely .   On   t h e   o th er   h an d ,   b ased   o n   e x p er t   co n s en s u s   in   f o u r   k ey   a r ea s o b jectiv es,  co n ten t,   lear n in g   ac tiv ities ,   an d   ass ess m en ts ,   L u o   et  a l [ 29 ]   s tr u ctu r ed   tech n ical  co m m u n icatio n   m o d u le.   Desp ite  m o s s tu d ies  u tili z in g   FDM  to   test   m o d u le  co m p o n en ts ,   th n atu r o f   th m o d u les  d if f er s   ac r o s s   d is cip lin es  an d   in s tr u ct io n al  ap p r o ac h es.  Fo r   in s tan ce ,   s ev er al  s tu d ies  co n ce n tr ated   o n   th in teg r atio n   o f   tech n o lo g y - e n ab led   lear n in g   [ 2 8 ] ,   [ 30 ] .   L im   an d   Ka m in   [ 30 ]   u tili ze d   m o b ile  au g m en ted   r ea lity   f o r   v o ca tio n al  lear n in g ,   wh er ea s   Yu s o f f   et   a l .   [ 2 8 ]   em p l o y e d   p r o b lem - b ased   lear n i n g   in   an   I s lam ic  s tu d ies   co u r s e .   C o n v er s ely ,   s ev er al  r esear ch er s   [ 2 7 ] ,   [ 29 ]   d ev elo p ed   th eir   m o d u les  b ased   o n   c o n cr ete  s k ill - b ased   co m p eten cies  s u ch   as  f r o n t - o f f ice  o p er atio n s   an d   tech n ical  co m m u n icatio n .   B y   ap p ly in g   FDM  in   th d esig n   an d   d e v elo p m e n p h ases   to   en h an ce   th e   co m p ete n cies  o f   E n g lis h   lan g u ag e   teac h er s ,   Kr is h n an   et  a l [ 31 ]   wer e   d is tin ct  in   th ap p licatio n   o f   g am if icatio n   with   C lass cr af t.  Desp ite  th o b s er v ab le  d if f er e n ce s ,   all  th s tu d ies   co n f ir m e d   ex p er co n s en s u s   o n   cr itical  m o d u le  co m p o n e n ts .   T h f in d in g s   o f   th s tu d i es  d em o n s tr ate  th e   ab ilit y   o f   FDM  to   v alid ate  in s t r u ctio n al  d esig n   in   d iv e r s lear n in g   s ettin g s .   W ith   all  th im p o r tan ce   an d   b en ef its   o f   tec h n o l o g ical  to o ls ,   p ar ticu lar ly   web - b ased   lear n in g ,     th n ee d   to   f ill  in   th t r an s itio n   g ap   b etwe en   s ec o n d ar y   s c h o o a n d   u n d er g r a d u ate  le v el s   with   r e p u tab le  g r am m atica co m p eten ce   m o d u le,   as  well  a s   th u n p r ec ed en ted   u s o f   th FDM  in   m o d u le  an aly s is ,   th m ain   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   1 Feb r u a r y   20 26 :   784 - 794   786   o b jectiv o f   t h c u r r en t   s tu d y   wh ich   was  to   ass ess   ex p er ts   o p in io n s   o n   web - b ased   g r am m atica co m p eten ce   m o d u le  was  estab lis h ed .   T h is   s tu d y s   r esear ch   q u esti o n   was   f o r m u lated   as wh at  is   th ex p er ts   co n s en s u s   o n   th d esig n ,   tech n ical  asp ec ts ,   co n ten t,  a n d   p ed ag o g y   o f   th e   web - b ased   g r am m atica m o d u le  ( MO DUGRAM)   f o r   p r e - u n i v er s ity   E SL  lear n er s ?   T h is   m o d u le  h ad   b ee n   d esi g n ed   as  f r ag m e n o f   d e v elo p m en tal  r esear ch   p r o ject   an d   was  ex am in ed   ac co r d i n g   t o   p r e - estab lis h ed   cr iter ia  b y   u s in g   FD to   d eter m in its   ef f e ctiv en e s s   an d   r elev a n ce   in   p r e - u n i v er s ity   E SL  lear n er s   ac ad em ic  g r am m atica co m p ete n ce   d ev elo p m e n t.  T h e   r a t i o n a le   o f   t h is   s t u d y   i s   t o   a t t a i n   t h e   c o n s e n s u s   o f   e x p e r t s   o n   t h e   i t e m s   o f   t h e   c o n s t r u c t s   t h at   u n d e r p i n   t h e   w e b - b a s e d   g r a m m a t i ca c o m p e t e n c e   m o d u l e   ca l l e d   MO D U GR A M   f o r   p r e - u n i v e r s i t y   E S L   l e a r n e r s .   T h e   s i g n i f i ca n c e   o f   t h is   s t u d y   w o u l d   g r e a t l y   c o n t r i b u t e   t o   t h e   b o d y   o f   k n o w l e d g e   a n d   g u i d e l i n e s   in   t h e   e s ta b l is h m e n t   o f   a   q u a li ty   w e b - b a s e d   m o d u l t h a t   c a n   b e   i m p l e m e n t e d   b y   t h e d u c a t i o n   p o l i c y   m a k e r s   a n d   E n g l i s h   l a n g u a g e   e d u c a t o r s   a r o u n d   t h e   w o r l d .       2.   M E T H O D   T h th r ee   p h ases   o f   d esig n   an d   d e v elo p m e n r esear ch   ( DDR)  in   th is   s tu d y   ar n ee d s   an aly s is     ( p h ase  1 ) ,   d e s i g n   a n d   d e v e l o p m e n t   ( p h a s e   2 ) ,   a n d   i m p l e m e n ta t i o n   a n d   e v a l u a t i o n   ( p h ase  3 [ 32 ] .   T h p r o to ty p m u s b ass ess ed   b ef o r s tu d e n ts   ca n   u s e   th web - b ased   m o d u le.   T h is   s tu d y   was  i n   p h ase  2   as  it   f o c u s ed   o n   g ettin g   ex p e r ts   co n s en s u s   o n   th co n s tr u cts  o f   MO DUGRAM  f o r   p r e - u n iv er s ity   E SL   lear n er s   u s in g   t h e   FDM .   T h is   s tu d y   em p lo y e d   th FDM  as  ex p er o p in io n   is   n ee d e d   to   ar r iv at  co n clu s io n   [ 33 ] R esear ch   by  C ip to n o   et  a l [ 34 ]   s tated   th at  th FDM  h elp s   g ath e r   ex p er ts   o p in io n s ,   r ea ch   co n s en s u s ,   id en tify   p o ten tial  in s tr u ctio n al  in ter v e n tio n s ,   p r ed ict  f u tu r tr en d s ,   an d   en g a g u s er s   with o u tim an d   g eo g r ap h ical   lim its .   T h FDM  also   h elp ed   id en tify   th lev el   o f   u n d er s tan d in g   a m o n g   th e   ex p er ts ,   s o lv e   d is ag r ee m en ts ,   an d   r ea ch   co n s en s u s .   L atif   et  a l [ 35 ]   s tated   th at  th FDM   was  o f ten   u s ed   in   s u r v ey s .   Yu s o f f   et  a l .   [ 2 8 ]   m en tio n ed   t h at  th FDM  h as  m o r ad v an tag es  th a n   th Del p h m eth o d   as  it  allo ws  ex p er ts   to   g iv o p i n io n s ,   o r g an ize  th e   s u r v ey   ad m in is tr atio n   p r o ce s s ,   an d   s av tim a n d   r eso u r ce s .     2 . 1 .   F DM   in s t rum ent   co ns t ruct io n   liter atu r r ev iew  s er v ed   as  th g r o u n d wo r k   f o r   th e   cr ea ti o n   o f   th Fu zz y   Delp h in s tr u m en t.  T h e   r esear ch er   co u ld   b ase  th c o m p o n en ts   o f   th s u r v ey   o n   p ilo s tu d ies,  liter atu r r e v iew,   an d /o r   p r io r   ex p er ien ce s   [ 2 8 ] .   Ad d itio n all y ,   Mo k h tar   an d   Yasin   [ 36 ]   d is co v er ed   th at  p r io r   s tu d ies  s h o u ld   b e   u s ed   as  g u id elin es  to   co n s tr u ct  th item s   an d   co n ten p ar ts   o f   s tu d y .   T h s tu d y s   s u r v e y   d esig n   m eth o d o l o g y   was   co n d u cte d   in   two   p h ases .   Mo s o f   th s u r v ey   item s   wer a d ap ted   an d   in clu d ed   f r o m   p r e v io u s   r esear ch   [ 1 ] ,   [ 37 ] .   T h e   r esear ch e r s   also   ad d ed   a   f ew  item s   to   th e   s u r v ey   t o   s u it  th e   co n ten ts   an d   m ea s u r em en item s .   T h ese  item s   wer d iv id e d   with   5 - p o in L i k er s ca le  in t o   f o u r   c o n s tr u cts:   d esig n ,   tech n ical  a s p ec ts ,   co n ten t,  a n d   p ed ag o g y ,   wh ic h   ad a p ted   f r o m   Fis al  et  a l .   s tu d y   [ 1 ] ,   an d   b a s ed   o n   Kar tal  an d   Uzu n   f r am e wo r k   [ 2 5 ] .   T h item s   in clu d ed   i n   th e   s u r v ey   wer e   test ed   f o r   v alid it y   w ith   th aid   o f   u n iv er s ity   ac ad e m ics  in   th e   teac h in g   E n g lis h   as  s ec o n d   lan g u a g ( T E SL)   an d   co m p u ter   s cien ce   f ield s .   So m r e v is io n s   wer m ad p ar ticu lar ly   in   r e g ar d   t o   th c h o ice  o f   wo r d s   an d   th s en te n ce   s tr u ctu r es  to   f ix   d o u b le - b ar r el  s tatem en ts   an d   s im p lify   th em .   Su b s eq u en tly ,   th r esear ch er   f in alize d   th e   item s   in   th s u r v ey   a n d   s en t   it  to   s ix   s elec ted   ex p er ts   v ia  em ail  to   ev alu at MO DUG R AM .   T h lab els   an d   d etailed   d escr ip tio n s   o f   th item s   in   ea ch   co n s tr u ct  ar ex h ib ited   in   T ab l 1 .     2 . 2 .   Sa m ple e x pert   cr it er ia   a nd   s a m pli ng   Pu r p o s iv s am p lin g   was  u tili ze d   to   s elec th ex p er ts   f o r   th is   s tu d y .   T h eir   lev el  o f   ex p er tis an d   r esear ch   ex p e r ien ce   wer c o n s id er ed   ac co r d in g   to   th e   ex p e r t c r iter ia.   Pu r p o s iv s am p li n g   is   th m o s ap p o s ite   m eth o d   f o r   s am p lin g   in   FDM  [ 36 ] .   I n   th is   s tu d y ,   s ix   s elec te d   ex p e r ts   ass ess ed   th m o d u le .   T h e x p er ts   m u s p o s s ess   at  least  f iv y ea r s   o f   ex p er ien ce ,   p ar ticu lar ly   in   th e ir   ar ea   o f   s p ec ializatio n ,   an d   co n tin u o u s ly   h av e   teac h in g   an d   wo r k in g   ex p e r i en ce   with in   th ed u ca tio n   f i eld   [ 36 ] .   I s m ail  et  a l [ 38 ]   af f ir m ed   th at  FDM  r eq u ir es  co n s en s u s   an d   ex p er o p in io n   in   a n   attem p to   d ev elo p   m o d u le.   Fiv to   ten   ex p er ts   ar e   r ec o m m en d ed   wh ile  s elec tin g   ex p er ts   with   s im ilar   b ac k g r o u n d s   [ 39 ] .   T h er e f o r e,   s ix   ex p er ts   ar ad eq u ate  to   g ath er   d ata  a n d   o b tain   a n   ex p er co n s en s u s .   T h lis p r esen ts   th m o r d etailed   cr iter i in   ap p o in tin g   t h e   ex p er ts :   i)   a   Ph . D.   h o ld er   in   th f ield s   o f   E n g lis h   lan g u a g e,   lin g u is tics ,   ed u ca tio n al  tech n o lo g ies,  an d /o r   cu r r icu lu m   a n d   in s tr u ctio n ;   ii )   h as  at  least  f iv y ea r s   o f   teac h in g   u s in g   E n g lis h   as  m ed iu m   o f   in s tr u ctio n ;   an d   iii)  c u r r en tly   wo r k in g   as a n   in - s er v ice  lectu r e r   at  p r e - u n iv er s ity   o r   u n iv er s ity   in s titu tio n .           Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E xp ert ev a lu a tio n   o f a   w eb - b a s ed   g r a mma tica l c o mp eten ce   mo d u le:   F u z z y     ( N u r   Hid a y a h   Md   Ya z id )   787   T ab le  1 .   L a b els an d   d escr ip tio n s   o f   item s   f o r   ea c h   co n s tr u ct  o f   th FDM  in s tr u m en t   C o n st r u c t   I t e l a b e l   I t e m d e s c r i p t i o n   D e si g n   D I 1   D I 2   D I 3   D I 4   D I 5   D I 6   D I 7   D I 8   D I 9   D I 1 0   Th e   l a y o u t   o f   M O D U G R A M   i s   su i t a b l e   f o r   p r e - u n i v e r s i t y   ES st u d e n t s   t o   d e v e l o p   g r a mm a t i c a l   c o m p e t e n c e .   Th e   i m a g e u se d   o n   M O D U G R A M   a r e   su i t a b l e   f o r   t h e   c o n t e n t s.   Th e   c o l o r u se d   o n   M O D U G R A M   a r e   su i t a b l e   f o r   l e a r n i n g .   Th e   t e x t   f o r m a t s   o n   M O D U G R A M   a r e   a p p r o p r i a t e l y   u s e d   a c r o ss  a l l   p a g e s .   Th e   g r a p h i c u se d   o n   M O D U G R A M   a r e   r e l e v a n t   t o   t h e   c o n t e n t s a c r o ss   a l l   p a g e s .   Th e   v i d e o u se d   o n   M O D U G R A M   a r e   r e l e v a n t   t o   t h e   c o n t e n t s a c r o ss   a l l   p a g e s.   Th e   a n i m a t i o n i n   M O D U G R A M   a r e   e a s y   f o r   u s e r s t o   r e c o g n i z e ,   ma k i n g   t h e   i n t e r f a c e   f e e l   s mo o t h   a n d   i n t u i t i v e .   Th e   t y p e o f   f o n t u se d   o n   M O D U G R A M   a r e   e a sy   t o   b e   r e a d .     Th e   si z e o f   f o n t u se d   o n   M O D U G R A M   a r e   e a sy   t o   b e   r e a d .     Th e   o v e r a l l   d e s i g n   o f   M O D U G R A M   i s a t t r a c t i v e .   Te c h n i c a l   a sp e c t s   TI 1   TI 2   TI 3   TI 4     TI 5   TI 6   TI 7   TI 8   TI 9   TI 1 0   Th e   l a y o u t   o f   M O D U G R A M   i s   e a s y   t o   f o l l o w .     Th e   mo d u l e   i s we l l - o r g a n i z e d .     Th e   mo d u l e   i s e a sy   f o r   u sers   t o   l o o k   f o r   t h e   i n f o r m a t i o n   n e e d e d .   Th e   w e b p a g e   f o r   u sers   t o   se n d   f e e d b a c k   t o   t h e   r e se a r c h e r   i s   d i sp l a y e d   w i t h   a   s i n g l e   c l i c k   o n   t h e   se n d   f e e d b a c k   b u t t o n .   Th e   o p t i o n s   a v a i l a b l e   o n   t h e   M O D U G R A M   m e n u   a r e   d i sp l a y e d   w i t h   a   si n g l e   c l i c k .   Th e   e x t e r n a l   w e b s i t e s a r e   d i s p l a y e d   w h e n   t h e   l i n k s   o n   M O D U G R A M   a r e   c l i c k e d .   C l i c k i n g   t o   b r o w s e   M O D U G R A M   t r a n si t i o n s sm o o t h l y .     Th e   a u d i o o n   M O D U G R A M   p l a y   s mo o t h l y   w i t h   a   si n g l e   c l i c k .   Th e   v i d e o o n   M O D U G R A M   p l a y   s mo o t h l y   w i t h   a   si n g l e   c l i c k .   Th e   u s e r   i n t e r f a c e   i u ser - f r i e n d l y .     C o n t e n t   C I 1   C I 2   C I 3   C I 4   C I 5   C I 6   C I 7   C I 8   C I 9   C I 1 0   C I 1 1   C I 1 2   Th e   c o n t e n t s   u se d   a r e   a p p r o p r i a t e   f o r   c u r r i c u l u m   i n   e d u c a t i o n .   Th e   c o n t e n t s   u se d   a r e   a p p r o p r i a t e   t o   t h e   l e a r n i n g   o b j e c t i v e s.     Th e   c o n t e n t s   u se d   a r e   a p p r o p r i a t e   f o r   p r e - u n i v e r si t y   ESL s t u d e n t s’   p r o f i c i e n c y   l e v e l .   Th e   c o n t e n t s   u se d   a r e   a p p r o p r i a t e   f o r   p r e - u n i v e r si t y   ESL s t u d e n t s’   sc h e m a t a .   Th e r e   a r e   n o   t y p o g r a p h i c a l   e r r o r t h a t   c o u l d   l e a d   t o   m i s u n d e r s t a n d i n g .   Th e r e   a r e   n o   sp e l l i n g   e r r o r s   t h a t   c o u l d   c a u se   mi s u n d e r st a n d i n g .   Th e   c o n t e n t s   i n c l u d e   g r a mm a r   l e a r n i n g   a c t i v i t i e s   f o r   p r a c t i c e   o p p o r t u n i t i e s.   Th e   c o n t e n t s   i n c l u d e   a ss e ssm e n t   se c t i o n s   f o r   t e s t i n g   l e a r n e r s’   c o m p r e h e n si o n .   Th e   c o n t e n t s   a r e   p r e se n t e d   t h r o u g h   v a r i o u s t y p e s   o f   me d i a .     Th e   i n f o r m a t i o n   o n   M O D U G R A M   i a c c u r a t e .     Th e   c o n t e n t s   o f   M O D U G R A M   a r e   c u r r e n t   f o r   t h e i r   i n t e n d e d   p u r p o s e s.   Th e   e x t e r n a l   l i n k o n   M O D U G R A M   a r e   c r e d i b l e .   P e d a g o g y   P I 1   P I 2   P I 3   P I 4   P I 5   P I 6   P I 7   P I 8   P I 9   P I 1 0   P I 1 1   Th e   i n f o r m a t i o n   d e l i v e r e d   o n   M O D U G R A M   i e a s y   t o   u n d e r st a n d .   T h e   g r a m m a r   e x e r c i s e s   o n   M O D U G R A M   a r e   s u i t a b l e   f o r   d i f f e r e n t   p r o f i c i e n c y   l e v e l s   o f   p r e - u n i v e r s i t y   E S L   s t u d e n t s .   Th e   i n st r u c t i o n o n   M O D U G R A M   a r e   d i r e c t .   Th e   g r a mm a r   a c t i v i t i e o n   M O D U G R A M   a r e   t h o r o u g h l y   g u i d e d .   Th e   g r a mm a r   a ssess me n t o n   M O D U G R A M   p r o v i d e   i n s t a n t   f e e d b a c k .   Th e   ma t e r i a l s   d e si g n e d   a r e   i n   l i n e   w i t h   c u r r e n t   t e c h n o l o g i c a l   t o o l s f o r   l e a r n i n g .   Th e   ma t e r i a l s   p r o v i d e   e n o u g h   s t i mu l u s t o   p r o m o t e   m e mo r y   r e t e n t i o n .   Th e   ma t e r i a l s   r e f l e c t   t h e   sc o p e   o f   M O D U G R A M .     Th e   ma t e r i a l s   a l i g n   w i t h   t h e   g o a l   o f   M O D U G R A M .   M O D U G R A M   i i n t e r e st i n g   t o   b e   e x p l o r e d   a s   a   r e so u r c e   f o r   l e a r n i n g   g r a m mar t o   e n h a n c e   c o m p e t e n c y .   M O D U G R A M   a l l o w s st u d e n t s   t o   b e   s e l f - d i r e c t e d   l e a r n e r i n   t h e   a b se n c e   o f   a n   i n st r u c t o r .       2 . 3 .   Da t a   co llect io n pro ce du re   T h r ee   o f   th ex p er ts   wer ap p r o ac h ed   i n   p er s o n ,   wh ile  th o th er   th r ee   wer c o n tacte d   v ia  em ail.   All   ex p er ts   wer e   in d iv id u ally   s en f o r m al  e m ail  r e q u est,  an   a p p o in tm e n letter ,   an d   th e   lin k   to   th we b - b ased   m o d u le  ( www. m o d u g r am . co m )   o n ce   th e y   ag r ee d   t o   b ec o m an   ex p er f o r   th is   s tu d y .   T ab le  2   s u m m ar izes  th e   d etails o f   th ex p e r ts   in v o lv e d .       T ab le  2 .   L is t o f   e x p er ts   Ex p e r t   D e si g n a t i o n   A r e a   o f   e x p e r t i se   I n st i t u t i o n   Ex p e r i e n c e   ( y e a r s)   1   A sso c i a t e   p r o f e sso r   A p p l i e d   l i n g u i st i c s ,   t e a c h i n g   E n g l i s h   t o   sp e a k e r s o f   o t h e r   l a n g u a g e s   ( TESO L)   R y u k o k u   U n i v e r si t y ,   J a p a n   15   2   A ssi st a n t   p r o f e ss o r   C r e a t i v i t y   i n   h i g h e r   e d u c a t i o n ,   c r e a t i v e   p r o b l e m s o l v i n g   U n i v e r si t y   o f   N o t t i n g h a m ,   M a l a y si a   5   3   Le c t u r e r   Li n g u i s t i c s   K o l e j   T i n g k a t a n   En a m S h a h   A l a m,   M a l a y si a   13   4   S e n i o r   l e c t u r e r   TESL,  t e c h n o l o g y   e n h a n c e d   l a n g u a g e   l e a r n i n g   ( TE LL)   U n i v e r si t i   P o l y - T e c h   M a l a y si a   15   5   S e n i o r   l e c t u r e r   TESL,  t e a c h e r   e d u c a t i o n ,   D D R ,   c u r r i c u l u m   a n d   i n s t r u c t i o n   U n i v e r si t i   Te k n o l o g i   M A R A ,   M a l a y si a   29   6   A sso c i a t e   p r o f e sso r   Te a c h i n g   En g l i s h   V a n   La n g   U n i v e r si t y ,   V i e t n a m   24     Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   1 Feb r u a r y   20 26 :   784 - 794   788   2 . 4 .   D a t a   a na ly s is   pro ce du re   5 - p o i n L ik er t   s ca le  was  u tili ze d   in   th is   s tu d y   to   d ev elo p   s er ies  o f   ex p e r q u esti o n s   f o llo win g   ex ten s iv s ess io n s   with   p a n el  o f   e x p er ts   an d   an   in - d e p th   r ev iew  o f   th r elev an lit er atu r e.   T h f u zz y   n u m b er s   with   L ik er s ca le  r a n g in g   f r o m   1   to   5   wer ass ig n ed   an d   lab elled   as  m 1 ,   m 2 ,   an d   m 3   [ 40 ] ,   wh ile  th e   f u zz y   v alu es  wer allo ca ted   b y   th Fu zz y   Delp h ap p r o ac h   L o g ic  So f twar e   ( FUDE L 1 . 0 )   f o r   ea ch   o f   th f iv lin g u is tic  v ar ia b les  to   f ac i litate  th ex p er t’ s   r esp o n s to   th s u r v ey ,   as  in d icate d   in   T a b le  3 .   T h g at h er e d   d ata  was  ex am in ed   u s in g   FD th r o u g h   FUDE L 1 . 0 .   T a b le  4   d escr ib es  th s tep s   u s ed   f o r   d ata  co llectio n   an d   f o r m u latio n   in   th FDM  o f   th is   s tu d y .       T ab le  3 .   A   5 - p o i n t scale   lin g u i s tic  v ar iab les   Li k e r t   s c a l e   Li n g u i s t i c   v a r i a b l e   F u z z y   n u m b e r s (m 1 , m 2 , m 3 )   F U D ELO   1 . 0 s f u z z y   v a l u e   1   S t r o n g l y   d i sa g r e e   0 . 0 ,   0 . 0 ,   0 . 2   0 . 1   2   D i sag r e e   0 . 0 ,   0 . 2 ,   0 . 4   0 . 2   3   S o mew h a t   a g r e e   0 . 2 ,   0 . 4 ,   0 . 6   0 . 4   4   A g r e e   0 . 4 ,   0 . 6 ,   0 . 8   0 . 6   5   S t r o n g l y   a g r e e   0 . 6 ,   0 . 8 ,   1 . 0   0 . 8       T ab le  4 .   Data   co llectio n   an d   f o r m u latio n   s tep s   u tili ze d   in   FDM   S t e p   F o r mu l a t i o n   1 :   S e l e c t i o n   o f   e x p e r t s   S i x   e x p e r t w e r e   a p p o i n t e d   f o r   t h i s   s t u d y   t o   e v a l u a t e   M O D U G R A M   b a se d   o n   f o u r   c o n s t r u c t ( d e s i g n ,   t e c h n i c a l   a s p e c t s ,   c o n t e n t ,   a n d   p e d a g o g y )   t h a t   w o u l d   b e   c o m p u t e d   b y   l i n g u i st i c   v a r i a b l e s,   a s   i n   T a b l e   3 .   2 :   Th e   d e t e r m i n a t i o n   o f   l i n g u i s t i c   s c a l e   Tr a n s l a t i n g   a l l   l i n g u i s t i c   v a r i a b l e i n t o   f u z z y   t r i a n g l e   m e a s u r e m e n t   i m a n d a t o r y .   F u z z y   n u m b e r s   a r e   a d d e d   t o   t h e   t r a n s l a t i o n o f   l i n g u i s t i c   v a r i a b l e s   [4 1 ] .   F i g u r e   1   p r e s e n t s   t h e   t r i a n g u l a r   f u z z y   n u m b e r   t h a t   e p i t o m i z e s   a n d   i s   w r i t t e n   a s   m 1   ( t h e   l o w e s t   v a l u e ) ,   m 2   ( t h e   r a t i o n a l   v a l u e ) ,   a n d   m 3   ( t h e   h i g h e s t   v a l u e ) .   C o n t r a r i l y ,     t h e   t r i a n g u l a r   f u z z y   n u m b e r   p r o d u c e s   a   f u z z y   s c a l e   t h a t   c o n v e r t s   l i n g u i s t i c   v a r i a b l e s   i n t o   f u z z y   n u m b e r s.           F i g u r e   1 .   Tr i a n g u l a r   f u z z y   n u m b e r       3 :   D e t e r mi n i n g   l i n g u i s t i c   v a r i a b l e s   a n d   a v e r a g e   r e a c t i o n s   A f t e r   t h e   r e sea r c h e r   o b t a i n r e sp o n s e f r o t h e   d e si g n a t e d   e x p e r t s,   t h e   e n t i r e   L i k e r t   sca l e   m u st   b e   t r a n sf o r me d   i n t o   t h e   f u z z y   sc a l e .   Th i s   a p p r o a c h   i s   a l so   u n d e r s t o o d   a s   e n u m e r a t i n g   t h e   a v e r a g e   r e a c t i o n   o f   e v e r y   f u z z y   n u m b e r   [4 2 ] .   T h i s   p r o c e d u r e   i b a s e d   o n   t h e   e q u a t i o n :     = = 1     4 :   D e t e r mi n i n g   t h r e s h o l d   v a l u e   d   Ex p e r t   a g r e e me n t   i s s u b j e c t   t o   t h e   t h r e sh o l d   v a l u e   [4 3 ] .   D i s t a n c e s f o r   f u z z y   i n t e g e r s m  =   ( m 1 , m 2 , m 3 )   a n d   n   =   ( m 1 ,   m 2 ,   m 3 )   a r e   me a s u r e d   b y   mea n o f   t h e   f o r m u l a :     ( , ) = 1 3 [ ( 1 1 ) 2 + ( 2 2 ) 2 + ( 3 3 ) 2 ]     5 :   D i st i n g u i s h i n g   t h e   a l p h a - c u t   a g g r e g a t e   l e v e l   o f   t h e   F u z z y   a ssessm e n t   A   f u z z y   v a l u e   i s   r e c e i v e d   i f   e x p e r t a g r e e .   Th e   c a l c u l a t i o n   a n d   me a su r e m e n t   m e t h o d   o f   t h e   f u z z y   v a l u e   a r e :   A m a x   =   ( 1 )   / 4   ( m 1   +   2 m 2   +   m 3 ).   6 :   Th e   p r o c e ss   o f   d e f u z z i f i c a t i o n   Th i p r o c e s u t i l i z e t h e   f o r m u l a   A max   = 1 4 *   ( a 1 + 2 a m+ a 3 ) .   A v e r a g e   f u z z y   n u mb e r o r   a v e r a g e   r e sp o n s e c a n   b e   u se d   t o   c o m p u t e   a   s c o r e   b e t w e e n   0   a n d   1 .   T h i s   p r o c e ss e m p l o y s t h r e e   f o r m u l a s:     A = 1 / 3   *   ( m 1 +m 2   +m 3 )   o r ;   A = 1 / 4   *   ( m 1 + 2 m 2 +m 3 )   o r ;   A = 1 / 6   *   ( m 1 + 4 m 2 +m 3 ).   Th e   A - c u t   v a l u e   e q u a l s   t h e   ' 0 a n d   ' 1 med i a n   w i t h   α - c u t   = 0 . 5   ( ( 0 + 1 ) / 2 ) .   T h e   i t e m i s   r e j e c t e d   i f   t h e   A   v a l u e   d o e s n o t   a c h i e v e   t h e   α - c u t   v a l u e   o f   0 . 5   s i n c e   i t   d o e s   n o t   i n d i c a t e   t h e   c o n se n su s o f   t h e   e x p e r t s .   H e n c e ,   i t   i s   r e c o m me n d e d   t h a t   t h e   A l p h a - c u t   v a l u e ,   o r   α - c u t   v a l u e ,   i s   h i g h e r   t h a n   0 . 5   [4 4 ] .   7 :   Th e   p r o c e ss   o f   r a n k i n g   Th e   l a s t   p r o c e ss  i s   r a n k i n g .   T h e   r a n k i n g   o r   s u b - p h a se  p r o c e ss e o f   t h e   mo d e l   h a v e   b e e n   e x p l a i n e d   b y   S a i d o   e t   a l .   [4 5 ] .   U s i n g   t h e   p l a c e m e n t   met h o d ,   t h e   mo d e l   e l e m e n t   t o   b e   p l a c e d   i d e c i d e d   a c c o r d i n g   t o   t h e   v a l u e   o f   d e f u z z i f i c a t i o n   d e t e r mi n e d   b y   t h e   o v e r a l l   a g r e e m e n t   f r o t h e   e x p e r t s.   T h e   p l a c e m e n t   i n   t h e   mo d e l   g e n e r a t e t h e   h i g h e s t   v a l u e   p o s si b l e   f o r   w h a t   t h e   e x p e r t c o n s i d e r   t o   b e   t h e   m o s t   si g n i f i c a n t .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E xp ert ev a lu a tio n   o f a   w eb - b a s ed   g r a mma tica l c o mp eten ce   mo d u le:   F u z z y     ( N u r   Hid a y a h   Md   Ya z id )   789   3.   RE SU L T S AN D I SCU SS I O N   I n   th is   p ar t,   th r esu lts   o f   th is   s tu d y   ar e   d is cu s s ed   in   ac co r d a n ce   with   t h e x p er ts   o v er all   a g r ee m en r eg ar d in g   th r ec o m m e n d atio n s   to   d ev elo p   th s tep s   o f   th FDM.   T h in f o r m atio n   was  c o llected   f r o m   th s ix   ex p er ts   in   th eir   f ield   wh o   p r o v id ed   r esp o n s es.  T ab les   5 - 8   p r o v id s u m m ar y   o f   th f in d in g s .   T ab le  5   d is p lay s   th th r esh o ld   v alu es  o f   item s   f r o m   DI 1   to   DI 1 0 ,   all  o f   wh ich   wer less   th an   0 . 2 .   T h d ef u z zif icatio n   v alu f o r   all  item s   was  al s o   g r ea ter   th an   0 . 5 .   T h s p ec if ic  d ef u zz if icatio n   v alu es  ar e:  DI 1   ( 0 . 7 ) ,   DI 2   ( 0 . 6 3 3 ) ,   DI 3   ( 0 . 5 3 3 ) ,   DI 4   ( 0 . 7 ) ,   DI 5   ( 0 . 6 3 3 ) ,   DI 6   ( 0 . 7 ) ,   DI 7   ( 0 . 6 3 3 ) ,   DI 8   ( 0 . 7 ) ,   DI 9 ( 0 . 6 6 7 ) ,   DI 1 0   ( 0 . 6 3 3 ) ,   all  o f   w h ich   in d icate   th at  all  1 0   item s   u n d e r   th d esig n   c o n s tr u ct  o f   MO DUGRAM  wer ac ce p ted .   T ab le  6   e x h ib its   th th r esh o ld   v alu es  o f   item s   f r o m   T I 1   to   T I 1 0 ,   w h ich   wer less   th an   0 . 2   ex ce p f o r   T I 4   ( 0 . 2 6 9 ) ,   as  e x p e r 3   s h o w ed   d is ag r ee m e n o n   th e   item t h web p ag e   f o r   u s er s   to   s en d   f ee d b ac k   t o   th r esear ch er   is   d is p lay ed   with   s in g le  click   o n   th s en d   f ee d b ac k   b u tto n .   Nev e r th eless ,   all  o f   th d ef u zz if icatio n   v alu es  f o r   t h e   1 0   item s   wer s till   g r ea ter   t h an   0 . 5 .   T h s p ec if ic   d ef u zz i f icatio n   v alu es  a r e:    T I 1   ( 0 . 7 3 3 ) ,   T I 2   ( 0 . 7 6 7 ) ,   T I 3   ( 0 . 6 3 3 ) ,   T I 4   ( 0 . 6 6 7 ) ,   T I 5   ( 0 . 7 6 7 ) ,   T I 6   ( 0 . 7 3 3 ) ,   T I 7   ( 0 . 6 6 7 ) ,   T I 8   ( 0 . 7 3 3 ) ,   T I 9 :   ( 0 . 7 3 3 ) ,   T I 1 0   ( 0 . 6 3 3 ) ,   wh ic h   i n d icate   th at   all  1 0   item s   u n d er   th tech n ical  a s p ec ts   co n s tr u ct  o f   MO DUG R AM   wer ac ce p ted .       T ab le  5 .   T h f in d i n g s   o f   e x p er t c o n s en s u s   o n   MO DUGRAM s   d esig n   Ex p e r t   D I 1   D I 2   D I 3   D I 4   D I 5   D I 6   D I 7   D I 8   D I 9   D I 1 0   1   0 . 0 5 8   0 . 0 9 6   0 . 0 3 8   0 . 0 5 8   0 . 0 9 6   0 . 0 5 8   0 . 0 1 9   0 . 0 5 8   0 . 0 7 7   0 . 0 9 6   2   0 . 0 5 8   0 . 1 3 5   0 . 0 7 7   0 . 0 5 8   0 . 1 3 5   0 . 0 5 8   0 . 0 1 9   0 . 0 5 8   0 . 0 3 8   0 . 0 1 9   3   0 . 0 5 8   0 . 1 3 5   0 . 0 7 7   0 . 0 5 8   0 . 0 1 9   0 . 0 5 8   0 . 0 1 9   0 . 0 5 8   0 . 1 5 4   0 . 1 3 5   4   0 . 0 5 8   0 . 0 9 6   0 . 0 7 7   0 . 0 5 8   0 . 0 1 9   0 . 0 5 8   0 . 0 1 9   0 . 0 5 8   0 . 0 3 8   0 . 0 1 9   5   0 . 0 5 8   0 . 0 9 6   0 . 1 5 4   0 . 0 5 8   0 . 0 9 6   0 . 0 5 8   0 . 0 9 6   0 . 0 5 8   0 . 0 7 7   0 . 0 9 6   6   0 . 0 5 8   0 . 0 1 9   0 . 0 3 8   0 . 0 5 8   0 . 0 1 9   0 . 0 5 8   0 . 0 1 9   0 . 0 5 8   0 . 0 7 7   0 . 0 1 9   V a l u e   o f   t h e   i t e m   0 . 0 5 8   0 . 0 9 6   0 . 0 7 7   0 . 0 5 8   0 . 0 6 4   0 . 0 5 8   0 . 0 3 2   0 . 0 5 8   0 . 0 7 7   0 . 0 6 4   V a l u e   o f   t h e   c o n st r u c t                     0 . 0 6 4   i t e m < 0 . 2   6   6   6   6   6   6   6   6   6   6   o f   i t e < 0 . 2   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   A v e r a g e   o f   c o n se n s u s                                       1 0 0   D e f u z z i f i c a t i o n   0 . 7   0 . 6 3 3   0 . 5 3 3   0 . 7   0 . 6 3 3   0 . 7   0 . 6 3 3   0 . 7   0 . 6 6 7   0 . 6 3 3   R a n k i n g   1   3   4   1   3   1   3   1   2   3   S t a t u s   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t       T ab le  6 .   T h f in d i n g s   o f   e x p er t c o n s en s u s   o n   MO DUGRAM s   tech n ical  asp ec ts   Ex p e r t   TI 1   TI 2   TI 3   TI 4   TI 5   TI 6   TI 7   TI 8   TI 9   TI 1 0   1   0 . 0 7 7   0 . 0 1 9   0 . 0 1 9   0 . 0 7 7   0 . 0 1 9   0 . 0 7 7   0 . 0 7 7   0 . 0 3 8   0 . 0 3 8   0 . 0 1 9   2   0 . 0 3 8   0 . 0 1 9   0 . 0 9 6   0 . 0 3 8   0 . 0 9 6   0 . 0 7 7   0 . 0 3 8   0 . 0 7 7   0 . 0 7 7   0 . 0 9 6   3   0 . 0 7 7   0 . 0 1 9   0 . 1 3 5   0 . 2 6 9   0 . 0 1 9   0 . 0 3 8   0 . 0 3 8   0 . 0 7 7   0 . 0 7 7   0 . 0 1 9   4   0 . 0 3 8   0 . 0 9 6   0 . 0 1 9   0 . 0 7 7   0 . 0 1 9   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 1 9   5   0 . 0 3 8   0 . 0 1 9   0 . 0 9 6   0 . 0 7 7   0 . 0 1 9   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 1 9   6   0 . 0 3 8   0 . 0 1 9   0 . 0 1 9   0 . 0 7 7   0 . 0 1 9   0 . 0 3 8   0 . 0 7 7   0 . 0 3 8   0 . 0 3 8   0 . 0 1 9   V a l u e   o f   t h e   i t e m   0 . 0 5 1   0 . 0 3 2   0 . 0 6 4   0 . 1 0 3   0 . 0 3 2   0 . 0 5 1   0 . 0 5 1   0 . 0 5 1   0 . 0 5 1   0 . 0 3 2   V a l u e   o f   t h e   c o n st r u c t                     0 . 0 5 2   i t e m < 0 . 2   6   6   6   5   6   6   6   6   6   6   o f   i t e < 0 . 2   1 0 0 %   1 0 0 %   1 0 0 %   8 3 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   A v e r a g e   o f   c o n se n s u s                                       98   D e f u z z i f i c a t i o n   0 . 7 3 3   0 . 7 6 7   0 . 6 3 3   0 . 6 6 7   0 . 7 6 7   0 . 7 3 3   0 . 6 6 7   0 . 7 3 3   0 . 7 3 3   0 . 6 3 3   R a n k i n g   2   1   4   3   1   2   3   2   2   4   S t a t u s   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t       T ab le  7   s h o ws  th th r esh o ld   v alu es  o f   item s   f r o m   C I 1   to   C I 1 2 ,   all  o f   wh ich   wer less   th an   0 . 2 .     T h d ef u zz i f icatio n   v alu f o r   ea ch   item   was  also   g r ea ter   th an   0 . 5 .   T h s p ec if ic  d e f u zz i f icatio n   v alu es  ar e:     C I 1   ( 0 . 7 ) ,   C I 2   ( 0 . 7 3 3 ) ,   C I 3   ( 0 . 7 ) ,   C I 4   ( 0 . 6 6 7 ) ,   C I 5   ( 0 . 6 ) ,   C I 6   ( 0 . 7 3 3 ) ,   C I 7   ( 0 . 7 3 3 ) ,   C I 8   ( 0 . 7 3 3 ) ,   C I 9 ( 0 . 7 ) ,   C I 1 0   ( 0 . 7 ) ,   C I 1 1   ( 0 . 6 6 7 ) ,   C I 1 2   ( 0 . 7 3 3 ) ,   all  o f   wh ich   in d icate   th at  all  1 2   item s   u n d er   th c o n ten co n s tr u ct  o f   MO DUGR AM   wer ac ce p ted .   T ab le  8   p r esen ts   th th r esh o ld   v alu es  o f   item s   f r o m   PI1   to   PI1 1 ,   w h ich   wer less   th an   0 . 2   ex ce p f o r   PI4   ( 0 . 2 3 1 )   an d   PI7   ( 0 . 2 1 2 ) ,   as  ex p er 2   s h o wed   d is ag r e em en o n   t h item s th g r a m m ar   ac tiv ities   o n   MO DUGR AM   ar th o r o u g h l y   g u id ed   an d   th m ater ials   p r o v id en o u g h   s tim u lu s   to   p r o m o te  m em o r y   r eten tio n .   No n eth eless ,   all  o f   th d ef u zz if icatio n   v alu es  f o r   th 1 2   item s   wer s ti ll  g r ea ter   th an   0 . 5 .   T h e   s p ec if ic  d ef u zz if icatio n   v alu es   ar e:  PI1   ( 0 . 6 6 7 ) ,   PI2   ( 0 . 7 3 3 ) ,   PI3   ( 0 . 6 6 7 ) ,   PI4   ( 0 . 6 ) ,   PI 5   ( 0 . 7 6 7 ) ,   PI6   ( 0 . 6 6 7 ) ,   PI7   ( 0 . 5 6 7 ) ,   PI8   ( 0 . 6 6 7 ) ,   PI9 ( 0 . 7 ) ,   PI1 0   ( 0 . 6 6 7 ) ,   PI1 1   ( 0 . 7 ) ,   w h ich   in d icate   th at  all  1 1   item s   u n d e r   th e   p ed ag o g y   c o n s tr u ct  o f   MO DUGRAM  wer ac ce p ted .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   1 Feb r u a r y   20 26 :   784 - 794   790   T ab le  7 .   T h f in d i n g s   o f   e x p er t c o n s en s u s   o n   MO DUGRAM s   co n ten t   Ex p e r t   C I 1   C I 2   C I 3   C I 4   C I 5   C I 6   C I 7   C I 8   C I 9   C I 1 0   C I 1 1   C I 1 2   1   0 . 0 5 8   0 . 0 3 8   0 . 0 5 8   0 . 0 7 7   0 . 1 1 5   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 5 8   0 . 0 5 8   0 . 0 7 7   0 . 0 3 8   2   0 . 0 5 8   0 . 0 7 7   0 . 0 5 8   0 . 0 3 8   0 . 0 0 0   0 . 0 7 7   0 . 0 7 7   0 . 1 9 2   0 . 0 5 8   0 . 0 5 8   0 . 1 5 4   0 . 0 7 7   3   0 . 0 5 8   0 . 0 3 8   0 . 0 5 8   0 . 1 5 4   0 . 1 1 5   0 . 0 7 7   0 . 0 7 7   0 . 0 3 8   0 . 0 5 8   0 . 0 5 8   0 . 0 3 8   0 . 0 7 7   4   0 . 0 5 8   0 . 0 7 7   0 . 0 5 8   0 . 0 3 8   0 . 1 1 5   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 5 8   0 . 0 5 8   0 . 0 7 7   0 . 0 3 8   5   0 . 0 5 8   0 . 0 3 8   0 . 0 5 8   0 . 0 7 7   0 . 1 1 5   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 5 8   0 . 0 5 8   0 . 0 7 7   0 . 0 3 8   6   0 . 0 5 8   0 . 0 3 8   0 . 0 5 8   0 . 0 7 7   0 . 0 0 0   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 5 8   0 . 0 5 8   0 . 0 3 8   0 . 0 3 8   V a l u e   o f   t h e   i t e m   0 . 0 5 8   0 . 0 5 1   0 . 0 5 8   0 . 0 7 7   0 . 0 7 7   0 . 0 5 1   0 . 0 5 1   0 . 0 6 4   0 . 0 5 8   0 . 0 5 8   0 . 0 7 7   0 . 0 5 1   V a l u e   o f   t h e   c o n st r u c t                         0 . 0 6 1   i t e m < 0 . 2   6   6   6   6   6   6   6   6   6   6   6   6   o f   i t e < 0 . 2   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   A v e r a g e   o f   c o n se n s u s                         1 0 0   D e f u z z i f i c a t i o n   0 . 7   0 . 7 3 3   0 . 7   0 . 6 6 7   0 . 6   0 . 7 3 3   0 . 7 3 3   0 . 7 3 3   0 . 7   0 . 7   0 . 6 6 7   0 . 7 3 3   R a n k i n g   2   1   2   3   4   1   1   1   2   2   3   1   S t a t u s   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t       T ab le  8 .   T h f in d i n g s   o f   e x p er t c o n s en s u s   o n   MO DUGRAM s   p ed ag o g y   Ex p e r t   P I 1   P I 2   P I 3   P I 4   P I 5   P I 6   P I 7   P I 8   P I 9   P I 1 0   P I 1 1   1   0 . 0 3 8   0 . 0 7 7   0 . 0 7 7   0 . 0 0 0   0 . 0 9 6   0 . 0 3 8   0 . 0 1 9   0 . 0 3 8   0 . 0 5 8   0 . 0 3 8   0 . 0 5 8   2   0 . 0 3 8   0 . 0 7 7   0 . 0 3 8   0 . 2 3 1   0 . 0 1 9   0 . 0 3 8   0 . 2 1 2   0 . 0 3 8   0 . 0 5 8   0 . 0 3 8   0 . 1 7 3   3   0 . 0 3 8   0 . 0 3 8   0 . 0 7 7   0 . 1 1 5   0 . 0 1 9   0 . 0 3 8   0 . 0 1 9   0 . 0 3 8   0 . 0 5 8   0 . 0 7 7   0 . 0 5 8   4   0 . 0 7 7   0 . 0 3 8   0 . 0 7 7   0 . 1 1 5   0 . 0 1 9   0 . 0 7 7   0 . 1 3 5   0 . 0 7 7   0 . 0 5 8   0 . 0 7 7   0 . 0 5 8   5   0 . 0 7 7   0 . 0 3 8   0 . 1 5 4   0 . 0 0 0   0 . 0 1 9   0 . 0 7 7   0 . 0 1 9   0 . 0 3 8   0 . 0 5 8   0 . 0 3 8   0 . 0 5 8   6   0 . 0 3 8   0 . 0 3 8   0 . 0 3 8   0 . 0 0 0   0 . 0 1 9   0 . 0 3 8   0 . 0 1 9   0 . 0 7 7   0 . 0 5 8   0 . 0 3 8   0 . 0 5 8   V a l u e   o f   t h e   i t e m   0 . 0 5 1   0 . 0 5 1   0 . 0 7 7   0 . 0 7 7   0 . 0 3 2   0 . 0 5 1   0 . 0 7 1   0 . 0 5 1   0 . 0 5 8   0 . 0 5 1   0 . 0 7 7   V a l u e   o f   t h e   c o n st r u c t                       0 . 0 5 9   i t e m < 0 . 2   6   6   6   5   6   6   5   6   6   6   6   o f   i t e < 0 . 2   1 0 0 %   1 0 0 %   1 0 0 %   8 3 %   1 0 0 %   1 0 0 %   8 3 %   1 0 0 %   1 0 0 %   1 0 0 %   1 0 0 %   A v e r a g e   o f   c o n se n s u s                       96   D e f u z z i f i c a t i o n   0 . 6 6 7   0 . 7 3 3   0 . 6 6 7   0 . 6   0 . 7 6 7   0 . 6 6 7   0 . 5 6 7   0 . 6 6 7   0 . 7   0 . 6 6 7   0 . 7   R a n k i n g   4   2   4   5   1   4   6   4   3   4   3   S t a t u s   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t   A c c e p t       T h d ar k en e d   th r esh o ld   v al u e   th at  is   g r ea ter   th an   0 . 2   s ig n if ies  th at  th v alu i s   ab o v th th r esh o ld   ( T ab les  6   an d   8 ) .   T h v al u es  im p ly   d is ag r ee m en ts   o r   lack   o f   ag r ee m en am o n g   ex p er ts   o n   s p ec if ic  m atter s   in   th tec h n ical  asp ec ts   an d   p e d ag o g y   o f   MO DUGRAM.   All  item s   av er a g v al u in   T ab le s   5 - 8   d em o n s tr ates  th at  th th r esh o ld   v alu ( d )   is   less   th an   0 . 2 ,   d esp ite  v ar y in g   ex p er o p i n io n s .   T h is   f in d in g   s ig n if ies  th at  ea ch   co m p o n en ac h iev ed   a   s u f f ic ien d eg r ee   o f   ex p er t   co n s en s u s   [ 3 3 ] ,   [4 6 ] .   Fu r th e r m o r e,   th f in d in g s   s h o ev id en ce   th at  th o v er all  co n s en s u s   p er ce n tag is   ab o v e   7 5 %.  T h u s ,   th co n d itio n s   n ee d ed   f o r   ex p e r co n s en s u s   o n   t h ese  m atter s   h a v b ee n   s atis f ied   [ 2 8 ] .   Similar ly ,   it  was  s h o wn   th at   with   th α - cu th r esh o ld ,   all   o f   th alp h a - c u t d ef u zz if icatio n   v alu es   ( also   ca lled   th f u zz y   r esp o n s av er ag e)   a r m o r t h an   0 . 5 .   T h item   in   th is   s tu d y   is   r ejec ted   if   th α - cu d ef u zz if icatio n   v alu is   less   th an   0 . 5   s in ce   th v alu s ig n als  th at  th ex p er ts   wo u ld   a g r ee   t o   r ejec t   th u s ed   item s   [ 38 ] .   I n   th is   s tu d y ,   e v er y   al p h a   cu v alu e x ce ed s   0 . 5 ,   an d   all   item s   ac q u ir ed   h ig h   d eg r ee s   o f   e x p e r t c o n s en s u s .   T h u s ,   all  4 3   item s   wer ac ce p ted   as r eliab le  an d   s u itab le  f o r   u s in   n u m er o u s   co n tex ts .   L astl y ,   ac co r d in g   t o   th f in d in g s   ( T ab l es  5 - 8 ) ,   ev e r y   item   was  ca teg o r ized   an d   r an k e d   b ased   o n   p r io r ity .   F o r   t h e   w e b - b a s e d   g r a m m a ti ca l   c o m p e t e n c e   m o d u l e   f o r   p r e - u n i v e r s i t y   E S L   le a r n e r s ,   c o n s e n s u s   w as  r e a c h e d   o n   t h e   e f f e c t i v e n e s s   an d   a p p l i c a b i l i t y   o f   M O DU GR A M   b y   u t i l i z i n g   e x p e r t   e v a l u ati o n   u s i n g   F D M .   T h e   f i n d i n g s   d e n o t e   t h e   r el e v a n c e   o f   t h e   m o d u l e   a n d   c o n f i r m   i ts   v a l i d it y   f o r   i ts   i n t e n d e d   a u d i en c e   d e s p it e   s e v e r al  i n i t i al   d i s a g r ee m e n t s   i n   t e c h n ic a l   a n d   p e d a g o g i c a l   as p e c ts .   T h e   f i n d i n g s   a r e   i n   l i n e   w i t h   p r i o r   s t u d i e s   w h i c h   u t i l i z e d   FD M   t o   v a l i d at e   w e b - b a s e d   l e a r n i n g   m o d u l e s   i n   v a r io u s   f i e l d s   [ 2 7 ] ,   [ 2 8 ] .   T h e   a l p h a - c u t   d e f u z z i f i c a ti o n   v a l u e s   a b o v e   0 . 5   s h o w   s t r o n g   a g r e e m e n t   a m o n g   t h e   e x p e r t s .   T h e   f i n d i n g s   c o n f i r m   t h e   r e l i a b il i t y   o f   t h c o m p o n e n t s   o f   t h e   m o d u l e .   H en c e ,   t h e y   f u l f i l   t h e   c r i t i ca l   c r it er i a   f o r   e f f e c t i v e   we b - b a s e d   g r am m a r   i n s t r u c ti o n .   Mo r eo v er ,   as  id en tifie d   in   th liter atu r e,   th ese  f in d in g s   e m p h asize  th r eq u ir e m en ts   f o r   s tr u ctu r ed   tech n o lo g y - im p r o v e d   p latf o r m s   th at  ca n   h elp   n ar r o th g ap   in   th co m p eten ce   o f   g r am m a r   am o n g     p r e - u n i v er s ity   E SL  lear n er s .   T h th eo r etica u n d er p in n in g s   r elate d   to   ac q u is itio n   o f   L2 ,   p ar ticu lar l y   Kr ash en s   in p u h y p o th esis   [ 1 1 ]   an d   Sch m i d n o ticin g   h y p o th esis   [ 1 2 ] ,   s tr ess   th r o le  o f   s tr u ctu r ed   e x p o s u r e   an d   m etalin g u is tic  awa r en ess   in   g r am m ar   lear n i n g .   T h co n s en s u s   s tated   ea r lier   alig n s   with   th m en tio n ed   th eo r ies.  As  th m o d u le  alig n s   with   th f r am ewo r k   o f   K ar tal  an d   Uzu n   [ 2 5 ] ,   wh ic h   c o n s is ts   o f   p h y s ical,   co n tex tu al,   an d   p e d ag o g ical  f ea tu r es,  th in s tr u ctio n al  ef f ec tiv en ess   o f   th m o d u le  is   f u r th er   v alid ated .     T h s tr en g th   o f   th m o d u le  as  p r o v i d in g   o r d er e d   ex p lan atio n s ,   in ter ac tiv p r ac tice,   a n d   i m m ed iate  f ee d b ac k ,   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E xp ert ev a lu a tio n   o f a   w eb - b a s ed   g r a mma tica l c o mp eten ce   mo d u le:   F u z z y     ( N u r   Hid a y a h   Md   Ya z id )   791   co n f ir m in g   ex is tin g   s tu d ies  to   h ig h lig h th a d v an ta g es  o f   web - b ased   lear n in g   e n v ir o n m en ts   in   s u p p o r tin g   s elf - d ir ec ted   an d   in d iv id u alize d   lear n in g   ex p e r ien ce s ,   is   ac k n o wled g ed   b y   e x p er ts   [ 1 7 ] ,   [ 1 6 ] .   T h less   s ig n if ican d if f er en c es  in   th tech n ical  an d   p e d ag o g ical  asp ec ts   h ig h lig h ar ea s   f o r   f u r th er   im p r o v em e n t,  alth o u g h   th e   M ODUG R AM   attain ed   h ig h   d eg r ee   o f   a g r ee m en t.   Oth er   ex p er ts   h ig h lig h te d   th e   p r o s p ec o f   f u r th e r   e n h an cin g   ad ap tiv e   lear n i n g   ca p ab ilit ies  an d   in co r p o r atin g   m o r e   in ter ac tiv elem en ts   to   en h an ce   lear n er   en g ag em e n a n d   r eten tio n   to   m a x im u m   le v el.   T h e   f in d in g s   h ig h lig h th ev o lv i n g   f ea tu r es   o f   web - b ased   lear n i n g   to o ls ,   f o cu s in g   o n   th e   s ig n if ican ce   o f   co n tin u o u s   u p g r a d es  an d   im p r o v em en ts   to   s tay   u p d ated   with   c h an g i n g   p e d ag o g ical  d ir ec tio n s   an d   tech n o l o g ical  ad v an ce s   [4 7 ] .       4.   CO NCLU SI O N   T h s tu d y s   o b jectiv was  to   attain   th ex p e r ts   co n s en s u s   o n   th d esig n ,   tech n ical  asp ec ts ,   co n ten t,  an d   p e d ag o g y   o f   th web - b as ed   g r am m atica co m p eten ce   m o d u le  ( MO DUGRAM) .   Acc o r d in g   to   f in d in g s   o f   th FDM  an aly s is ,   MO DUGR AM   f o r   p r e - u n iv er s ity   E SL  le ar n er s   is   co n f ir m ed   t o   b e   th eo r etica lly   s o u n d   an d   p ed ag o g ically   ef f ec tiv in   all  f o u r   co n s tr u cts.  T h m o d u le  is   co n f ir m ed   b y   th h ig h   lev el  o f   ex p er c o n s en s u s   as  all  4 3   item s   f r o m   th f o u r   co n s tr u cts  wer e   ac ce p ted .   T h m o d u le’ s   ca p a b ilit y   to   im p r o v e   g r am m atica p r o f icien c y   is   co n f ir m e d   th r o u g h   s tr u ctu r ed ,   in ter ac tiv e,   an d   s elf - p ac ed   lear n in g .   B y   a d d r ess in g   th g ap   in   web - b ased   g r am m ar   in s tr u ct io n   f o r   Ma la y s ian   p r e - u n iv e r s ity   lear n er s ,   th is   s tu d y   m ak es  s ig n if ican co n tr ib u tio n   to   th e x p an d in g   b o d y   o f   liter atu r e   in   r elatio n   to   tech n o l o g y - e n h an ce d   lan g u a g e   lear n in g .   T h f in d in g s   o f f er   v alu ab le  le s s o n s   f o r   th d ev elo p m en o f   f u tu r m o d u les  d esp ite  o n ly   m in o r   ar ea s   f o r   im p r o v em en b ein g   d eter m in ed .   T h is   s tu d y   is   also   ex p ec ted   to   b b en e f icial  f o r   t h co n tr i b u tio n   i n   k n o wled g o f   web - b ased   le ar n in g   m o d u le  d ev elo p m en t   f o r   ed u ca tio n   p o licy   m ak e r s   an d   in s tr u cto r s   wo r ld wid as  it  ca n   s er v e   as  r ef er e n ce   an d   g u id elin f o r   th em   to   d e v elo p   a n d   estab lis h   m o r web - b ased   m o d u les  n o ju s f o r   th eir   in s titu tio n s ,   b u also   o th er   E SL  s tu d en ts   an d   in s tr u cto r s   g lo b all y .   T h e   o u tc o m o f   th is   s tu d y   is   g o o d   ed u ca tio n al  p r ac tice  f o r   p o licy   m a k er s   an d   ed u ca t o r s   in   g en er al  to   s h ar an d   d is cu s s   am o n g   o n e   an o t h er   a n d   m ak e   im p r o v em e n ts   to   c u r r e n tly   av ailab le  web - b ased   p latf o r m s   th at  s u it  th E n g lis h   p r o f icien c y   lev el  o f   th eir   s tu d en ts .   T h lim itatio n   o f   th is   s tu d y   is   th at  it  i s   f o cu s ed   o n   d ev elo p in g   an d   estab lis h in g   g r am m atica c o m p eten ce   m o d u le  f o r   p r e - u n iv er s ity   E SL  lear n er s   f r o m   th co n s en s u s   o f   ex p er ts .   Hen ce ,   it  is   r ec o m m en d ed   th at  b i g g er   em p ir ical  s tu d ies  in   th a r ea s   o f   lear n er   en g a g em en t   an d   p er f o r m an ce   o u tc o m es  b u n d er tak en   to   m ea s u r th lo n g - ter m   ef f ec tiv e n ess   o f   th m o d u le  f u r th er   an d   d eter m in its   o n g o in g   a p p lica b ilit y   in   E SL  lear n in g .       F UNDING   I NF O R M A T I O N   Au th o r s   s tate  n o   f u n d in g   in v o lv ed .       AUTHO CO NT RI B UT I O NS ST A T E M E N T   T h is   jo u r n al  u s es  th C o n tr ib u to r   R o les  T ax o n o m y   ( C R ed iT )   to   r ec o g n ize  in d iv id u al  au th o r   co n tr ib u tio n s ,   r ed u ce   au th o r s h ip   d is p u tes,  an d   f ac ilit ate  co llab o r atio n .     Na m o f   Aut ho r   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   Nu r   Hid ay ah   M d   Yaz id                               Nu r   Ain il Su laim an                               Har wati  Hash im                                 C     C o n c e p t u a l i z a t i o n   M     M e t h o d o l o g y   So     So f t w a r e   Va     Va l i d a t i o n   Fo     Fo r mal   a n a l y s i s   I     I n v e s t i g a t i o n   R     R e so u r c e s   D   :   D a t a   C u r a t i o n   O   :   W r i t i n g   -   O r i g i n a l   D r a f t   E   :   W r i t i n g   -   R e v i e w   &   E d i t i n g   Vi     Vi su a l i z a t i o n   Su     Su p e r v i s i o n   P     P r o j e c t   a d mi n i st r a t i o n   Fu     Fu n d i n g   a c q u i si t i o n         CO NF L I C T   O F   I N T E R E S T   ST A T E M E NT   Au th o r s   s tate  n o   co n f lict o f   in t er est.       I NF O RM E CO NS E N T   W h av o b tain ed   i n f o r m ed   co n s en f r o m   all  in d iv id u als  in clu d ed   in   th is   s tu d y .   Par ticip an ts   wer in f o r m e d   o f   t h s tu d y s   p u r p o s e,   p r o ce d u r es,  p o te n tial  r is k s   an d   b e n ef its ,   an d   t h eir   r ig h t o   with d r aw  at  an y   tim with o u t p en alty .   Evaluation Warning : The document was created with Spire.PDF for Python.
            I SS N :   2252 - 8 8 2 2   I n J   E v al  &   R es E d u c ,   Vo l .   15 ,   No .   1 Feb r u a r y   20 26 :   784 - 794   792   E T H I CAL AP P RO V AL   T h E th ical  C o m m ittee  o f   U n iv er s iti  T ek n o l o g MA R A,   Ma lay s ia  h as  g r an ted   ap p r o v al  f o r   th is   s tu d y   o n   J u ly   2 3 rd   2 0 2 4   ( R ef .   No .   R E C /0 7 /2 0 2 4   ( ST/M R /1 2 7 ) ) .       DATA AV AI L AB I L I T Y     T h d ata  th at  s u p p o r th f i n d in g s   o f   t h is   s tu d y   ar av ailab le  f r o m   th c o r r esp o n d i n g   au th o r ,   [ NH MY ] ,   u p o n   r eq u est.       RE F E R E NC E S   [ 1 ]   F .   A .   M .   F i sa l ,   A .   A .   A z i z ,   a n d   N .   E.   M .   S a i d ,   F i e l d   e x p e r t s’   e v a l u a t i o n   o f   a   w e b - b a se d   a c a d e m i c   v o c a b u l a r y   l e a r n i n g   r e so u r c f o r   ESL   p r e - u n i v e r s i t y   l e a r n e r s ,   Ara b   Wo rl d   E n g l i sh   J o u r n a l ,   v o l .   1 5 ,   n o .   1 ,   p p .   3 6 8 3 8 3 ,   2 0 2 4 ,     d o i :   1 0 . 2 4 0 9 3 / a w e j / v o l 1 5 n o 1 . 2 3 .   [ 2 ]   S .   A b d u l b a k i ,   M .   A .   S .   K h a sawn e h ,   a n d   M .   A .   Ta s h t o u s h ,   T h e   e f f e c t i v e n e ss   o f   g a m i f i e d   l e a r n i n g   e n v i r o n m e n t s   i n   p r o mo t i n g   g r a mm a r   mas t e r y   i n   J o r d a n i a n   s e c o n d a r y   sc h o o l   EF l e a r n e r s,   I n t e rn a t i o n a l   J o u rn a l   o f   I n n o v a t i v e   Re se a r c h   a n d   S c i e n t i f i c   S t u d i e s ,   v o l .   8 ,   n o .   2 ,   p p .   3 3 7 5 3 3 8 6 ,   2 0 2 5 ,   d o i :   1 0 . 5 3 8 9 4 / i j i r ss. v 8 i 2 . 6 0 1 3 .   [ 3 ]   V .   S a n g e e t h a ,   T h e   e f f e c t i v e   u s e   o f   o n l i n e   r e s o u r c e i n   i m p r o v i n g   st u d e n t s’   En g l i sh   g r a mm a r   sk i l l i n   t h e   EF c l a s ses  a t   t h e   t e r t i a r y   l e v e l ,   I n t e rn a t i o n a l   J o u r n a l   o f   Em e r g i n g   T e c h n o l o g i e s   i n   L e a r n i n g ,   v o l .   1 8 ,   n o .   1 4 ,   p p .   2 1 5 2 2 8 ,   2 0 2 3 ,     d o i :   1 0 . 3 9 9 1 / i j e t . v 1 8 i 1 4 . 3 6 7 4 5 .   [ 4 ]   J.  K u z mi n a   a n d   Z .   V i n č e l a ,   T e c h n o l o g y - e n h a n c e d   c o u r se  i n   En g l i s h   t h e o r e t i c a l   g r a mm a r   a n d   p h o n e t i c s   a t   t e r t i a r y   l e v e l ,   B a l t i c   J o u rn a l   o f   En g l i s h   L a n g u a g e ,   L i t e r a t u re  a n d   C u l t u re ,   v o l .   1 1 ,   p p .   7 9 9 7 ,   2 0 2 1 ,   d o i :   1 0 . 2 2 3 6 4 / b j e l l c . 1 1 . 2 0 2 1 . 0 6 .   [ 5 ]   D .   A .   W .   N u r h a y a t i ,   L e a r n i n g   b a si c   g r a mm a r   u s i n g   t a s k - b a se d   l e a r n i n g :   a   p e r s p e c t i v e   o n   a n a l y z i n g   o n l i n e   me d i a   t e x t ,   I J ELT AL   ( I n d o n e si a n   J o u rn a l   o f   E n g l i s h   L a n g u a g e   T e a c h i n g   a n d   A p p l i e d   L i n g u i s t i c s) ,   v o l .   4 ,   n o .   1 ,   pp.   19 34 ,   2 0 1 9 ,     d o i :   1 0 . 2 1 0 9 3 / i j e l t a l . v 4 i 1 . 2 8 4 .   [ 6 ]   A .   A r i y a n t i   a n d   R .   F i t r i a n a ,   EFL   st u d e n t s’   d i f f i c u l t i e s   a n d   n e e d s   i n   e ssa y   w r i t i n g ,   i n   Pr o c e e d i n g s   o f   t h e   I n t e r n a t i o n a l   C o n f e re n c e   o n   T e a c h e r   T ra i n i n g   a n d   Ed u c a t i o n   2 0 1 7   ( I C T T 2 0 1 7 ) ,   2 0 1 7 ,   p p .   3 2 42 d o i :   1 0 . 2 9 9 1 / i c t t e - 1 7 . 2 0 1 7 . 4 .   [ 7 ]   K .   H y l a n d ,   S e c o n d   l a n g u a g e   w r i t i n g .   C a m b r i d g e :   C a mb r i d g e   U n i v e r si t y   P r e ss,  2 0 1 9 .   [ 8 ]   H .   G .   A d a l i a ,   J.  V .   C h a v e z ,   M .   A .   A .   H a y u d i n i ,   A .   J.   K i n a r a n g ,   N .   A .   S a b b a h a ,   a n d   A .   A .   M .   S a l a sa i n ,   R e l e v a n c e   o f   g r a m ma r   a mo n g   G e n   c o l l e g e   s t u d e n t u s i n g   s o c i a l   l e a r n i n g   p e r s p e c t i v e s ,”  F o r u m   f o L i n g u i st i c   S t u d i e s ,   v o l .   7 ,   n o .   3 ,   p p .   4 3 2 4 5 0 ,   2 0 2 5 ,   d o i :   1 0 . 3 0 5 6 4 / f l s . v 7 i 3 . 8 4 0 1 .   [ 9 ]   N .   M .   A l o a i r d h i ,   W r i t i n g   a n x i e t y   a m o n g   S a u d i   f e m a l e   l e a r n e r s   a t   s o me   S a u d i   u n i v e r si t i e s ,   E n g l i sh   L a n g u a g e   T e a c h i n g ,   v o l .   1 2 ,   n o .   9 ,   p p .   55 65 ,   2 0 1 9 ,   d o i :   1 0 . 5 5 3 9 / e l t . v 1 2 n 9 p 5 5 .   [ 1 0 ]   Z.   Q u v a n c h   a n d   K .   S.   N a ,   E v a l u a t i n g   A f g h a n i st a n   u n i v e r si t y   s t u d e n t s’   w r i t i n g   a n x i e t y   i n   E n g l i sh   c l a ss:   a n   e m p i r i c a l   r e se a r c h ,   C o g e n t   E d u c a t i o n ,   v o l .   9 ,   n o .   1 ,   p.   2 0 4 0 6 9 7 D e c .   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 2 3 3 1 1 8 6 X . 2 0 2 2 . 2 0 4 0 6 9 7 .   [ 1 1 ]   S .   D .   K r a s h e n ,   Pri n c i p l e a n d   p r a c t i c e   i n   s e c o n d   l a n g u a g e   a c q u i si t i o n .   O x f o r d ,   U K :   P e r g a mo n   P r e s s,  1 9 8 2 .   [ 1 2 ]   R .   W .   S c h m i d t ,   T h e   r o l e   o f   c o n sc i o u sn e ss  i n   se c o n d   l a n g u a g e   l e a r n i n g ,   Ap p l i e d   L i n g u i st i c s ,   v o l .   1 1 ,   n o .   2 ,   p p .   1 2 9 1 5 8 ,   1 9 9 0 ,   d o i :   1 0 . 1 0 9 3 / a p p l i n / 1 1 . 2 . 1 2 9 .   [ 1 3 ]   S .   C a n ,   E x p l o r i n g   t h e   t r a n sf o r me d   l a n d sc a p e   o f   g r a mm a r   l e a r n i n g   i n   l a n g u a g e   e d u c a t i o n :   u n v e i l i n g   t e a c h i n g   i n s i g h t t h r o u g h   h a r n e ss i n g   t h e   f l i p p e d   c l a ssr o o m   a p p r o a c h p o t e n t i a l ,   I n t e r n a t i o n a l   J o u r n a l   o f   L i n g u i st i c s,   L i t e r a t u re   a n d   T r a n s l a t i o n ,   v o l .   6 ,   n o .   1 0 ,   p p .   1 3 2 8 ,   2 0 2 3 ,   d o i :   1 0 . 3 2 9 9 6 / i j l l t . 2 0 2 3 . 6 . 1 0 . 3 .   [ 1 4 ]   M .   A b d A l g a n e   a n d   R .   A l i ,   S t r a t e g i e f o r   e - l e a r n i n g   i n   t e a c h i n g   En g l i s h   a a   f o re i g n   l a n g u a g e :   d i g i t a l   p a t h w a y s .   C a m b r i d g e ,   U K C a m b r i d g e   S c h o l a r s Pu b l i s h i n g ,   2 0 2 4 .   [ 1 5 ]   Z.   Zh o u   a n d   W .   Li ,   P e r s o n a l i z e d   c o l l e g e   E n g l i s h   l e a r n i n g   b a s e d   o n   a r t i f i c i a l   i n t e l l i g e n c e :   a l g o r i t h m - d r i v e n   a d a p t i v e   l e a r n i n g   m e t h o d ,   I n t e r n a t i o n a l   J o u r n a l   o f   H i g h   S p e e d   E l e c t r o n i c a n d   S y st e m s ,   D e c .   2 0 2 4 ,   d o i :   1 0 . 1 1 4 2 / S 0 1 2 9 1 5 6 4 2 5 4 0 1 0 2 0 .   [ 1 6 ]   C .   A .   C h a p e l l e   a n d   S .   S a u r o ,   T h e   h a n d b o o k   o f   t e c h n o l o g y   a n d   sec o n d   l a n g u a g e   t e a c h i n g   a n d   l e a r n i n g .   B l a c k w e l l :   Jo h n   W i l e y   &   S o n s ,   I n c . ,   2 0 1 7 ,   d o i :   1 0 . 1 0 0 2 / 9 7 8 1 1 1 8 9 1 4 0 6 9 .   [ 1 7 ]   U .   A b d u s h u k u r o v a ,   D e c o d i n g   l a n g u a g e :   i n n o v a t i v e   a p p r o a c h e s   t o   t e a c h i n g   g r a mm a r   a n d   v o c a b u l a r y ,   T h e o r y   a n d   A n a l y t i c a l   Asp e c t s   o f   R e c e n t   R e se a rc h ,   v o l .   2 ,   n o .   2 5 ,   p p .   3 2 9 3 4 5 ,   2 0 2 4 .   [ 1 8 ]   A .   R a y g a n   a n d   S .   M o r a d k h a n i ,   F a c t o r i n f l u e n c i n g   t e c h n o l o g y   i n t e g r a t i o n   i n   a n   EF c o n t e x t :   i n v e s t i g a t i n g   EF t e a c h e r s’   a t t i t u d e s,   TPA C K   l e v e l ,   a n d   e d u c a t i o n a l   c l i m a t e ,   C o m p u t e Ass i st e d   L a n g u a g e   L e a r n i n g ,   v o l .   3 5 ,   n o .   8 ,   p p .   1 7 8 9 1 8 1 0 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 8 8 2 2 1 . 2 0 2 0 . 1 8 3 9 1 0 6 .   [ 1 9 ]   H .   A .   A l m u m e n   a n d   S .   L.   R a i mo n d i ,   B e y o n d   r e g u l a t e d   w r i t i n g :   t h e   e f f e c t s   o f   sel f - r e g u l a t i o n   p r o c e d u r e s   e n h a n c e d   w i t h   t e c h n o l o g y   o n   i n f o r m a t i v e   w r i t i n g   o f   K u w a i t i   a d o l e sc e n t s   w i t h   A S D ,   J o u r n a l   o f   S p e c i a l   E d u c a t i o n   T e c h n o l o g y ,   2 0 2 5 ,     d o i :   1 0 . 1 1 7 7 / 0 1 6 2 6 4 3 4 2 5 1 3 1 8 9 3 0 .   [ 2 0 ]   I .   C a sa n o v a - M a t a ,   En h a n c i n g   E n g l i sh   a c q u i s i t i o n :   e f f e c t s   o f   a m o n g   u s   g a me - b a se d   g a mi f i c a t i o n   o n   l a n g u a g e   c o m p e t e n c e ,   mo t i v a t i o n ,   a t t e n t i o n ,   a n d   a t t i t u d e   t o w a r d t h e   En g l i s h   s u b j e c t ,   E d u c a t i o n   S c i e n c e s ,   v o l .   1 3 ,   n o .   1 1 ,   p .   1 0 9 4 ,   2 0 2 3 ,     d o i :   1 0 . 3 3 9 0 / e d u c sci 1 3 1 1 1 0 9 4 .   [ 2 1 ]   H .   S h e n ,   Y .   Y u a n ,   a n d   R .   Ew i n g ,   En g l i sh   l e a r n i n g   w e b si t e s a n d   d i g i t a l   r e s o u r c e s fr o t h e   p e r sp e c t i v e   o f   C h i n e s e   u n i v e r si t y   EF L   p r a c t i t i o n e r s,   R e C ALL ,   v o l .   2 7 ,   n o .   2 ,   p p .   1 5 6 1 7 6 ,   2 0 1 4 ,   d o i :   1 0 . 1 0 1 7 / S 0 9 5 8 3 4 4 0 1 4 0 0 0 2 6 3 .   [ 2 2 ]   N .   A g u a y o   a n d   C .   M .   R a m í r e z ,   D o e t e c h n i c a l   a ssessm e n t   m a t t e r ?   F u n c t i o n a l i t y   a n d   u sa b i l i t y   t e st i n g   o f   w e b s i t e f o r   ESL/ EF L   a u t o n o mo u l e a r n e r s,”   Re s e a r c h   i n   L e a rn i n g   T e c h n o l o g y ,   v o l .   2 8 ,   p p .   1 2 6 ,   2 0 2 0 ,   d o i :   1 0 . 2 5 3 0 4 / r l t . v 2 8 . 2 3 5 3 .   [ 2 3 ]   A .   S .   A l h a b d a n ,   Ev a l u a t i n g   En g l i s h   l e a r n i n g   w e b si t e s   a n d   d i g i t a l   r e s o u r c e s   f r o t h e   p e r sp e c t i v e   o f   S a u d i   E n g l i s h   l a n g u a g e   l e a r n e r s:   t e c h n i c a l   a sse ssm e n t ,   T h e o ry  a n d   Pr a c t i c e   i n   L a n g u a g e   S t u d i e s ,   v o l .   1 1 ,   n o .   6 ,   p p .   6 3 9 6 5 1 ,   2 0 2 1 ,     d o i :   1 0 . 1 7 5 0 7 / t p l s. 1 1 0 6 . 0 7 .   [ 2 4 ]   R .   A l l i so n ,   C .   H a y e s ,   C .   A .   M .   M c N u l t y ,   a n d   V .   Y o u n g ,   A   c o m p r e h e n s i v e   f r a mew o r k   t o   e v a l u a t e   w e b s i t e s:   l i t e r a t u r e   r e v i e w   a n d   d e v e l o p me n t   o f   G o o d W e b ,   J MIR F o rm a t i v e   Re s e a rc h ,   v o l .   3 ,   n o .   4 ,   p.   e 1 4 3 7 2 2 0 1 9 ,   d o i :   1 0 . 2 1 9 6 / 1 4 3 7 2 .   [ 2 5 ]   E.   K a r t a l   a n d   L.   U z u n ,   T h e   i n t e r n e t ,   l a n g u a g e   l e a r n i n g ,   a n d   i n t e r n a t i o n a l   d i a l o g u e :   c o n s t r u c t i n g   o n l i n e   f o r e i g n   l a n g u a g e   l e a r n i n g   w e b si t e s ,   T u r k i s h   O n l i n e   J o u rn a l   o f   D i st a n c e   Ed u c a t i o n ,   v o l .   1 1 ,   n o .   2 ,   pp.   90 107 2 0 1 0 .   [ 2 6 ]   E.   M.   F u e n t e a n d   J.  J.  R.   M a r t í n e z ,   D e si g n   o f   a   c h e c k l i s t   f o r   e v a l u a t i n g   l a n g u a g e   l e a r n i n g   w e b si t e s,   P o rt a   L i n g u a r u m ,   v o l .   3 0 ,   p p .   2 3 4 1 ,   2 0 1 8 .   Evaluation Warning : The document was created with Spire.PDF for Python.
I n J   E v al  &   R es E d u c     I SS N:   2252 - 8 8 2 2       E xp ert ev a lu a tio n   o f a   w eb - b a s ed   g r a mma tica l c o mp eten ce   mo d u le:   F u z z y     ( N u r   Hid a y a h   Md   Ya z id )   793   [ 2 7 ]   Q .   W .   B o o n ,   T.   S u l a i ma n ,   a n d   F .   R a z a l i ,   Th e   e l e me n t s   f o r   d e s i g n i n g   a n d   d e v e l o p i n g   t h e   f r o n t   o f f i c e   i n st r u c t i o n a l   m o d u l e :   F u z z y   D e l p h i   t e c h n i q u e ,   J o u rn a l   o f   I n st i t u t i o n a l   Re se a rc h   S o u t h   Ea st   Asi a ,   v o l .   2 2 ,   n o .   1 ,   p p .   7 0 9 6 ,   2 0 2 4 .   [ 2 8 ]   A.   F.   M.   Y u so f f ,   A.   H a s h i m,  N.   M u h a ma d ,   a n d   W.   N.   W.   H a m a t ,   A p p l i c a t i o n   o f   F u z z y   D e l p h i   t e c h n i q u e   t o w a r d d e si g n i n g   a n d   d e v e l o p i n g   t h e   e l e me n t f o r   t h e   e - P B M   P I - P o l i   m o d u l e ,   As i a n   J o u rn a l   o f   U n i v e rsi t y   E d u c a t i o n ,   v o l .   1 7 ,   n o .   1 ,   p p .   292 3 0 4 2 0 2 1 .   [ 29 ]   M .   Lu o ,   D .   D e W i t t ,   a n d   N .   A l i a s ,   E x p e r t s’   c o n s e n s u o n   t h e   d e s i g n   o f   a   t e c h n i c a l   c o mm u n i c a t i o n   m o d u l e   f o r   v o c a t i o n a l   c o l l e g e   st u d e n t s   i n   t h e   m a n u f a c t u r i n g   se c t o r ,   L a n g u a g e   T e a c h i n g   R e se a rc h ,   2 0 2 4 ,   d o i :   1 0 . 1 1 7 7 / 1 3 6 2 1 6 8 8 2 3 1 2 2 3 8 1 9 .   [ 30 ]   S .   F .   Li m   a n d   Y .   K a mi n ,   T h e   d e v e l o p m e n t   o f   m o b i l e   A R - b a se d   m o d u l e   f o r   t e a c h i n g   a n d   l e a r n i n g   p n e u m a t i c   s y s t e m :     a   n e e d s   a n a l y si s ,   Pe r t a n i k a   J o u rn a l   o f   S o c i a l   S c i e n c e a n d   H u m a n i t i e s ,   v o l .   3 1 ,   n o .   1 ,   p p .   4 1 5 6 ,   2 0 2 3 ,     d o i :   1 0 . 4 7 8 3 6 / P JS S H . 3 1 . 1 . 0 3 .   [ 31 ]   S .   D .   K r i sh n a n ,   H .   N o r ma n ,   a n d   M .   M .   Y u n u s ,   O n l i n e   g a mi f i e d   l e a r n i n g   t o   e n h a n c e   t e a c h e r s’   c o m p e t e n c i e s   u si n g   c l a sscraf t ,   S u s t a i n a b i l i t y ,   v o l .   1 3 ,   n o .   1 9 ,   p.   1 0 8 1 7 2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / s u 1 3 1 9 1 0 8 1 7 .   [ 32 ]   R .   C .   R i c h e y   a n d   J .   K l e i n ,   D e si g n   a n d   d e v e l o p m e n t   r e se a rc h :   m e t h o d s,   s t r a t e g i e s,   a n d   i s s u e s M a h w a h ,   N J :   La w r e n c e   Er l b a u m   A sso c i a t e s,   2 0 0 7 .   [ 33 ]   R .   M u st a p h a   e t   a l . ,   D e v e l o p me n t   o f   E - X TV T   g u i d e l i n e s   i n   p r o mo t i n g   a c t i v e   o n l i n e   l e a r n i n g   i n   h i g h e r   e d u c a t i o n :   t h   F u z z y   D e l p h i   a p p r o a c h ,   P syc h o l o g y   a n d   Ed u c a t i o n   J o u rn a l ,   v o l .   5 8 ,   n o .   1 ,   p p .   5 6 8 1 5 6 9 6 ,   Ja n .   2 0 2 1 ,     d o i :   1 0 . 1 7 7 6 2 / p a e . v 5 8 i 1 . 1 9 7 2 .   [ 34 ]   A .   C i p t o n o ,   S .   S e t i y o n o ,   F .   N u r h i d a y a t i ,   a n d   R .   V i k a l i a n a ,   F u z z y   D e l p h i   met h o d   i n   e d u c a t i o n :   a   ma p p i n g ,   J o u rn a l   o f   P h y si c s :   C o n f e re n c e   S e r i e s ,   v o l .   1 3 6 0 ,   n o .   1 ,   p .   0 1 2 0 2 9 O c t .   2 0 1 9 ,   d o i :   1 0 . 1 0 8 8 / 1 7 4 2 - 6 5 9 6 / 1 3 6 0 / 1 / 0 1 2 0 2 9 .   [ 35 ]   R .   A b   La t i f ,   A .   D a h l a n ,   Z.   A b   M u l u d ,   a n d   M .   Z .   M.   N o r ,   T h e   D e l p h i   t e c h n i q u e   a a   m e t h o d   t o   o b t a i n   c o n se n s u i n   h e a l t h   c a r e   e d u c a t i o n   r e s e a r c h ,   E d u c a t i o n   i n   M e d i c i n e   J o u r n a l ,   v o l .   9 ,   n o .   3 ,   p p .   8 9 1 0 2 ,   2 0 1 7 ,   d o i :   1 0 . 2 1 3 1 5 / e i m j 2 0 1 7 . 9 . 3 . 1 0 .   [ 36 ]   S .   M o k h t a r   a n d   R .   M .   Y a s i n ,   D e s i g n   o f   t e a c h i n g   i n f l u e n c e t h e   t r a i n i n g   t r a n sf e r   a mo n g st   TV ET’s   i n s t r u c t o r s :   F u z z y   D e l p h i   t e c h n i q u e ,   I n t e r n a t i o n a l   J o u rn a l   o f   Ac a d e m i c   Re se a r c h   i n   Bu s i n e ss  a n d   S o c i a l   S c i e n c e s ,   v o l .   8 ,   n o .   6 ,   p p .   1 0 8 3 1 0 9 7 2 0 1 8 ,     d o i :   1 0 . 6 0 0 7 / i j a r b ss / v 8 - i 6 / 4 3 0 3 .   [ 37 ]   M .   F .   N.   I z z a t i ,   D e s i g n ,   d e v e l o p me n t   a n d   e v a l u a t i o n   o f   E n g l i s h   s p e a k i n g   s k i l l w e b - b a s e d   r e so u r c e   f o r   ESL  p u p i l s ,   M . S .   t h e s i s,   U n i v e r si t i   K e b a n g s a a n   M a l a y si a ,   B a n g i ,   S e l a n g o r ,   M a l a y s i a ,   2 0 1 9 .   [ 38 ]   N .   K .   I smai l ,   S .   M o h a m e d ,   a n d   M .   I .   H a mza h ,   T h e   a p p l i c a t i o n   o f   t h e   F u z z y   D e l p h i   t e c h n i q u e   t o   t h e   r e q u i r e d   a sp e c t   o f   p a r e n t a l   i n v o l v e m e n t   i n   t h e   e f f o r t   t o   i n c u l c a t e   p o si t i v e   a t t i t u d e   a m o n g   p r e sc h o o l   c h i l d r e n ,   C r e a t i v e   E d u c a t i o n ,   v o l .   1 0 ,   n o .   1 2 ,     p p .   2 9 0 7 2 9 2 1 ,   2 0 1 9 ,   d o i :   1 0 . 4 2 3 6 / c e . 2 0 1 9 . 1 0 1 2 2 1 6 .   [ 39 ]   A .   O H a g a n ,   E x p e r t   k n o w l e d g e   e l i c i t a t i o n :   su b j e c t i v e   b u t   sci e n t i f i c ,   T h e   Am e ri c a n   S t a t i s t i c i a n ,   v o l .   7 3 ,   n o .   su p 1 ,   p p .   6 9 8 1 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 8 0 / 0 0 0 3 1 3 0 5 . 2 0 1 8 . 1 5 1 8 2 6 5 .   [ 40 ]   K .   I smai l ,   R .   I sh a k ,   a n d   S .   H .   K a m a r u d d i n ,   D e v e l o p me n t   o f   p r o f e ss i o n a l   l e a r n i n g   c o mm u n i t i e m o d e l   u si n g   F u z z y   D e l p h i   ap p r o a c h ,   T EM   J o u rn a l ,   v o l .   1 0 ,   n o .   2 ,   p p .   8 7 2 8 7 8 ,   2 0 2 1 ,   d o i :   1 0 . 1 8 4 2 1 / TEM 1 0 2 - 4 8 .   [ 41 ]   A .   A .   A l   M o h a me d ,   S .   A l   M o h a me d ,   a n d   M .   Zi n o ,   A p p l i c a t i o n   o f   f u z z y   m u l t i c r i t e r i a   d e c i si o n - ma k i n g   m o d e l   i n   s e l e c t i n g   p a n d e mi c   h o sp i t a l   s i t e ,   F u t u re   B u si n e ss J o u rn a l ,   v o l .   9 ,   n o .   1 ,   p.   14 2 0 2 3 ,   d o i :   1 0 . 1 1 8 6 / s4 3 0 9 3 - 0 2 3 - 0 0 1 8 5 - 5.   [ 42 ]   B .   S o n g ,   Q .   P e n g ,   J.  Zh a n g ,   a n d   P .   G u ,   A   f u z z y   n u m b e r   b a se d   h i e r a r c h y   a n a l y t i c   me t h o d   a n d   a p p l i c a t i o n   i n   i mp r o v e me n t   o f   r e h a b i l i t a t i o n   d e v i c e s,   C o m p u t e r - Ai d e d   D e si g n   a n d   A p p l i c a t i o n s ,   v o l .   1 6 ,   n o .   2 ,   p p .   3 6 9 3 8 1 ,   2 0 1 9 ,     d o i :   1 0 . 1 4 7 3 3 / c a d a p s. 2 0 1 9 . 3 6 9 - 3 8 1 .   [ 43 ]   A .   F .   R .   L.   d e   H i e r r o ,   M .   S á n c h e z ,   D .   P u e n t e - F e r n á n d e z ,   R .   M o n t o y a - Ju á r e z ,   a n d   C .   R o l d á n ,   A   F u z z y   D e l p h i   c o n se n s u s   met h o d o l o g y   b a se d   o n   a   f u z z y   r a n k i n g ,   M a t h e m a t i c s ,   v o l .   9 ,   n o .   1 8 ,   p.   2 3 2 3 2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / ma t h 9 1 8 2 3 2 3 .   [ 44 ]   T.   C h e n ,   Y .   C .   L i n ,   a n d   M .   C .   C h i u ,   A p p r o x i m a t i n g   a l p h a - c u t   o p e r a t i o n a p p r o a c h   f o r   e f f e c t i v e   a n d   e f f i c i e n t   f u z z y   a n a l y t i c   h i e r a r c h y   p r o c e ss a n a l y si s ,   Ap p l i e d   S o f t   C o m p u t i n g   J o u rn a l ,   v o l .   8 5 ,   p.   1 0 5 8 5 5 2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . a s o c . 2 0 1 9 . 1 0 5 8 5 5 .   [ 45 ]   G .   A .   M .   S a i d o ,   S .   S i r a j ,   D .   D e W i t t ,   a n d   O .   S .   A l - A me d y ,   D e v e l o p m e n t   o f   a n   i n st r u c t i o n a l   m o d e l   f o r   h i g h e r   o r d e r   t h i n k i n g   i n   sci e n c e   a mo n g   se c o n d a r y   sc h o o l   st u d e n t s:   a   F u z z y   D e l p h i   a p p r o a c h ,   I n t e r n a t i o n a l   J o u rn a l   o f   S c i e n c e   E d u c a t i o n ,   v o l .   4 0 ,   n o .   8 ,   p p .   8 4 7 8 6 6 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 8 0 / 0 9 5 0 0 6 9 3 . 2 0 1 8 . 1 4 5 2 3 0 7 .   [ 46 ]   P .   R a h a y u   a n d   I .   A .   W u l a n d a r i ,   D e f i n i n g   e - p o r t f o l i o   f a c t o r   f o r   c o mp e t e n c y   c e r t i f i c a t i o n   u si n g   F u z z y   D e l p h i   met h o d ,   Pr o c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   1 9 7 ,   p p .   5 6 6 5 7 5 ,   2 0 2 2 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 2 1 . 1 2 . 1 7 4 .   [ 47 ]   A .   D .   H a n a f i a h   a n d   A .   A.   A z i z ,   O p p o r t u n i t i e a n d   c h a l l e n g e i n   ES L   o n l i n e   l e a r n i n g   e n v i r o n m e n t :   a   r e v i e w   o f   l i t e r a t u r e ,   I n t e r n a t i o n a l   J o u r n a l   o f   Ac a d e m i c   Re s e a r c h   i n   B u si n e ss   a n d   S o c i a l   S c i e n c e s ,   v o l .   1 2 ,   n o .   1 ,   p p .   1 7 2 1 1 7 3 0 2 0 2 2 ,     d o i :   1 0 . 6 0 0 7 / i j a r b ss / v 1 2 - i 1 / 1 2 0 6 2 .       B I O G RAP H I E S O F   AUTH O RS       Nur  H id a y a h   M d   Y a z id           is  a   P h . D .   st u d e n o f   th e   F a c u lt y   o Ed u c a ti o n   a t   t h e   Na ti o n a Un i v e rsity   o M a lay si a ,   Ba n g i,   M a lay sia .   S h e   h a b e e n   a   lec tu re a Un iv e rsiti   Tek n o lo g M ARA ,   M a lay sia   si n c e   2 0 1 6   a n d   is  c u rre n tl y   d o i n g   h e d o c to ra te  st u d ies .   He re se a rc h   fo c u se o n   En g li sh   g ra m m a a n d   we b - b a se d   lea rn in g   a p re - u n i v e rsity   lev e l .   S h e   c a n   b e   c o n tac ted   a e m a il n u r h id a y a h 7 9 4 5 @u it m . e d u . m y n h i d a y a h m y @g m a il . c o m .       Evaluation Warning : The document was created with Spire.PDF for Python.