I AE S In t er na t io na l J o urna l o f   Art if icia l In t ellig ence   ( I J - AI )   Vo l.   14 ,   No .   2 A p r il   20 25 ,   p p .   1 3 0 2 ~ 1 3 1 0   I SS N:  2 2 5 2 - 8 9 3 8 ,   DOI : 1 0 . 1 1 5 9 1 /ijai.v 14 .i 2 . p p 1 3 0 2 - 1 3 1 0           1302     J o ur na l ho m ep a g e h ttp : //ij a i . ia esco r e. co m   Depressi o de tec t io n t hro ug h t ra nsfo rmers - ba sed  e mo tion  recog nition in m u ltiva ria te  time  ser ies facia l data       K enj o v a n Na ng g a la 1 ,   G re g o rius   Na t a na el  E lwireha rdj a 2, 3 ,   B ens   P a rda m ea n 1, 2   1 M a s t e r   o f   C o m p u t e r   S c i e n c e ,   S c h o o l   o f   C o m p u t e r   S c i e n c e ,   B i n a   N u sa n t a r a   U n i v e r s i t y ,   Ja k a r t a ,   I n d o n e s i a   2 B i o i n f o r m a t i c s   a n d   D a t a   S c i e n c e   R e s e a r c h   C e n t e r ,   B i n a   N u sa n t a r a   U n i v e r si t y ,   J a k a r t a ,   I n d o n e s i a   3 D e p a r t me n t   o f   C o m p u t e r   S c i e n c e ,   S c h o o l   o f   C o m p u t e r   S c i e n c e ,   B i n a   N u sa n t a r a   U n i v e r si t y ,   J a k a r t a ,   I n d o n e s i a       Art icle  I nfo     AB S T RAC T   A r ticle  his to r y:   R ec eiv ed   No v   1 2 ,   2 0 2 3   R ev is ed   No v   1 6 ,   2 0 2 4   Acc ep ted   No v   2 4 ,   2 0 2 4       G lo b a ll y ,   t h e   p re v a len c e   o m e n t a h e a lt h   d iso r d e rs,  p a rti c u larly   d e p re ss io n ,   h a b e c o m e   a   p re ss in g   issu e .   Ea rly   d e tec ti o n   a n d   in terv e n ti o n   a r e   v it a to   m it ig a te  th e   p r o fo u n d   imp a c o d e p re ss io n   o n   i n d iv i d u a ls  a n d   so c iety .   Lev e ra g in g   tran sfo rm e m o d e ls,   re n o wn e d   fo r   th e ir  e x c e ll e n c e   in   n a t u ra l   lan g u a g e   p ro c e ss in g   a n d   ti m e   se ries   tas k s,  we   e x p lo re   th e ir  a p p l ica ti o n   in   d e p re ss io n   d e tec ti o n   u si n g   m u lt i v a riate   ti m e   se ries   (M TS d a ta  f ro m   fa c ial  e x p re ss io n s.   Tran sfo rm e m o d e ls  e x c e in   se q u e n ti a d a ta  p r o c e ss in g   b u t   re m a in   re lativ e ly   u n e x p l o re d   in   f a c ial  e x p re ss io n   a n a ly sis.  T h is  stu d y   a im s   to   c o m p a re   t ra n sfo rm e m o d e ls  a p p li e d   to   first - o rd e ti m e   d e ri v a ti v e   d a ta   with   trad it io n a m e th o d s.   We  u se   th e   d istres a n a l y sis  i n terv ie c o rp u s   wiz a rd   o o z   (DA IC - WOZ d a tas e a n d   e v a lu a te  m o d e ls  with   m e a n   a b so l u te   e rro (M AE)  a n d   r o o m e a n   sq u a re d   e rro (RM S E)  m e tri c s.  Re su lt sh o w   th a t ra n sfo rm e m o d e ls  o n   fir st  d e riv a ti v e o u tp e rf o rm   o th e r with   a n     M AE  o 4 . 4 2   a n d   R M S o 5 . 4 2 .   W h il e   tran sf o rm e m o d e ls  o n   ra d a ta   su rp a ss   XG Bo o st  i n   RM S E ,   t h e y   fa ll   sh o rt   o f   LS TM + tran sfo rm e with   a n   M AE  o f   5 . 4 1   a n d   RM S E   o f   6 . 0 2 .   P re p r o c e ss in g   th r o u g h   d iff e re n ti a ti o n   e n h a n c e t ra n sfo rm e m o d e ls'   a b i li ty   to   c a p tu re   tem p o ra p a tt e rn s,   p ro m isin g   imp ro v e d   d e p re ss io n   d e tec ti o n   a c c u ra c y .   K ey w o r d s :   Dee p   lear n in g   Facial  b eh av io r   an al y s is   Facial  d ata   Ma jo r   d ep r ess iv d is o r d er   T r an s f o r m e r s   T h is i a n   o p e n   a c c e ss   a rticle   u n d e r th e   CC B Y - SA   li c e n se .     C o r r e s p o nd ing   A uth o r :   Ken jo v an   Nan g g ala   Ma s ter   o f   C o m p u ter   Scien ce ,   Sch o o l o f   C o m p u ter   Scien ce ,   B in Nu s an tar Un iv er s ity   J ak ar ta   1 1 4 8 0 I n d o n esia   E m ail: k en jo v an . n an g g ala@b in u s . ac . id       1.   I NT RO D UCT I O N   Me n tal  h ea lth   d is o r d er s ,   p ar t icu lar ly   d e p r ess io n ,   h a v e v o lv ed   in to   s ig n if ica n g lo b al   co n ce r n ,   im p ac tin g   m illi o n s   o f   in d iv id u als  wo r ld wid in   r ec e n y ea r s   [ 1 ] ,   [ 2 ] .   E v e n   if   it  is   alr ea d y   q u ite  s ev er e,   it  ca n   lead   to   ca s es  o f   s u icid [ 3 ] .   T h cr itical  r o le  o f   ea r ly   d etec tio n   an d   in ter v e n tio n   in   allev i atin g   th p r o f o u n d   co n s eq u en ce s   o f   d ep r ess io n   o n   in d i v id u als  an d   s o ciety   at  la r g is   wid ely   ac k n o wled g ed   [ 4 ] ,   [ 5 ] .   I n   th e   er o f   ar tific ial  in tellig en ce   an d   d ee p   lear n in g ,   r esear ch e r s   ar ac ti v ely   ex p lo r in g   in n o v ativ a p p r o ac h es  to   e n h an ce   th ac cu r ac y   a n d   e f f icien cy   o f   d ep r ess io n   d etec tio n   [ 6 ] .   T h is   s tu d y   asp ir es  to   co n tr ib u te  to   th ex p an d in g   b o d y   o f   k n o wled g in   t h f ield   o f   m e n tal  h ea lth   ass es s m en t,  with   s p ec if ic  f o cu s   o n   th d etec tio n   o f   d e p r es s io n .   T o   ac co m p lis h   th is ,   we  h ar n ess   t r an s f o r m er   m o d els,  d ee p   n eu r al  n etwo r k   ar ch itectu r r en o wn e d   f o r   it s   ex ce p tio n al  p er f o r m a n ce   in   v ar iety   o f   n atu r al   lan g u ag e   p r o ce s s in g   ( NL P)  an d   tim s er ies  d ata  task s   [ 7 ] ,   [ 8 ] .   T r an s f o r m er s   m o d el   em p lo y   atten tio n   m ec h an is m s   an d   s elf - atten tio n   lay er s   to   g r asp   th co n n ec tio n s   b etwe en   wo r d s   a n d   p h r ase s   in   p r o v id ed   tex [ 9 ] .   W h ile  t r an s f o r m er   m o d e ls   h av g ar n er e d   co n s id er a b l atten tio n   f o r   t h eir   ef f ec tiv e n ess   in   p r o ce s s in g   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Dep r ess io n   d etec tio n   th r o u g h   tr a n s fo r mer s - b a s ed   emo tio n   r ec o g n itio n   i n     ( K en jo va n   N a n g g a la )   1303   s eq u en tial  d ata,   th ei r   ap p licatio n   in   t h d o m ain   o f   f ac ial  e x p r ess io n   an aly s is ,   p a r ticu lar l y   in   th e   co n tex o f   m u ltiv ar iate  tim s er ies  ( MT S)  d ata,   h as r em ai n ed   r elativ ely   u n ch ar te d   ter r ito r y   [ 1 0 ] .   T h is   r esear ch   is   g r o u n d e d   i n   th f o llo win g   ce n tr al  r ese ar ch   q u esti o n wh y   d o   t h r eg r ess io n   o u tco m es  r esu ltin g   f r o m   th u tili za tio n   o f   t r an s f o r m er   m o d el  o n   f i r s t - o r d er   tim d er iv ativ d ata  o f   f ac ial   b eh av io r   in   d ep r ess io n   d etec tio n   co m p a r to   th o s o f   th b a s ic  m eth o d T h r esear ch   en d ea v o r   en co m p ass es  an   ex p l o r atio n   o f   th p o ten ti al  o f   t r a n s f o r m e r   m o d els  in   th r ea lm   o f   d ep r ess io n   d ete ctio n   th r o u g h   th e   an aly s is   o f   MT d ata  d er iv ed   f r o m   f ac ial  ex p r ess io n s   [ 1 1 ] .   T h ch o ice  o f   u tili zin g   a   t r a n s f o r m er   m o d el  f o r   th is   r esear ch   s tem s   f r o m   its   ab ilit y   to   ef f ec tiv ely   ca p tu r c o m p lex   s eq u e n tial  p atter n s   an d   d ep e n d en cies  i n   MTS   d ata,   m ak in g   it  p r o m i s in g   ap p r o ac h   f o r   th task   o f   d ep r ess io n   d etec tio n .   Fu r th er m o r e,   o u r   aim   is   to   ev alu ate  th p er f o r m an ce   o f   t r an s f o r m er   m o d els in   co m p a r is o n   to   b aselin m o d els,  with   p ar ticu lar   em p h asis   o n   th eir   ab ilit y   to   ca p t u r lo n g - ter m   tem p o r al  d ep e n d en cies   [ 1 2 ] .   Ad d itio n ally ,   th is   s tu d y   s ee k s   to   ass e s s   th e   s u cc ess   o f   th t r an s f o r m e r - b a s ed   ap p r o ac h   to   d ep r ess io n   d etec tio n   as  v alu ab le  to o f o r   ea r ly   in ter v en tio n   an d   m en tal  h ea lth   s u p p o r t.       2.   RE L AT E WO RK S   Sev er al  n o tab le   s tu d ies  in   th e   d o m ain   o f   d ep r ess io n   d etec tio n   th r o u g h   f ac ial  a n aly s is   h av e   p av ed   th way   f o r   in n o v ativ e   ap p r o ac h es.  Gav r iles cu   an d   Vizir ea n u   [ 1 3 ]   u tili ze d   th f ac ial  ac ti o n   co d i n g   s y s tem   ( FAC S)  to   d is ce r n   d e p r ess io n ,   a n x iety ,   an d   s tr ess   ( DASS)  lev els,  ac h iev in g   im p r e s s iv ac cu r ac ies  o f     8 7 . 2 f o r   d ep r ess io n ,   7 7 . 9 f o r   an x iety ,   an d   9 0 . 2 f o r   s tr ess   with   u n iq u th r e e - lay er   ar ch itectu r e .   Mu za m m el  et  a l.   [ 1 4 ]   d el v ed   in to   m ajo r   d e p r ess iv d is o r d er   ( MD D)   d etec tio n ,   em p lo y i n g   lo n g   s h o r t - ter m   m em o r y   ( L STM )   an d   co n v o l u tio n al  n eu r al  n etwo r k   ( C NN ) ,   with   s lig h tly   im p r o v ed   a cc u r ac y   o f   6 6 . 2 5 %   co m p ar ed   to   6 5 . 6 0 %   f o r   b i n ar y   ca s es  o f   d ep r ess io n .   Gr im m   et  a l.   [ 1 5 ]   in tr o d u ce d   th p atien h ea lth   q u esti o n n air ( PHQ - V)   an d   g en er alize d   an x iety   d is o r d er   ( GAD - V) ,   r ep lacin g   PHQ - 9   an d   GAD - 7 ,   em p lo y in g   th r ee   tr an s f o r m er   b lo c k s ,   lead in g   to   im p r o v ed   r esu lts .   Su n   e a l.   [ 1 6 ]   cr af ted   t h d ee p   f ea tu r f u s io n   n etwo r k   ( DFFN),   ac h iev in g   s u p er io r   r e s u lts   in   d ep r ess io n   d etec tio n   f r o m   f u s io n   o f   tex t,  au d io ,   an d   v id eo   m o d alities   with   p r ec is io n   s co r o f   0 . 9 1 .   Su n   et  a l.   [ 1 7 ]   h ar n ess ed   th e   tr an s f o r m er   n etwo r k   to   d etec MD D,   s u r p ass in g   b aselin m eth o d s   with   co n co r d an ce   co r r elatio n   c o ef f icien ( C C C )   s co r o f   0 . 7 3 3 .     R asip u r am   et  a l.   [ 1 8 ]   c o m b in ed   C NN  an d   b id ir ec tio n al  lo n g   s h o r t - te r m   m e m o r y   ( B iLST M )   lay er s   f o r   MD d etec tio n ,   ex ce llin g   in   ad d r ess in g   im b alan ce d   d ata ,   g en d er   b ias,  an d   s m all - s ca le  d ataset  ch allen g es.  T ig g an d   Gar g   [ 1 9 ]   ex p l o r e d   elec tr o en ce p h alo g r a m   ( E E G)   s ig n als  with   an   atten tio n - b ased   g ated   r ec u r r e n u n its   tr an s f o r m e r   ( AttGR UT )   tim s er ies  n eu r al  n etwo r k ,   co n s is ten tly   o u tp er f o r m in g   o th e r   tim e - s er ies   m o d els.  T iwar y   et  a l.   [ 2 0 ]   a ch iev ed   th h ig h est  ac cu r ac y   o f   8 2 f o r   MD d etec tio n   u s in g   d ee p   C NN   m o d el  co u p led   with   th e   DASS  an d   FAC S.  Sh an g g u an   et   a l .   [ 2 1 ]   ac h iev ed   a n   ac c u r ac y   o f   7 4 . 7 an d   r ec all   o f   7 4 . 5 with   th atten tio n - b ased   d ee p   d o m ain   m atch in g   in s tan ce   lear n in g   ( ADDM I L )   m o d el  f o r   MD D   d etec tio n .   Gu o   et   a l.   [ 2 2 ]   co m b in ed   t h tem p o r al   d ilated   co n v o lu tio n   n etwo r k   ( T DC N)   b r a n ch es,  ex ce llin g   in   ter m s   o f   ac cu r ac y ,   r ec all,   an d   F1 - s co r e,   r an k in g   s ec o n d   b es f o r   p r ec is io n   in   au to m atic  d ep r ess io n   d etec tio n .   T h ese  s tu d ies  co llectiv ely   co n tr ib u te  to   t h p u r s u it  o f   ac cu r ate  d ep r ess io n   d etec tio n   m eth o d s ,   s ig n alin g   p r o m is in g   p o ten tial f o r   th f iel d .   T h e   l i te r a t u r e   r e v i e w   p r o v i d ed   v a l u a b l e   i n s i g h ts   f o r   y o u r   r e g r e s s i o n - b a s e d   r es e a r c h   o n   d e p r e s s i o n   d e t e c t i o n   wi t h i n   M T S   d a t a   u s in g   a   t r a n s f o r m e r   m o d e l .   T h e   im p l e m e n t a t i o n   o f   t h e   t r a n s f o r m e r   m o d e l ,   i n s p i r e d   b y   s t u d i e s   l i k e   S u n   e t   a l .   [ 1 7 ] ,   r e m a i n s   a   p r o m i s i n g   a p p r o a c h   f o r   m o d e l i n g   a n d   r e g r e s s i n g   d e p r e s s i o n   s e v e r it y   l e v e l s   b a s e d   o n   v i d e o - b as e d   MT S .   M o r e o v e r ,   t h e   e x p e r ie n c e s   o f   h a n d l i n g   d a t a   i m b a l a n ce   a n d   b i a s ,   as   a d d r e s s e d   in   [ 1 8 ] [ 2 3 ] ,   c a n   b e   i n v a l u a b l e   i n   e n s u r i n g   t h e   r o b u s t n e s s   o f   y o u r   m o d e l   w h e n   w o r k i n g   e x c l u s i v e l y   wi t h   v i d eo   d a t a .   F u r t h e r m o r e ,   a n   a v e n u e   f o r   e n h a n c i n g   t h e   m o d e l ' s   p e r f o r m a n c e   l i e s   i n   i ts   a d a p t at i o n   a n d   f i n e - t u n i n g   f o r   v i d e o   d a t a ,   w i t h   t h e   o b j e c t i v e   o f   m i n i m i z i n g   m e a n   a b s o l u t e   er r o r   ( M A E )   a n d   r o o t   m e a n   s q u a r e d   e r r o r   ( R M S E ) a s   i n s p i r e d   b y   n o t a b l e   a c h i e v em e n t s   i n   t h e   f i e l d   o f   d e p r e s s i o n   d e t e c t i o n   as   d o c u m e n t e d   i n   t h e   l i t e r at u r e .       3.   M E T H O D   I n   th is   s tu d y ,   we  em p lo y   tr an s f o r m er   m o d els  to   d etec d ep r e s s io n   f r o m   v id eo   d ata,   with   p ar ticu lar   f o cu s   o n   MT f ac ial  b eh a v io r   d ata.   T h c h o ice  o f   tr an s f o r m er s   is   m o tiv ated   b y   th eir   p r o v en   ef f ec tiv e n ess   in   h an d lin g   MT d ata,   a   ch ar ac t er is tic  n o co m m o n ly   e x p lo r e d   in   th e   co n te x o f   f ac ial  ex p r ess io n   an aly s is   f o r   d ep r ess io n   d etec tio n .   C o m p ar ed   to   r ec u r r en n e u r al  n etwo r k s   ( R NNs)  [ 2 4 ] ,   tr an s f o r m er s   o f f er   ad v an tag es  i n   ca p tu r in g   lo n g - r an g tem p o r a d ep en d e n cies  [ 2 5 ] ,   m ak in g   th em   s u itab le  f o r   an al y zin g   f ac ial  b eh av io r   o v e r   ex ten d ed   d u r atio n s .   T h is   s tu d y   alig n s   with   p r ev io u s   r esear ch   b y   R asip u r am   et  a l .   [ 1 8 ]   th at  s u cc ess f u lly   u tili ze d   tr an s f o r m er s   in   m e n ta h ea lth   d is o r d er   d etec tio n ,   p r im ar ily   in   au d i o   an d   te x m o d a liti es.  Sti ll,  it  aim s   to   ex ten d   th eir   a p p licatio n   to   th u n d er e x p lo r ed   r ea lm   o f   tim e - s er ies  f ac ial  ex p r ess io n   d a ta.   B y   ca p italizin g   o n   th p ar allel   p r o ce s s in g   c ap ab ilit ies  o f   tr an s f o r m er s ,   th is   s tu d y   s ee k s   to   en h an ce   th ef f icien cy   an d   ac cu r ac y   o f   d e p r ess io n   d etec tio n   m eth o d s .   T h en h an ce d   ef f icien cy   p r im ar ily   r elate s   to   th m o d el' s   ab ili ty   to   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   2 ,   Ap r il 2 0 2 5 :   1 3 0 2 - 1 3 1 0   1304   p r o ce s s   d ata  in   p ar allel,   wh ich   ca n   lead   to   f aster   in f er en ce   tim es  an d   p o ten tially   r ed u ce   co m p u tatio n al   r eso u r ce s   r eq u ir ed   f o r   d e p r ess io n   d etec tio n .   I n   Fig u r 1 ,   it  is   illu s tr ated   t h at  th is   p ap er   co n s is ts   o f   s ev er al  s eq u en tial  s tep s .   T h ese   i n clu d d ata   ac q u is itio n ,   wh ich   in v o lv es  u tili zin g   th d is tr ess   an aly s is   in ter v iew  co r p u s   wiza r d   o f   o ( DAI C - W OZ )   d ataset,   f o llo wed   b y   p r ep r o ce s s in g   th o b tain ed   d ata.   Su b s eq u en tly ,   th p r o ce s s   en co m p ass es  tr ain in g   an d   p ar am eter   tu n in g ,   m o d el  e v alu atio n ,   an d   u ltima tely   cu lm in at es in   p u b lis h in g   t h r esear ch   f in d in g s .           Fig u r 1 .   R esear ch   f lo w       3 . 1 .     Da t a s et   T h d ataset  e m p lo y e d   f o r   th i s   r esear ch   is   s o u r ce d   f r o m   th DAI C - W OZ .   T h is   co r p u s   c o n s is ts   o f   clin ical  in ter v iews  co n d u cted   b y   v ir tu al  an im ate d   in ter v ie wer ,   d esig n ed   f o r   d iag n o s in g   p s y ch o lo g ical  s tr ess   d is o r d er s ,   in clu d in g   d ep r ess io n .   T h e   d ataset  p r o v id es  r ich   s o u r ce   o f   r ea l - wo r ld   d ata   f o r   a n aly zin g   an d   u n d er s tan d i n g   v a r io u s   asp ec ts   o f   th ese  d is o r d e r s .   Utilizin g   s u ch   d ata  f ac ilit ates  co m p r eh en s iv r esear ch   an d   in s ig h ts   in to   th co m p lex ities   o f   p s y ch o lo g ical  d is tr ess .   T h v id eo   d ata  in   th is   d ataset  co m p r is es  in f o r m atio n   r elate d   to   f ac ial  ac tio n   u n its   th at  ca n   b e   s ee   in   Fig u r es  2   an d   3 ,   f o r   th u p p er   an d   lo wer   f ac e,   r esp ec tiv ely .   T h r esear ch   f lo en c o m p ass es  d ata  ac q u is itio n ,   p r ep r o ce s s in g ,   f ea tu r e   s elec tio n   u s in g   Pear s o n   c o r r elatio n   ( PC ) ,   m o d el  tr ain i n g   a n d   p ar am eter   tu n in g ,   an d   f in ally ,   m o d el  ev alu atio n .   T h p r im ar y   ev alu atio n   m etr ics   in clu d MA E   a n d   R MSE   to   ass ess   th m o d el's   p er f o r m an ce   in   p r ed ictin g   d ep r ess io n   lev els b ased   o n   f ac ial  b eh av io r   d ata.           Fig u r 2 .   Up p er   f ac e   f ac ial  ac t io n   u n it  [2 6 ]           Fig u r 3 .   L o wer   f ac f ac ial  ac tio n   u n it  [2 6 ]   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Dep r ess io n   d etec tio n   th r o u g h   tr a n s fo r mer s - b a s ed   emo tio n   r ec o g n itio n   i n     ( K en jo va n   N a n g g a la )   1305   3 . 2 .     Da t a   p re pro ce s s ing   B ef o r d elv in g   in to   th p r ep r o ce s s in g   s tep s ,   it 's  cr u cial  to   u n d er s tan d   th p i v o tal  r o le  th ey   p lay   in   r ef in in g   r aw  d ata  f o r   an aly s is .   Pre p r o ce s s in g   en co m p ass es  v ar io u s   tech n i q u es  aim e d   at   en h an cin g   th e   q u ality   an d   r eliab ilit y   o f   th e   d ataset,   en s u r in g   it  is   s u itab le  f o r   f u r th er   an aly s is .   T h ese  s tep s   ty p ically   in v o lv e   d o wn lo ad in g   th d ataset,   ag g r eg atio n ,   cr o p p in g ,   s p litt in g   an d   m ea n   ca lcu latio n   t h at  ca n   b s ee n   in   Fig u r 4 .   B y   ex ec u tin g   p r e p r o ce s s in g   d ilig en tly ,   r esear ch e r s   ca n   m itig ate  p o ten tial  b iases ,   ad d r ess   m is s in g   v alu es,  an d   s tan d ar d ize  d ata   f o r m ats,  th e r eb y   lay i n g   s o lid   f o u n d atio n   f o r   s u b s eq u en t   an aly s es.  Hen c e,   c o m p r eh en s iv e   u n d er s tan d i n g   o f   p r ep r o ce s s in g   tech n iq u es  is   in d is p en s ab le  f o r   ex t r ac tin g   m ea n in g f u in s i g h ts   f r o m   th d ata  an d   m ak i n g   in f o r m e d   d ec is io n s   b ased   o n   an aly tical  o u tco m e s .           Fig u r 4 .   Data   p r ep r o ce s s in g   f lo w       R ef er   to   Fig u r 4 ,   we  ca n   s e th at  f o r   th e   p r e p r o ce s s in g   s tag e,   af ter   co n s o lid atin g   tex f iles   f r o m   ea ch   p ar ticip a n in to   d ataf r am with   v i d eo   r ec o r d i n g   c o o r d in ates,  t h r esear ch e r   p r o ce ed s   to   cr o p   th e   tim estam p   ( s tar t_ tim e,   s to p _ tim e)   b ased   o n   t h au d i o   r ec o r d in g   d ata  in   t h tr an s cr ip f ile .   T h p u r p o s is   to   alig n   th tim estam p s   in   t h c o m b in ed   d ataf r a m with   th o s in   th a u d io   r ec o r d in g   to   eli m in ate  ir r elev an t   o r   u n in f o r m ativ tim estam p s .   I n   th is   s tu d y ,   all  d ataset  f ea tu r es  ar u tili ze d   ex ce p f o r   h is to g r am   o f   o r ien ted   g r ad ien ts   ( HOG)   f ea tu r es.  T h r esu ltin g   cr o p p ed   d ata  is   th en   ex p o r ted   to   co m m a - s ep ar a ted   v alu es  ( C SV ) Fu r th er m o r e ,   f ir s d e r iv ati v o f   t h cr o p p ed   d ata  is   co m p u ted ,   r ep r esen tin g   th e   d if f er en ce   b etwe en   co n s ec u tiv f r am es,  an d   th ese  d atasets   ar also   ex p o r ted   to   C SV.  T h f ir s d er iv ativ aim s   to   in v esti g ate   wh eth er   th e   r ate  o f   ch an g in   lan d m ar k   p o s itio n s   o r   s p ec if ic  f ea tu r es  s ig n if ica n tly   d if f er s   b etwe en   n o r m al   in d iv id u als  an d   th o s with   d e p r ess io n .   Af ter war d ,   th m ea n   v alu es  f o r   ea ch   d ataset  ar ca lcu lated   f o r   f ea tu r e   s elec tio n ,   an d   o n ly   th ese  m ea n   v alu es  ar u s ed   f o r   th s elec tio n   p r o ce s s .   Su b s eq u e n tly ,   t h s elec ted   f ea tu r es   ar u s ed   in   th MT d ata  f o r   m o d elin g .   Fo llo win g   d ata  p r ep r o ce s s in g ,   f ea tu r s elec tio n   is   p er f o r m ed   u s in g   PC   b ased   o n   f ea tu r es  with   s i g n if ican p - v alu es,   co n s id er in g   b o t h   th e   r aw  a n d   f ir s d er i v ativ ( m ea n )   d ata.   Utilizin g   PC   f o r   f ea tu r s elec tio n   h elp s   id en tify   f ea tu r es  with   s tr o n g   co r r elatio n s ,   r ed u cin g   d ataset   d im en s io n s ,   en h an cin g   co m p u tatio n al  ef f icien c y ,   a n d   im p r o v in g   m o d el   p er f o r m a n ce   b y   r etain in g   th m o s t   in f o r m ativ a n d   r ele v an t f ea tu r es in   d ata  an aly s is .   Fo llo win g   th d escr ib ed   d at p r ep r o ce s s in g   s tep s ,   f ea tu r s elec tio n   was  p er f o r m ed   u s in g   PC ,   co n s id er in g   f ea tu r es  with   p - v a lu es  <0 . 1   f o r   b o t h   th r aw  a n d   f ir s d er iv ativ ( m ea n )   d ata.   T h is   m eth o d   h elp s   id en tify   f ea t u r es  ex h i b itin g   s tr o n g   c o r r elatio n s ,   lea d in g   to   r ed u ctio n   in   d ataset  d im e n s io n s .   C o n s eq u en tly ,   it  en h an ce s   c o m p u tatio n al  ef f icien cy   a n d   m o d el  p e r f o r m an ce   b y   r etain in g   t h m o s in f o r m ativ an d   r ele v an t   f ea tu r es  f o r   f u r th e r   an aly s is .   Su b s eq u en tly ,   th e   r esu lts   o f   t h f ea tu r s elec tio n ,   in clu d in g   th p - v al u o f   ea ch   f ea tu r e,   ar p r esen ted   f o llo win g .   T h d ata  p r esen ted   in   T a b le  1   h ig h lig h ts   th o u tco m es  o f   f ea tu r s elec tio n   b ased   o n   c r iter io n   o f     p - v alu es b elo 0 . 1 ,   alb eit  s till   ap p r o ac h in g   0 . 0 5 .   No tab ly ,   A U1 2 _ r   ex h ib its   a   p - v alu o f   0 . 0 1 2 ,   r ep r esen tin g   a   s ig n if ican f ea tu r ass o ciate d   with   th lip   ar ea .   Ad d itio n ally ,   y _ h 0   an d   y _ h 1 ,   with   p - v alu es  o f   0 . 0 6 9   an d   0 . 0 6 1   r esp ec tiv ely ,   a r id en tifi ed   as c r u cial  co m p o n e n ts   o f   e y g az with in   th e   d ataset.       T ab le  1 .   R esu lts   o f   f ea tu r s el ec tio n   F e a t u r e s   P - V a l u e   A U 1 2 _ r   0 . 0 1 2   y _ h 0   0 . 0 6 9   y _ h 1   0 . 0 6 1       Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   2 ,   Ap r il 2 0 2 5 :   1 3 0 2 - 1 3 1 0   1306   3 . 2 .     M o del  a rc hite ct ure   T h m o d el' s   ar ch itectu r s er v es  as  th b lu ep r in th at  o u tlin es  its   s tr u ctu r e,   in clu d in g   th ar r an g em en t   o f   lay er s ,   co n n ec tio n s ,   a n d   alg o r ith m s   em p lo y ed   f o r   p r o ce s s in g   d ata.   Un d er s tan d in g   th ar ch itectu r p r o v id es   in s ig h ts   in to   h o th m o d el  lear n s   f r o m   in p u d ata,   m a k es  p r ed ictio n s ,   an d   ad a p ts   to   v ar y in g   co m p le x ities .   Ad d itio n ally ,   it  s h ed s   lig h o n   th m o d el' s   ca p ab ilit ies,   li m itatio n s ,   an d   p o ten tial  f o r   o p tim izatio n .   Hen ce ,   ex p lo r in g   th ar ch itectu r is   p iv o tal  f o r   c o m p r eh en d in g   th m o d el' s   in n er   wo r k in g s   an d   its   ef f icac y   in   ad d r ess in g   th r esear ch   o b jectiv es.  I n   th is   r esear ch ,   we  u s tr an s f o r m er   as  th m o d el  an d   th ar ch itectu r o f   th m o d el  ca n   b s ee n   in   Fig u r 5 .           Fig u r 5 .   T r an s f o r m e r   m o d el  ar ch itectu r e       Fro m   Fig u r e   5 ,   we   ca n   s ee   t h at  th is   s tu d y   u tili ze s   a   tr an s f o r m er   m o d el  ar ch itectu r e   th at  in clu d es  p o s itio n   en co d in g ,   s elf - atten tio n   lay er s ,   f ee d - f o r war d   n e u r a n etwo r k   lay er s ,   an d   lin ea r   ac tiv atio n   f u n ctio n s   f o r   d ep r ess io n   lev el  p r ed ictio n s .   Hy p er p ar a m eter   tu n in g ,   p er f o r m e d   th r o u g h   g r id   s ea r ch ,   allo ws  f o r   o p tim al   m o d el  co n f ig u r atio n .   T h e   r e s ea r ch   lev er ag es  i n s ig h ts   f r o m   p r e v io u s   wo r k   in   th e   d o m ain   o f   d e p r ess io n   d etec tio n   wh ile  e x ten d in g   th e   ap p licatio n   o f   tr an s f o r m er s   t o   im p r o v e   th ac c u r ac y   an d   e f f ec tiv en ess   o f   th e   an aly s is   o f   MT f ac ial  b eh a v io r   d ata,   u ltima tely   co n tr ib u tin g   to   th d ev elo p m en o f   m o r r eliab le  an d   ef f icien d ep r ess io n   d etec tio n   m eth o d s .   T h f o llo win g   h y p er p ar am eter s   wer ex p lo r e d   d u r in g   th g r id   s ea r ch   p r o ce s s :   -   L ea r n in g   r ate : [ 0 . 0 5 ,   0 . 0 1 ,   0 . 0 0 1 ]   -   Neu r o n s   in   ea ch   lay er : [ 3 2 ,   6 4 ,   1 2 8 ,   2 5 6 ]   -   Nu m b er   o f   atten tio n   h ea d s : [ 1 ,   2 ,   4 ,   8 ]   -   L in ea r   u n its : [ 5 1 2 ,   1 0 2 4 ,   2 0 4 8 ,   4 0 9 6 ]   -   Dim en s io n   o f   th e   f ee d - f o r war d   ( DFF):  [ 6 4 ,   1 2 8 ,   2 5 6 ]   -   Dr o p o u r ate : [ 0 . 1 ,   0 . 2 ,   0 . 3 ,   0 . 4 ]   Fo r   th b est p ar am ete r   s ettin g s   u s ed   in   th is   s tu d y   ar e   as f o llo ws:   -   L ea r n in g   r ate : 0 . 0 5   -   Neu r o n s   in   ea ch   lay er : 1 2 8   -   Nu m b er   o f   atten tio n   h ea d s : 2   -   L in ea r   u n its : 2 0 4 8   -   DFF:   6 4   -   Dr o p o u r ate : 0 . 1     3 . 3 .     M o del  e v a lua t i o n   I n   ev al u atin g   th p er f o r m an ce   o f   th p r o p o s ed   tr an s f o r m er   m o d el  o n   f ir s d er i v ativ v id e o   d ata,   we   em p lo y   two   p r im ar y   m etr ics:   MA E   an d   R MSE .   T h ese   m e tr ics  ar ch o s en   f o r   th eir   ab ilit y   to   q u an tify   th e   av er ag m ag n itu d o f   th e   er r o r s   in   s et  o f   p r ed ictio n s   with o u co n s id er in g   th eir   d ir ec tio n .   T h ese  m etr ics  a r e   well - s u ited   f o r   o u r   s tu d y   as  th ey   o f f e r   clea r   an d   s tr aig h tf o r war d   in ter p r etatio n   o f   m o d el  p er f o r m an ce .   MA E   p r o v id es  n atu r al  a n d   ea s ily   in ter p r etab le  m ea s u r o f   av er ag er r o r   m a g n itu d e ,   wh ile  R MSE   g iv es  h ig h er   weig h to   lar g er   e r r o r s ,   wh i ch   ca n   b p ar ticu lar ly   r elev an in   s ce n ar i o s   wh er e   lar g er r o r s   ar m o r e   d etr im en tal  th an   s m aller   o n es.     = 1 = 1 | ̂ |         =  = 1 = 1 ( ̂ ) 2       Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Dep r ess io n   d etec tio n   th r o u g h   tr a n s fo r mer s - b a s ed   emo tio n   r ec o g n itio n   i n     ( K en jo va n   N a n g g a la )   1307   w h er e:   ̂ =              =             ,   an d   =       /  .   T h n o v elty   o f   o u r   r esear ch   lies   in   th im p lem en tatio n   o f   tr an s f o r m er   m o d els  to   p r o ce s s   f ir s t   d er iv ativ d ata  ex tr ac ted   f r o m   v id eo   s eq u en ce s .   T h is   ap p licatio n   is   in n o v ativ e,   a s   tr an s f o r m er s   ar p r ed o m i n an tly   u s ed   i n   NL a n d   h av e   o n ly   r ec e n tly   b ee n   e x p lo r ed   in   th e   co n tex t   o f   v i d e o   d ata   an aly s is .   B y   ap p ly in g   th e   tr an s f o r m er ' s   s elf - atten tio n   m ec h an is m s   to   th e   t em p o r al   d y n am ics  ca p tu r ed   in   th e   f ir s d e r iv ativ o f   v id eo   d ata,   o u r   m o d el   ai m s   to   e n h an ce   th e   lear n in g   o f   tem p o r al   p atter n s   th at  a r e   cr u cial   f o r   ac cu r ate  p r ed ictio n s .   B y   c o m p a r in g   o u r   tr an s f o r m er   m o d el' s   p er f o r m an ce   o n   f ir s d e r iv ativ v id eo   d ata  ag ai n s th ese  b aselin es  u s in g   MA E   an d   R MSE ,   we  aim   to   d em o n s tr ate   its   ef f icac y   an d   th p o ten tial  ad v an tag es  o f   o u r   ap p r o ac h   f o r   v id e o - b ased   a p p licatio n s .   T h is   co m p ar is o n   allo ws  u s   to   estab lis h   th tr an s f o r m er   m o d el' s   r o b u s tn ess   an d   ac cu r ac y ,   f u r t h er   co n tr ib u tin g   to   th d o m ai n   o f   v id e o   d ata  an aly s is   an d   ex p an d i n g   th u tili ty   o f   tr an s f o r m er   ar c h itectu r es b ey o n d   t h eir   tr ad itio n al  d o m ai n s .       4.   RE SU L T   AND  DI SCUS SI O N   I n   th is   s ec tio n ,   we  m eticu lo u s ly   d is s ec th f in d in g s   o b tai n ed   f r o m   o u r   r esear ch   m eth o d o lo g y   an d   d elv in to   th eir   im p licatio n s .   T h r o u g h   c o m p r e h en s iv ex am in atio n   o f   th r esu lts ,   we  aim   to   u n r a v el  th e   u n d er ly i n g   p atter n s ,   tr e n d s ,   a n d   co r r elatio n s   em b ed d e d   wit h in   th e   d ata.   Fu r th er m o r e,   we  en g ag e   in   cr itical   d is co u r s to   c o n tex tu alize   o u r   f in d i n g s   with in   th e   ex is tin g   b o d y   o f   k n o wled g e ,   o f f er in g   in s ig h ts   in to   th eir   s ig n if ican ce   an d   p o ten tial  c o n tr ib u tio n s   to   th e   f ield .   B y   i n ter twin in g   th e   p r esen tatio n   o f   r e s u lts   with   in - d ep t h   d is cu s s io n s ,   we  s tr iv to   p r o v id a   h o lis tic  u n d er s tan d i n g   o f   th e   r esear ch   o u tc o m e s   an d   th eir   b r o ad er   im p licatio n s .     4 . 1 .     Resul t   I n   th is   r esear ch ,   th r esear ch e r   u tili ze d   tr an s f o r m er   m o d e o n   f ir s d er iv ativ d ata  as  well  as  r aw  d ata,   wh ich   ca n   b s ee n   in   Fig u r 6 .   Fig u r 6 ( a)   tr ain in g   a n d   v alid atio n   lo s s   tr an s f o r m er   f ir s d er iv ativ an d   Fig u r 6 ( b )   tr ai n in g   a n d   v alid atio n   lo s s   tr an s f o r m e r   r aw.   T h r esu lts   s h o co n s is ten d ec lin in   b o th   d ata   f o r   b o th   tr ain i n g   an d   v alid a tio n   MA E   lo s s   o v er   th ep o ch s ,   in d icatin g   th m o d el' s   lear n in g   p r o g r ess .   Ho wev er ,   it  is   im p o r tan to   n o te  th at  th m o d el  h as  n o y et  co n v er g e d   to   its   o p tim al  p er f o r m an ce .   W h ile  th e   d ec lin in   v alid atio n   lo s s   alo n g s id tr ain in g   lo s s   s u g g ests   p r o m is in g   g en er aliza tio n   an d   l ac k   o f   o v er f itti n g ,   th tr an s f o r m e r ' s   p er f o r m an ce   o n   th e   f ir s d er iv ati v d ata  is   s till   s h o win g   r o o m   f o r   im p r o v em en in   te r m s   o f   MA E   an d   R MSE   v al u es.  T h tr an s f o r m er   m o d el  a ch iev e d   n o tab le  r esu lts   with   a n   M AE   o f   4 . 4 2   a n d   a n     R MSE   o f   5 . 4 2 ,   b u it  h asn ' r ea ch ed   its   co n v er g e n ce   p o i n t.   I is   wo r th   m en tio n in g   th at  t h tr an s f o r m e r   with   th f ir s d er iv ativ m o d el  o u tp er f o r m s   th b aselin m o d els.   On   th o th er   h an d ,   th tr a n s f o r m er   m o d el  u s in g   r aw  d ata  s h o ws  b etter   r esu lts   co m p ar ed   to   th b aselin ex tr em g r ad ien t   b o o s tin g   ( XGBo o s t )   m o d el  in   te r m s   o f   R MSE ,   b u t   it  is   s lig h tly   b eh in d   th e   b aselin L STM + t r a n s f o r m er   m o d el,   with   an   M AE   o f   5 . 4 1   an d   an   R MSE   o f   6 . 0 2 .   T h ev al u atio n   r esu lts   ar p r esen ted   in   T a b le  2 .           ( a)   ( b )     Fig u r 6 .   Plo ttin g   r esu lts   o f   th tr ain in g   u s in g   tr an s f o r m er   m o d el  o n   d ata   ( a)   f ir s t d er iv ativ an d   ( b )   r aw       T h r esu lts   d ep icted   in   th p lo ts   f o r   th tr an s f o r m er   m o d el   ap p lied   to   th f ir s d er iv ativ an d   r aw  d ata  d em o n s tr ate  s ig n if ican f in d in g s .   T h tr a n s f o r m e r   m o d el’ s   p er f o r m an ce   o n   th f ir s d er iv ativ d ata  is   n o tab ly   s u p er io r ,   ac h iev in g   lo wer   MA E   o f   4 . 4 2 ,   wh ich   s u r p ass es  th b en ch m ar k   m o d el s .   T h is   lo wer   MA E   s u g g ests   s tr o n g   p r ed ictiv ac cu r ac y   a n d   co u ld   in d icate   t h a p r ep r o ce s s in g   d ata   th r o u g h   d if f er en tiatio n   m ay   Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   2 ,   Ap r il 2 0 2 5 :   1 3 0 2 - 1 3 1 0   1308   h elp   th e   tr an s f o r m er   m o d el   c ap tu r u n d e r ly in g   tr en d s   m o r ef f ec tiv ely .   Fo r   th r aw  d a ta,   th tr a n s f o r m e r   m o d el  s till   o u tp er f o r m s   th X GB o o s b aselin in   ter m s   o f   R MSE   b u d o es  n o e x ce ed   th L STM +tr an s f o r m er   m o d el' s   p er f o r m an ce .       T ab le  2 .   C o m p a r is o n   o f   th p r o p o s ed   m o d el  with   th b aselin m o d el   P a r a me t e r   M A E   R M S E   R 2   Tr a n sf o r mer  r a w   d a t a   ( o u r   m o d e l )   5 . 4 1   6 . 0 2   0 . 2 0   Tr a n sf o r mer  f i r s t   d e r i v a t i v e   ( o u r   m o d e l )   4 . 4 2   5 . 4 2   0 . 2 2   X G B o o st   f i r st   d e r i v a t i v e   [ 2 3 ]   5 . 4 1   6 . 3 2   0 . 0 2   LSTM + t r a n sf o r m e r   r a w   d a t a   [ 1 8 ]   4 . 8 3   5 . 7 6   -       4 . 2 .     Dis cus s io n   T h is   f in d in g   co u l d   s u g g est  th at  wh ile  th tr an s f o r m er   m o d el  is   r o b u s t,  th e   in co r p o r atio n   o f   L STM   in to   th a r ch itectu r m ig h c ap tu r tem p o r al  d ep en d en cie s   in   th r aw   d ata  m o r e f f e ctiv ely ,   wh ich   ar e   p er h ap s   less   p r o n o u n ce d   af te r   th d if f er en tiatio n   p r o ce s s .   Su ch   r esu lt  s u g g ests   th at  u s in g   f ir s d er iv ativ e   d ata  in   th is   co n tex m ig h ca p tu r r elev an in f o r m atio n   th at  allo ws  th tr an s f o r m er   m o d el  to   p r ed ict  m o r e   ac cu r ately   co m p a r ed   to   its   b aselin co u n ter p a r ts   o r   ev en   th r aw  d ata.   I t a ls o   v alid ates th ef f ec tiv en ess   o f   th tr an s f o r m er   ar ch itectu r in   h a n d lin g   th is   ty p o f   tim e - s er ies  d ata,   p o ten tially   p r o v id in g   in s ig h ts   th at  co u ld   b e   lev er ag ed   i n   o th e r   s im ilar   ap p licatio n s .   Ho wev er ,   it  wo u l d   b im p o r tan t o   lo o k   at  ad d itio n al  m etr ics  an d   co n d u ct  f u r th e r   test s ,   s u ch   as c r o s s - v alid atio n ,   to   c o n f ir m   th e s f in d in g s   an d   en s u r th e   m o d el' s   r o b u s tn ess .   d ee p er   an al y s is   o f   t h f i r s d er iv ativ d ata  r ev ea ls   th at   th m o d el   ef f ec ti v ely   ca p tu r es  p atter n s   o f   ch an g with in   th v id eo s ,   as  ev id en ce d   b y   th r elativ ely   lo v alu es  o f   MA E   an d   R MSE .   Ho wev er ,   th s till   r elativ ely   lo R 2   v alu es  in d icate   th at  th m o d el  u s in g   f ir s d er iv ativ d ata   ca n   e x p lain   s li g h tly   m o r v a r iatio n   in   th tar g et  d ata  co m p ar ed   to   th m o d el  u s in g   r aw  d ata.   T h is   m ay   b d u to   th f ir s d er iv ativ p r o ce s s 's  r o le   in   r ed u cin g   n o is o r   f lu ctu a tio n s   p r esen in   th r aw  v id eo   d ata.   B y   elim in atin g   o r   r ed u cin g   s m all  o r   f lu ctu atin g   asp ec ts   th at  m ay   n o t b r elev a n t,  th m o d el  ca n   f o cu s   m o r o n   lar g e r   an d   m o r s ig n if ican t p atter n s   o f   ch an g e .   Ad d itio n ally ,   th f ir s d er iv ativ m ay   b m o r e f f ec tiv in   h ig h lig h ti n g   d y n a m ic  ch an g es  in   d ata  o v er   tim e,   p r o v id in g   an   ad v a n tag in   d etec tin g   s m all  ch an g es  o r   tr en d s   th at  m ay   b o v er lo o k ed   b y   m o d els  u s in g   r aw  d ata.   Me an wh ile,   wh en   u s in g   r aw   d ata,   th m o d el  s tr u g g les  to   ca p tu r p atter n s   th at  m a y   ex i s in   v id eo   ch an g es.  T h is   is   r ef lecte d   in   t h h ig h er   MA E   an d   R MSE   v alu es,  in d icatin g   th at  th e   m o d el  h as  h ig h er   lev el   o f   er r o r   in   p r ed ictin g   th s ev e r ity   o f   d ep r ess io n   lev els  f r o m   u n p r o ce s s ed   v id e o   d ata.   Ho wev er ,   f o r   R 2   m etr ics,   b o th   d ata  ty p es  y ield   r elativ ely   lo v alu es.   T h is   m ay   b d u t o   lim itatio n s   o n   th am o u n o f   d ata,   as   T r an s f o r m e r s   o f ten   r eq u ir lar g am o u n ts   o f   d ata  f o r   ef f ec ti v tr ain in g .   I f   th d ataset  u s ed   is   r elativ ely   s m al l   o r   n o t   s u f f icien tly   r e p r esen tati v o f   t h v ar iatio n s   th at  m ay   o cc u r   in   th p o p u latio n ,   th en   th m o d el  m ay   n o g en er alize   well  to   n ew  d ata .       5.   CO NCLU SI O N   I n   co n clu s io n ,   o u r   s tu d y   ex p lo r es  th p o ten tial  o f   t r an s f o r m er   m o d els  in   d etec tin g   s ig n s   o f   d ep r ess io n   th r o u g h   th an aly s is   o f   v id eo   d ata,   with   s p ec if ic  f o cu s   o n   f ac ial  b eh av io r   as  r ep r esen tatio n   o f   MT S.  E x p er im en tal  r esu lts   d em o n s tr ate  th at  th e   ap p lica tio n   o f   t h t r an s f o r m er   m o d el  to   v id e o   d ata,   p ar ticu lar ly   a f ter   p r o ce s s in g   with   th f ir s d e r iv ativ e,   y ield s   s u p er io r   p er f o r m an ce   co m p a r ed   to   r aw  d ata.   T h e   t r an s f o r m er   m o d el  ex h ib its   im p r o v e d   p er f o r m an ce   m etr ic s ,   in clu d in g   MA E   o f   4 . 4 2 ,   R MSE   o f   5 . 4 2 ,   a n d     R 2   v alu o f   0 . 2 2 ,   o u tp e r f o r m in g   b aselin m o d els  an d   u n d er s co r in g   its   ca p ab ilit y   to   ca p tu r r elev an te m p o r a l   p atter n s   f o r   e n h an ce d   p r ed ict iv ac cu r ac y .   W h ile  th s tu d y   co n tr ib u tes  s ig n if ica n tly   to   u n d er s tan d in g   th e   p o ten tial  o f   t r an s f o r m er   m o d els  in   d ep r ess io n   d etec tio n   th r o u g h   v id eo   d ata,   a d d r ess in g   lim itatio n s   s u ch   as   co m p u tatio n al  r e q u ir em e n ts   an d   d ataset  av ailab ilit y   is   es s en tial.  Op p o r tu n ities   f o r   f u t u r r esear ch   lie  in   ex p an d i n g   d atasets   to   im p r o v m o d el  g e n er aliza tio n ,   i n teg r atin g   f in d in g s   with   m en tal  h ea lth   p latf o r m s   o r   o n lin co u n s elin g   s er v ices,  an d   ex p lo r in g   alter n ativ ap p r o a ch es,  s u ch   as  f ea tu r e   en g in ee r in g ,   to   e n h an ce   th e   m o d el' s   ca p ab ilit ies  f u r th er .   Ho wev er ,   lim itatio n s   o f   th e   s tu d y   in v o lv t h tr an s f o r m a tio n   o f   v id e o   d ata,   wh ich   m ay   n o t   f u lly   en co m p ass   co m p lex   n o n - v er b al   asp ec ts ,   an d   th e   n ee d   f o r   lar g er   d atasets   to   en h an c e   m o d el  g en er aliza tio n .   T o   m i tig ate  th ese  lim itatio n s ,   ef f o r ts   ar r eq u ir ed   to   o b tai n   b r o ad er   d atasets   f o r   im p r o v e d   m o d el  g en er aliza ti o n .   Fu tu r r esear c h   o p p o r tu n ities   in clu d ex p an d i n g   d a tasets ,   in teg r atin g   r esear ch   f in d in g s   with   m en tal  h ea lth   p latf o r m s   o r   o n lin co u n s elin g   s er v ices,  an d   c o n d u ctin g   r esear ch   with o u u s in g   f ea tu r s elec tio n   to   m ea s u r e   th i m p ac o f   th e   p r o ce s s   an d   m ain tain   all  av ail ab le  f ea tu r es  in   t h d ataset.   Ad d itio n ally ,   th d e v elo p m en o f   th is   r esear ch   ca n   b en h an ce d   th r o u g h   f ea tu r en g in ee r in g ,   wh er e   s p ec if ic  an d   r elev an f ea tu r e s   s u ch   as  in ter o cu lar   d is tan ce ,   lip   h eig h t,  an d   lip   wid th   ca n   p r o v i d m o r e   Evaluation Warning : The document was created with Spire.PDF for Python.
I n t J Ar tif   I n tell     I SS N:   2252 - 8 9 3 8       Dep r ess io n   d etec tio n   th r o u g h   tr a n s fo r mer s - b a s ed   emo tio n   r ec o g n itio n   i n     ( K en jo va n   N a n g g a la )   1309   in f o r m ativ d ata  r ep r esen tatio n s .   Featu r en g in ee r in g   o f f er s   s ig n if ican ad v an ta g es  o v er   p r ev io u s   ap p r o ac h es,   allo win g   f o r   d ee p er   u n d e r s tan d in g   o f   d ep r ess io n - r elate d   p atter n s   an d   p o te n tially   im p r o v in g   th m o d el' s   ab ilit y   to   d etec t d ep r ess io n   s ig n s .       RE F E R E NC E S   [ 1 ]   C .   S u ,   Z.   X u ,   J .   P a t h a k ,   a n d   F .   W a n g ,   D e e p   l e a r n i n g   i n   m e n t a l   h e a l t h   o u t c o me  r e se a r c h :   a   s c o p i n g   r e v i e w ,   T ra n sl a t i o n a l   Psy c h i a t r y ,   v o l .   1 0 ,   n o .   1 ,   A p r .   2 0 2 0 ,   d o i :   1 0 . 1 0 3 8 / s 4 1 3 9 8 - 020 - 0 7 8 0 - 3.   [ 2 ]   L.   B a e r   a n d   M .   A .   B l a i s,  H a n d b o o k   o f   c l i n i c a l   ra t i n g   sc a l e a n d   a ss e s sm e n t   i n   p s y c h i a t r y   a n d   m e n t a l   h e a l t h .   T o t o w a ,   N J:   H u ma n a   P r e ss,  2 0 1 0 ,   d o i :   1 0 . 1 0 0 7 / 9 7 8 - 1 - 5 9 7 4 5 - 3 8 7 - 5.   [ 3 ]   G .   N .   E l w i r e h a r d j a ,   M .   I sn a n ,   A .   S .   P e r b a n g s a ,   K .   M u c h t a r ,   a n d   B .   P a r d a m e a n ,   Tr e n d s,  o p p o r t u n i t i e s ,   a n d   c h a l l e n g e i n   d e t e c t i n g   d e p r e ss i v e   d i so r d e r s   t h r o u g h   m o b i l e   d e v i c e s:   a   r e v i e w ,   i n   2 0 2 3   2 n d   I n t e r n a t i o n a l   C o n f e r e n c e   o n   C o m p u t e r   S y st e m ,   I n f o rm a t i o n   T e c h n o l o g y ,   a n d   El e c t r i c a l   E n g i n e e ri n g   ( C O S I T E) ,   A u g .   2 0 2 3 ,   p p .   1 8 8 193 ,   d o i :   1 0 . 1 1 0 9 / C O S I TE6 0 2 3 3 . 2 0 2 3 . 1 0 2 4 9 8 5 9 .   [ 4 ]   M .   B r i l e y   a n d   J. - P .   p i n e ,   Th e   i n c r e a si n g   b u r d e n   o f   d e p r e ssi o n ,   N e u r o p sy c h i a t ri c   D i s e a s e   a n d   T r e a t m e n t ,   v o l .   7 ,   n o .   1 ,   M a y   2 0 1 1 ,   d o i :   1 0 . 2 1 4 7 / N D T. S 1 9 6 1 7 .   [ 5 ]   A .   M u r r u   e t   a l . ,   T h e   i m p l i c a t i o n o f   h y p e r s o mn i a   i n   t h e   c o n t e x t   o f   maj o r   d e p r e ssi o n :   r e su l t f r o a   l a r g e ,   i n t e r n a t i o n a l ,   o b s e r v a t i o n a l   st u d y ,   Eu r o p e a n   N e u r o p sy c h o p h a rm a c o l o g y ,   v o l .   2 9 ,   n o .   4 ,   p p .   4 7 1 4 8 1 ,   A p r .   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . e u r o n e u r o . 2 0 1 9 . 0 2 . 0 1 1 .   [ 6 ]   A .   M .   N e z u ,   K .   S .   M c C l u r e ,   a n d   C .   M .   N e z u ,   Th e   a ssessm e n t   o f   d e p r e s s i o n ,   i n   T re a t i n g   D e p ress i o n ,   W i l e y ,   p p .   2 4 5 1 ,   2 0 1 5 ,   d o i :   1 0 . 1 0 0 2 / 9 7 8 1 1 1 9 1 1 4 4 8 2 . c h 2 .   [ 7 ]   A .   G i l l i o z ,   J.   C a sas,   E.   M u g e l l i n i ,   a n d   O .   A .   K h a l e d ,   O v e r v i e w   o f   t h e   t r a n sf o r mer - b a se d   m o d e l f o r   N LP  t a sk s ,   2 0 2 0   1 5 t h   C o n f e re n c e   o n   C o m p u t e S c i e n c e   a n d   I n f o rm a t i o n   S y s t e m s (F e d C S I S ) ,   2 0 2 0 ,   p p .   1 7 9 - 1 8 3 ,   d o i :   1 0 . 1 5 4 3 9 / 2 0 2 0 F 2 0 . .   [ 8 ]   S .   K h a n ,   M .   N a se e r ,   M .   H a y a t ,   S .   W .   Za m i r ,   F .   S .   K h a n ,   a n d   M .   S h a h ,   Tr a n sf o r m e r i n   v i s i o n :   a   s u r v e y ,   AC C o m p u t i n g   S u r v e y s ,   v o l .   5 4 ,   n o .   1 0 s,   p p .   1 4 1 ,   J a n .   2 0 2 2 ,   d o i :   1 0 . 1 1 4 5 / 3 5 0 5 2 4 4 .   [ 9 ]   K .   N a n g g a l a ,   G .   N .   El w i r e h a r d j a ,   a n d   B .   P a r d a m e a n ,   S y st e ma t i c   l i t e r a t u r e   r e v i e w   o f   t r a n sf o r mer  m o d e l   i mp l e me n t a t i o n s   i n   d e t e c t i n g   d e p r e s si o n ,   i n   2 0 2 3   6 t h   I n t e rn a t i o n a l   C o n f e re n c e   o f   C o m p u t e a n d   I n f o rm a t i c E n g i n e e ri n g   ( I C 2 I E) p p .   2 0 3 2 0 8 ,   S e p .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / I C 2 I E6 0 5 4 7 . 2 0 2 3 . 1 0 3 3 1 4 4 8 .   [ 1 0 ]   T.   W .   C e n g g o r o ,   B .   M a h e sw o r o ,   A .   B u d i a r t o ,   J.   B a u r l e y ,   T .   S u p a r y a n t o ,   a n d   B .   P a r d a m e a n ,   F e a t u r e i m p o r t a n c e   i n   c l a ss i f i c a t i o n   m o d e l s   f o r   c o l o r e c t a l   c a n c e r   c a s e p h e n o t y p e   i n   I n d o n e si a ,   Pr o c e d i a   C o m p u t e r   S c i e n c e ,   v o l .   1 5 7 ,   p p .   3 1 3 3 2 0 ,   2 0 1 9 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s. 2 0 1 9 . 0 8 . 1 7 2 .   [ 1 1 ]   L.   K o n g ,   J.  Y u ,   D .   Ta n g ,   Y .   S o n g ,   a n d   D .   H a n ,   M u l t i v a r i a t e   t i m e   ser i e a n o m a l y   d e t e c t i o n   w i t h   g e n e r a t i v e   a d v e r sari a l   n e t w o r k b a s e d   o n   a c t i v e   d i s t o r t i o n   t r a n sf o r mer,   I EE S e n s o rs  J o u r n a l ,   v o l .   2 3 ,   n o .   9 ,   p p .   9 6 5 8 9 6 6 8 ,   M a y   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / JS EN . 2 0 2 3 . 3 2 6 0 5 6 3 .   [ 1 2 ]   F .   Ze n g ,   M .   C h e n ,   C .   Q i a n ,   Y .   W a n g ,   Y .   Z h o u ,   a n d   W .   Ta n g ,   M u l t i v a r i a t e   t i m e   seri e a n o ma l y   d e t e c t i o n   w i t h   a d v e r sari a l   t r a n sf o r mer   a r c h i t e c t u r e   i n   t h e   i n t e r n e t   o f   t h i n g s,   Fu t u re   G e n e r a t i o n   C o m p u t e r   S y s t e m s ,   v o l .   1 4 4 ,   p p .   2 4 4 2 5 5 ,   Ju l .   2 0 2 3 ,   d o i :   1 0 . 1 0 1 6 / j . f u t u r e . 2 0 2 3 . 0 2 . 0 1 5 .   [ 1 3 ]   M .   G a v r i l e s c u   a n d   N .   V i z i r e a n u ,   P r e d i c t i n g   d e p r e ss i o n ,   a n x i e t y ,   a n d   s t r e ss  l e v e l f r o v i d e o u si n g   t h e   f a c i a l   a c t i o n   c o d i n g   sy st e m,   S e n so rs ,   v o l .   1 9 ,   n o .   1 7 ,   A u g .   2 0 1 9 ,   d o i :   1 0 . 3 3 9 0 / s 1 9 1 7 3 6 9 3 .   [ 1 4 ]   M .   M u z a mm e l ,   H .   S a l a m ,   a n d   A .   O t h man i ,   E n d - to - e n d   m u l t i m o d a l   c l i n i c a l   d e p r e ss i o n   r e c o g n i t i o n   u s i n g   d e e p   n e u r a l   n e t w o r k s:   a   c o m p a r a t i v e   a n a l y si s,   C o m p u t e r   M e t h o d a n d   Pr o g r a m i n   B i o m e d i c i n e ,   v o l .   2 1 1 ,   N o v .   2 0 2 1 ,   d o i :   1 0 . 1 0 1 6 / j . c m p b . 2 0 2 1 . 1 0 6 4 3 3 .   [ 1 5 ]   B .   G r i mm ,   B .   Ta l b o t ,   a n d   L.   L a r sen ,   P H Q - V / G A D - V :   a ssessm e n t t o   i d e n t i f y   s i g n a l s   o f   d e p r e ssi o n   a n d   a n x i e t y   f r o p a t i e n t   v i d e o   r e s p o n ses,   A p p l i e d   S c i e n c e s ,   v o l .   1 2 ,   n o .   1 8 ,   S e p .   2 0 2 2 ,   d o i :   1 0 . 3 3 9 0 / a p p 1 2 1 8 9 1 5 0 .   [ 1 6 ]   G .   S u n ,   S .   Zh a o ,   B .   Zo u ,   a n d   Y .   A n ,   M u l t i mo d a l   d e p r e ss i o n   d e t e c t i o n   u s i n g   a   d e e p   f e a t u r e   f u si o n   n e t w o r k ,   i n   T h i rd   I n t e r n a t i o n a l   C o n f e re n c e   o n   C o m p u t e r   S c i e n c e   a n d   C o m m u n i c a t i o n   T e c h n o l o g y   ( I C C S C T   2 0 2 2 ) ,   D e c .   2 0 2 2 ,   d o i :   1 0 . 1 1 1 7 / 1 2 . 2 6 6 2 6 2 0 .   [ 1 7 ]   H .   S u n   e t   a l . ,   M u l t i - mo d a l   a d a p t i v e   f u si o n   t r a n sf o r mer   n e t w o r k   f o r   t h e   e s t i m a t i o n   o f   d e p r e ssi o n   l e v e l ,   S e n s o rs ,   v o l .   2 1 ,   n o .   1 4 ,   Ju l .   2 0 2 1 ,   d o i :   1 0 . 3 3 9 0 / s2 1 1 4 4 7 6 4 .   [ 1 8 ]   S .   R a s i p u r a m ,   J .   H .   B h a t ,   A .   M a i t r a ,   B .   S h a w ,   a n d   S .   S a h a ,   M u l t i m o d a l   d e p r e ssi o n   d e t e c t i o n   u si n g   t a s k - o r i e n t e d   t r a n sf o r mer - b a s e d   e mb e d d i n g ,   i n   2 0 2 2   I EE E   S y m p o s i u m   o n   C o m p u t e rs  a n d   C o m m u n i c a t i o n ( I S C C ) p p .   1 4 ,   Ju n .   2 0 2 2 ,   d o i :   1 0 . 1 1 0 9 / I S C C 5 5 5 2 8 . 2 0 2 2 . 9 9 1 3 0 4 4 .   [ 1 9 ]   N .   P .   Ti g g a   a n d   S .   G a r g ,   Ef f i c a c y   o f   n o v e l   a t t e n t i o n - b a se d   g a t e d   r e c u r r e n t   u n i t s   t r a n sf o r mer  f o r   d e p r e ss i o n   d e t e c t i o n   u s i n g   e l e c t r o e n c e p h a l o g r a m   si g n a l s,”   H e a l t h   I n f o rm a t i o n   S c i e n c e   a n d   S y st e m s ,   v o l .   1 1 ,   n o .   1 ,   2 0 2 3 ,   d o i :   1 0 . 1 0 0 7 / s 1 3 7 5 5 - 0 2 2 - 0 0 2 0 5 - 8.   [ 2 0 ]   G .   Ti w a r y ,   S .   C h a u h a n ,   a n d   K .   K .   G o y a l ,   V i d e o   b a se d   d e e p   C N N   m o d e l   f o r   d e p r e ssi o n   d e t e c t i o n ,   I n t e rn a t i o n a l   J o u r n a l   o n   Re c e n t   a n d   I n n o v a t i o n   T re n d i n   C o m p u t i n g   a n d   C o m m u n i c a t i o n ,   v o l .   1 0 ,   n o .   1 0 ,   p p .   5 9 6 4 ,   O c t .   2 0 2 2 ,   d o i :   1 0 . 1 7 7 6 2 / i j r i t c c . v 1 0 i 1 0 . 5 7 3 5 .   [ 2 1 ]   Z.   S h a n g g u a n ,   Z .   Li u ,   G .   L i ,   Q .   C h e n ,   Z.   D i n g ,   a n d   B .   H u ,   D u a l - st r e a m u l t i p l e   i n st a n c e   l e a r n i n g   f o r   d e p r e ssi o n   d e t e c t i o n   w i t h   f a c i a l   e x p r e ssi o n   v i d e o s ,   I EEE   T r a n s a c t i o n s   o n   N e u r a l   S y s t e m s   a n d   Re h a b i l i t a t i o n   E n g i n e e r i n g ,   v o l .   3 1 ,   p p .   5 5 4 5 6 3 ,   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / TN S R E. 2 0 2 2 . 3 2 0 4 7 5 7 .   [ 2 2 ]   Y .   G u o ,   C .   Zh u ,   S .   H a o ,   a n d   R .   H o n g ,   A u t o m a t i c   d e p r e ssi o n   d e t e c t i o n   v i a   l e a r n i n g   a n d   f u si n g   f e a t u r e s   f r o m   v i s u a l   c u e s,”   I EE E   T ra n s a c t i o n o n   C o m p u t a t i o n a l   S o c i a l   S y st e m s ,   v o l .   1 0 ,   n o .   5 ,   p p .   2 8 0 6 2 8 1 3 ,   O c t .   2 0 2 3 ,   d o i :   1 0 . 1 1 0 9 / T C S S . 2 0 2 2 . 3 2 0 2 3 1 6 .   [ 2 3 ]   B .   N .   R u ma h o r b o ,   K .   N a n g g a l a ,   G .   N .   E l w i r e h a r d j a ,   a n d   B .   P a r d a mea n ,   A n a l y z i n g   i mp o r t a n t   s t a t i s t i c a l   f e a t u r e s   f r o m   f a c i a l   b e h a v i o r   i n   h u m a n   d e p r e ss i o n   u si n g   X G B o o st ,   C o m m u n i c a t i o n s i n   Ma t h e m a t i c a l   B i o l o g y   a n d   N e u r o sc i e n c e ,   v o l .   2 0 2 3 ,   p p .   1 - 2 4 ,   2 0 2 3 ,   d o i :   1 0 . 2 8 9 1 9 / c m b n / 7 9 1 6 .   [ 2 4 ]   P .   Ta n g ,   Q .   Z h a n g ,   a n d   X .   Zh a n g ,   A   r e c u r r e n t   n e u r a l   n e t w o r k   b a s e d   g e n e r a t i v e   a d v e r s a r i a l   n e t w o r k   f o r   l o n g   mu l t i v a r i a t e   t i me   seri e s   f o r e c a s t i n g ,   i n   Pr o c e e d i n g s   o f   t h e   2 0 2 3   A C M   I n t e r n a t i o n a l   C o n f e r e n c e   o n   M u l t i m e d i a   R e t r i e v a l p p .   1 8 1 1 8 9 ,   Ju n .   2 0 2 3 ,   d o i :   1 0 . 1 1 4 5 / 3 5 9 1 1 0 6 . 3 5 9 2 3 0 6 .   [ 2 5 ]   K .   M u c h t a r ,   F .   R a h m a n ,   T.   W .   C e n g g o r o ,   A .   B u d i a r t o ,   a n d   B .   P a r d a me a n ,   A n   i m p r o v e d   v e r s i o n   o f   t e x t u r e - b a s e d   f o r e g r o u n d   seg m e n t a t i o n :   b l o c k - b a se d   a d a p t i v e   se g me n t e r ,   Pr o c e d i a   C o m p u t e S c i e n c e ,   v o l .   1 3 5 ,   p p .   5 7 9 5 8 6 ,   2 0 1 8 ,   d o i :   1 0 . 1 0 1 6 / j . p r o c s . 2 0 1 8 . 0 8 . 2 2 8 .   [2 6 ]   R .   Z h i ,   M .   L i u ,   a n d   D .   Z h a n g ,   A   c o mp r e h e n si v e   su r v e y   o n   a u t o ma t i c   f a c i a l   a c t i o n   u n i t   a n a l y s i s,   T h e   V i su a l   C o m p u t e r ,   v o l .   3 6 ,   n o .   5 ,   p p .   1 0 6 7 1 0 9 3 ,   M a y   2 0 2 0 ,   d o i :   1 0 . 1 0 0 7 / s 0 0 3 7 1 - 0 1 9 - 0 1 7 0 7 - 5.     Evaluation Warning : The document was created with Spire.PDF for Python.
                      I SS N :   2 2 5 2 - 8 9 3 8   I n t J Ar tif   I n tell Vo l.  1 4 ,   No .   2 ,   Ap r il 2 0 2 5 :   1 3 0 2 - 1 3 1 0   1310   B I O G RAP H I E S O F   AUTH O RS       K e n jo v a n   Na n g g a la           is  a   M a ste o Co m p u ter  S c ien c e   st u d e n t   a Bin a   Nu sa n tara   Un iv e rsity ,   In d o n e sia .   He   e n ro ll e d   in   2 0 1 9   a n d   is  a c ti v e l y   p a rti c ip a ti n g   in   t h e   u n iv e rsit y ' s   m a ste trac k   p ro g ra m   a p a rt   o f   h is  a c a d e m ic  jo u r n e y   to wa rd   o b tai n in g   a   m a ste r' d e g re e .   His  re se a rc h   in tere sts  in c lu d e   a rti fici a in telli g e n c e ,   m a c h in e   lea rn in g ,   d e e p   lea rn in g ,   a n d   m e n tal   h e a lt h .   He   c a n   b e   c o n tac ted   at   e m a il k e n j o v a n . n a n g g a la@ b in u s.a c . id .         G r e g o r iu Na ta n a e E lwire h a r d ja           is  a d ju n c re se a rc h   fro m   Bio in f o rm a ti c &   Da ta  S c ien c e   Re se a rc h   Ce n ter  a n d   NV IDIA - BINU S   Artifi c ial  In telli g e n c e   Re se a rc h   &   De v e lo p m e n Ce n ter  o B in a   Nu s a n tara   Un iv e rsity ,   a n d   a   c e rti fied   in stru c t o a NV IDIA   d e e p   lea rn in g   i n stit u te .   He   c o m p lete d   b o t h   h is  b a c h e l o a n d   m a ste lev e e d u c a ti o n   i n   Bin a   Nu sa n tara   Un iv e rsity .   His  re se a rc h   in tere sts  in c l u d e   a p p li e d   m a c h i n e   lea rn in g   in   v a rio u field s   in c lu d in g ,   b u a re   n o li m it e d   to ,   c o m p u ter  v isio n ,   m e n tal  h e a lt h ,   a n d   n a t u ra la n g u a g e   p ro c e ss in g .   He   c a n   b e   c o n tac ted   at   e m a il g re g o r iu s.e lwireh a rd ja@ b in u s.a c . id .         Be n Pa r d a m e a n           h a o v e r   fo rt y   y e a rs  o g lo b a e x p e rien c e   in   i n fo rm a ti o n   tec h n o l o g y ,   b io i n fo rm a ti c s,  a n d   e d u c a ti o n .   His  p r o fe ss io n a e x p e rien c e   in c lu d e b e in g   a   p ra c ti ti o n e r,   re se a rc h e r,   c o n su lt a n t,   e n trep re n e u r,   a n d   lec tu re r.   He   c u rre n tl y   h o l d a   d u a l   a p p o i n tme n t   a Dire c to r   o f   Bi o i n fo rm a ti c &   Da ta  S c ien c e   Re se a rc h   Ce n ter  (BD S RC)  |   AI   Re se a rc h   &   De v e lo p m e n Ce n t e (AIRD C) ,   a n d   P r o fe ss o o Co m p u ter  S c ie n c e   a Bin a   Nu sa n tara   (BINU S Un iv e rsity   in   Ja k a rta,  In d o n e sia .   He   e a rn e d   a   d o c t o ra d e g re e   in   in fo rm a ti c re se a rc h   fro m   U n iv e rsity   o S o u th e rn   Ca li fo r n ia  (U S C),   a we ll   a a   m a ste r’s  d e g re e   in   c o m p u ter  e d u c a ti o n   a n d   a   b a c h e lo r’s  d e g re e   in   c o m p u t e sc ien c e   fro m   C a l ifo rn ia   S tate   Un i v e rsity   a Lo s   An g e les   (USA).   He   c a n   b e   c o n tac ted   at   e m a il b p a rd a m e a n @b i n u s.e d u .     Evaluation Warning : The document was created with Spire.PDF for Python.