I AE S   I n t e r n at ion al  Jou r n al   of   Ar t if icial   I n t e ll ig e n c e   ( I J - AI )   Vol.   14 ,   No.   4 Augus t   2025 ,   pp.   3395 ~ 3403   I S S N:  2252 - 8938 ,   DO I 10 . 11591/i jai . v 14 .i 4 . pp 33 95 - 3403             3395     Jou r n al  h omepage ht tp: // ij ai . iaes c or e . c om   Fin e - t u n in g b i d ir e c t io n al  e n c od e r   r e p r e se n t a t io n s f r om   t r an s f or m e r f or  t h e   X   soc ia m e d ia   p e r son al ity d e t e c t io n       S e lvi   F i t r ia  Kh oe r u n n is a 1 ,   B ayu   S u r ar s o 2 ,   Re t n Ku s u m an in gr u m 3   1 M a s te r  of  I nf or ma ti on   S ys te m , S c hool  of  P os tg r a dua te  S tu di e s , U ni ve r s it a s  D ip one gor o, S e ma r a ng, I ndone s ia     2 D e pa r tm e nt  of  M a th e ma ti c s , F a c ul ty  of  S c ie nc e  a nd  M a th e ma t ic s , U ni ve r s it a s  D ip on e gor o, S e ma r a ng, I ndone s ia     3 D e pa r tm e nt  of  I nf or ma ti c s , F a c ul ty  of  S c ie nc e  a nd M a th e m a ti c s , U ni v e r s it a s   D ip one gor o, S e ma r a ng, I ndone s ia       Ar t icle   I n f o     AB S T RA CT   A r ti c le  h is tor y :   R e c e ived  M a 18,   2024   R e vis e Apr   15,   2025   Ac c e pted  J un  8,   2025       U n d ers t an d i n g   p ers o n al i t y   t ra i t s   can   h el p   i n d i v i d u a l s   reach   t h e i fu l l   p o t en t i a l   an d   h as   ap p l i cat i o n s   i n   v ari o u s   fi el d s   s u ch   as   recru i t me n t ,   ad v er t i s i n g ,   an d   mark et i n g .   A   w i d e l y   u s ed   t o o l   fo a s s es s i n g   p ers o n a l i t y   i s   My ers - Br i g g s   t y p i n d i ca t o (MB T I).   Rec en t   a d v a n ce men t s   i n   t ech n o l o g y   h av al l o w ed   f o res earch   o n   h o w   p ers o n a l i t i e s   can   ch an g b a s ed   o n   s o ci a l   med i u s e.   Prev i o u s   res earch   u s ed   mach i n l ear n i n g   met h o d s ,   d ee p   l earn i n g   met h o d s ,   u n t i l   t ran s fo rmer s - b as e d   met h o d .   H o w e v er,   t h es p r ev i o u s   ap p r o ach e s   mu s t   b rev i s ed   t o   req u i re  ex t e n s i v e   d at an d   h i g h   co mp u t a t i o n a l   l o a d .   A l t h o u g h   t ran s fo rmer - b as e d   met h o d s   l i k b i d i r ect i o n al   en co d er  rep re s en t at i o n s   fr o t ra n s f o rmers   (B E RT e x cel   at   u n d ers t an d i n g   co n t ex t ,   i t   s t i l l   h a s   l i m i t a t i o n s   i n   cap t u r i n g   w o rd   o rd er   an d   s t y l i s t i c   v ari a t i o n s .   T h eref o re,   t h i s   s t u d y   p r o p o s e d   i n t e g rat i n g   fi n e - t u n i n g   B E RT   w i t h   recu rren t   n eu ra l   n e t w o rk s   (RN N s co n s i s t i n g   o v a n i l l RN N ,   l o n g   s h o r t - t erm  memo ry   (L ST M),   an d   g at e d   recu rren t   u n i t   (G RU ).   T h i s   s t u d y   al s o   u s es   BE RT   b a s fu l l y   c o n n ect e d   l a y er  a s   c o mp ar i s o n .   T h res u l t s   s h o w   t h at   t h B E RT   b as e   fu l l y   co n n ec t ed   l a y er  a p p r o ach   s t r at eg y   h a s   t h b es t   ev al u at i o n   res u l t s   i n   c l as s   e x t r a v er s i o n / i n t ro v er s i o n   (E / I)  o 0 . 5 6 2   an d   cl a s s   feel i n g / t h i n k i n g   (F/ T o 0 . 5 3 8 .   t h en ,   t h BE RT + L ST ap p ro ac h   s t rat e g y   h as   t h h i g h e s t   acc u racy   f o t h i n t u i t i on / s e n s i n g   ( N / S cl as s   o 0 . 5 4 3   an d   j u d g i n g / p erce i v i n g   (J / P)  o 0 . 5 3 2 .     K e y w o r ds :   B E R T   F ine  tuni ng   M ye r s - B r iggs   type  indi c a tor   P e r s ona li ty  de tec ti on   S e que nc e   lea r ning    T witt e r   ( X)   Th i s   i s   a n   o p en   a c ces s   a r t i c l u n d e r   t h CC  B Y - SA   l i ce n s e.     C or r e s pon din A u th or :   R e tno  Kus umaningr um    De pa r tm e nt  of   I nf or mat ics ,   F a c ult o f   S c ienc e   a nd   M a thema ti c s ,   Unive r s it a s   Dipone gor o   S t.   P r of .   J a c ub  R a is ,   Unive r s it a s   Dipone gor o,   T e m ba lang,   S e mar a ng  50275 ,   I ndone s ia   E mail r e tno@l ive. undip . a c . id       1.   I NT RODU C T I ON   P e r s ona li ty  r e f e r s   to  a ind ivi dua l's   typi c a be ha vior a l,   e mot ional ,   a nd  c ognit ive  pa tt e r ns   that  a r e   mos tl dis playe whe e nga ging  with  other s .   Ana lyzing  pe r s ona li ty  ha s   a tt r a c ted  a   lot   of   int e r e s t.   T his   ha s   r e s ult e in  va r ious   a r e a s   s uc a s   r e c r uit ment,   a dve r ti s ing,   a nd  ma r ke ti ng.   T he s e   f ields   s tudy  how  pe r s ona li ty  inf luenc e s   dif f e r e nt   a s pe c ts   to  e nha nc e   the  e f f e c ti ve ne s s   of   s tr a tegie s .   Unde r s tanding  a ind ivi dua l's   pe r s ona li ty  pr ovides   ins ight s   int their   ge ne r a c ha r a c ter is ti c s   or   a tt it ude s ,   ther e   by  maximi z ing   their   potential   [ 1] .   T his   knowle dge   a ls o   holds   s igni f ica nc e   in   the   c a r e e r   f ield.   R e s e a r c he r s   in   [ 2] ,   [ 3]   s ugge s ts   that  indi viduals   pe r f o r be t ter   whe their   pe r s ona li ty   a li gns   with  their   job,   making   it   e a s ier   to  a da pt   to   t he   wor k   e nvir onment  without   r e qui r ing  e xtens ive  phys ica a bil it ies .   He r r   e al.   [ 4]   s uppor ts   the  idea   that  in divi dua ls   wor be s in  r oles   with  lowe r   phys ica de mands .   T he   method  to   dis c ove r   pe r s ona li ty  is   by  c ompl e ti ng  the  que s ti onna ir e   f o r   the  pe r s ona li ty  tes t.   wide ly  us e tool   f or   a s s e s s ing  pe r s ona li ty  is   M y e r s - B r iggs   type  indi c a tor   ( M B T I ) .   M B T I   is   f ounde d   on  C a r l   Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell Vol.   14,   No.   4,   Augus t   2025 :   339 5 - 3403   3396   J ung's   pe r s ona l it y   theo r y   [ 5]   a nd   e m ploys   f ou r - f a c tor   mode l   inc ludi ng:   e xt r a ve r s ion   ( E )   o r   i ntr ove r s ion   ( I ) ,   int u it i on   ( N )   or   s e ns in ( S ) ,   f e e l ing   ( F )   o r   th inki ng   ( T ) ,   a nd  jud ging   ( J )   o r   pe r c e ivi n g   ( P ) .   H owe ve r ,   tr a dit i ona l   pe r s ona li t tes ts   ha ve   li m it a t ions   a s   r e s p ons e s   m a n ot   a lw a ys   be   c ons is tent   d ue   to   r a ndo m   o r   h a pha z a r a ns we r i ng ,   le a din to  va r iable   p r e di c ted   r e s u lt s .   As   a   r e s ul t,   t his   s t udy   s ugge s ts   us i ng  s oc ial   med ia ,   pa r ti c ula r l y   ( c omm onl known   a s   T wit ter ) ,   to   de tec t   pe r s ona li ty   t r a it s .   X   pr ovides   a   pla tf or f o r   us e r s   to   in ter a c t ,   e xpr e s s   tho ugh ts   a n f e e l ings   th r o ugh   twe e ts ,   wh ic i ndi r e c t ly   r e ve a l   a s pe c ts   o f   the ir   pe r s ona l it y   [ 6 ]   S e ve r a s tudi e s   ha ve   e xa mi ne the  us e   of   X   da ta  f or   M B T I   pe r s ona li ty   de tec ti on  us ing  na tur a l   langua ge   pr oc e s s ing  ( NL P ) .   T he   a ppr oa c he s   f o r   M B T I   pe r s ona li ty  c las s if ica ti on  mos tl invol ve   binar y   c las s if ica ti on.   F r kovic   e al .   [ 7]   de mons tr a ted  tha the  b inar c las s if ica ti on  a ppr oa c h   is   mo r e   e f f e c ti ve   than   the  mul ti c las s   c las s if ica ti on  a ppr oa c h.   T he   r e s e a r c he r s   ini ti a ll us e s yntac ti c   a na lys is   f e a tur e s   a nd  n - gr a c ha r a c ter is ti c s   with  c las s ica mac hine  lea r ning  methods .   T he   r e s e a r c in  thi s   f ield   a ls uti li z e d   c las s ica l   mac hine  lea r ning  methods   [ 8] ,   [ 9] ,   [ 10 ]   in   M B T I   pe r s ona li ty  de tec ti on .   How e ve r ,   c las s ica mac hine   lea r ning   methods   c ha ll e nge s   in  f e a tur e   e xtr a c ti on,   a s   mi s s ing  or   incomplete   f e a tur e s   c a lea to  s ubopti mal   output s   [ 11] .   T his   l im it a ti on  c a be   ove r c ome  by   us ing  de e lea r ning  methods ,   pa r ti c ular ly   s e que nti a l - ba s e d   a r c hit e c tur e s   li ke   r e c ur r e nt  ne ur a ne twor ks   ( R NN s ) .   S ince   R NN s   c a a utom a ti c a ll e xtr a c f e a t ur e s   a nd  c ons ider   s e mantic  de pe nde nc ies ,   making  it   s upe r ior   to   c las s ica mac hine  lea r ning  methods .   T his   ha s   be e n   pr ove in  r e s e a r c by   [ 12] ,   [ 13]   F oll owing  the  a dva nc e ments   in  de e lea r ning ,   the  bidi r e c ti ona l   e nc ode r   r e pr e s e ntations   f r om   tr a ns f or mer s   ( B E R T )   is   a   notew or thy   br e a kthr ou gh  in  NL P .   B E R T   e mpl oys   the  tr a ns f or mer s   f r a mew or k,   s im il a r ly  to   the  ge ne r a ti ve   pr e - tr a ined  t r a ns f or mer   ( GP T )   a nd  lar ge   langua ge   model   meta - AI   ( L L a M A) .   T he   a r c hit e c tur e   r e li e s   on  s e lf - a tt e nti on  mec ha nis m,   e na bli ng  e ve r token  to  be   e va luate a longs ide  a ll   other   tokens   a the  s a me  ti me   [ 14] .   As   a   r e s ult ,   a tt e nti on  we ight s   be twe e tokens   a r e   c a l c ulate d ,   e na bli ng  the  model  to  a c c e s s   inf or mation  f r om  a ll   input s .   B E R T   e mpl oys   the  e nc ode r   s tr uc tur e   of   tr a ns f o r mer s ,   c a ptur in c ontext  f r om  both  d ir e c ti ons   to  c ompr e he nd  text  tho r oug hly,   making  it   s uit a ble  f or   c las s if ica ti on.   S e ve r a l   pr e vious   s tudi e s   ha ve   e mpl o ye B E R T   f or   M B T I   pe r s ona l it de tec ti on.   F o r   ins tanc e ,   r e s e a r c by  [ 15] ,   [ 16]   uti li z e B E R T   a s   a   wor e mbedding  a ppr oa c h.   Additi ona ll y,   r e s e a r c he r s   by  [ 17] ,   [ 18 ]   c onduc ted  r e s e a r c by  f ine - tuni ng  B E R T   to   c las s if the  f ou r   di f f e r e nt  M B T I   dim e ns ions .   I c ontr a s to   e mpl oying  B E R T   e xc lu s ively  a s   a   wor e mbedding,   whic de pe nd  on  ve c to r s   ge ne r a ted  f r om   pr e - tr a ined  models ,   f ine - tuni ng  B E R T   invol ve s   r e tr a ini ng  o r   t r a ns f e r r ing   the  knowle dge   f r o th e   B E R T   model  uti l izing  a   s pe c if ic  tas da tas e t   [ 19] ,   a nd   s ubs e que ntl incor por a ti ng  a   f ull c onne c ted  lay e r   that  maps   the  r e p r e s e ntation  r e s ult s   int the  i ntende output .   How e ve r ,   a lt hough  B E R T   e xc e ls   in  unde r s tanding  c ontext,   it   s ti ll   ha s   li mi tations   in  c a ptur ing  wor or de r   a nd   s tyl is ti c   va r iations .   T he r e f o r e ,   thi s   s tudy  pr opos e d   int e gr a ti ng   f ine - tuni ng   B E R T   with   R NN s   to  e xa mi ne   the  im pa c of   e nha nc e c ontext  modeling .     T he   pr opos e method  a im s   to  im pr ove   model  pe r f or manc e   by  unde r s tanding  the  global  c ontext  of   wor ds   a nd  c a ptur ing  de e pe r   mea ning  r e late t M B T I   pe r s ona li ty.   T he   r e mainde r   of   the  pa pe r   is   or g a nize a s   f oll ows s e c ti on  outl ines   the  methodology,   pr o vidi ng  a   c ompr e he ns ive  ove r view   of   the  da ta,   f i ne - tuni ng   B E R T   f or   pe r s ona li ty  de tec ti on,   a nd  it   s ugge s the  int e gr a ti on  of   R NN s .   S e c ti on  3   e xplai e xpe r im e nt  s e tup  a nd  a   dis c us s ion  of   thos e   r e s ult s ,   th is   s tudy  im pl i c a ti on  a nd  f u tur e   r e s e a r c h.   F inally ,   s e c ti on  c ont a ins   the  c onc lus ion  of   thi s   s tudy.       2.   M E T HO DOL OG   T he   methodology  s tar ts   with  c oll e c ti ng  da ta  by  s c r a ping  twe e ts   f r om  the  s oc ial  medi a   platf or m .   Onc e   the  da ta  is   c oll e c ted,   it   is   pr e pr oc e s s e be f or e   be ing   input   int o   the  model.   T he   pe r f or manc e   of   the   model  is   e va luate by  a a c c ur a c metr ic.   F igur e   de picts   the  pha s e s   of   the  pr opos e s tudy,   a nd  th e   de tails   of   e a c pha s e   will   be   e xplaine d   in  the   s ubs e que nt  s ub - s e c ti on s .       2. 1.     Dat as e t   T he   da tas e c ontains   twe e da ta  f r om  I ndone s ian  X   us e r s   who  ha ve   s ha r e their   r e s ult s   of   pe r s ona li ty   tes ts   f r om  va r ious   pe r s ona li ty   tes s e r vice s   16pe r s ona li ti e s . c om.   T he   da tas e c ons is ts   of   twe e da ta  f r om   I ndone s ian  X   us e r s   who   ha ve   s ha r e thei r   pe r s ona li ty  tes t   r e s ult s   f r om   the   we bs it e   16pe r s ona li ti e s . c om.   T he   50  mos r e c e nt  twe e ts   f r om  thes e   us e r s   will   be   r e tr ieve us ing  the  X   a ppli c a ti on  pr ogr a mm ing  int e r f a c e   ( API )   li br a r y.   At  the  s a me  ti me ,   the  s ha r e pe r s ona li ty  te s r e s ult s   will   be   us e a s   da ta  labe ls .   Af ter   that ,   da ta  labe ls   will   be   divi de in to  f our   c a tegor ies E /I ,   N/S ,   F /T ,   a nd  J /P .   5120  da ta   we r e   s uc c e s s f ull c oll e c t e with  ba lanc e c las s e s   f or   a ll   M B T I   pe r s ona li ty  types .   F igur e   s hown  the  lengt or   the  da ta.   I c a be   s e e that  s ome  us e r s   ha v e   a   token  length  of   les s   than   200,   whic mea ns   that  thos e   us e r s   ha ve   les s   than  or   e qua to  tokens   in  e a c of   their   twe e ts .   On  t he   other   ha nd,   s ome  us e r s   ha ve   long  twe e ts   with  mor e   tha 1, 000  tokens ,   s the s e   us e r s   ha ve   mor e   than  20  tokens   or   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   Ar ti f   I ntell     I S S N:   2252 - 8938       F ine - tuni ng  b idi r e c ti onal  e nc ode r   r e pr e s e ntat ions   fr om  tr ans for me r s   for   …  ( Se lvi  F it r ia  K hoe r unnis a)   3397   wor ds   pe r   twe e t.   M e a nwhile,   mos da ta  dis tr ibut i on  is   a r ound  the  300  r a nge .   T hus ,   on  a ve r a ge ,   o ne   twe e t   c ontains   5   to  wo r ds .   F r om  F igur e   2 ,   i c a be   s e e that  the  da ta   is   long  a nd   quit e   c ompl e x .           F igur e   1.   R e s e a r c methodology           F igur e   2.   Dis tr ibut ion   of   length  token   da ta       2. 2.     P r e p r oc e s s in g   T he   X   da ta   r e s ult ing  f r om  c r a wling  is   da ta   that  h a s   much  nois e   a nd  is   uns tr uc tur e d ,   s it   r e qui r e s   pr e pr oc e s s ing  to  r e duc e   the  dim e ns ions   of   the  d a ta  dur ing  t r a ini ng   [ 20] ,   [ 21 ] .   All  the   pr e pr oc e s s ing  s teps   c a r r ied  out  us ing   the  I ndoNL P   li br a r y .   P r e pr oc e s s ing  is   e s s e nti a be c a us e   it   a ll ows   the  model  identi f y   dis ti nc pa tt e r ns   in  the  da ta,   e na bli ng  the  a na lys is   a nd   c las s if ica ti on  of   pe r s ona li ti e s .   T he   pr e pr oc e s s i ng  s teps   c onduc ted  in  or de r   a r e   a s   f ol lows :   i)   R e move   X   s pe c ial   c ha r a c ter s ,   s uc h   a s   ment ions ,   ha s htags ,   a n UR L s ,   be c a us e   the a r e   mea n ing les s   [ 2 2]   ii)   C a s e   f oldi ng,   c onve r ted  f r om   a ll   letter s   to  lowe r c a s e .   Additi ona ll y,   a ll   letter s   a r e   c onve r ted  to   lowe r c a s e   to  e ns ur e   c ons is tenc a nd  pr e ve nt  s igni f ica nt  va r ia ti ons   in  wor d   ve c tor s .     iii)   C onve r e moj or   e mot icon   to   s tr ings .   iv)   Da ta  c lea ning,   whic include s   r e move  wor d   e lon ga ti on,   s lang  wor ds ,   a nd  s top   wor ds .   S top  wo r ds   a r e   f r e que ntl mea ningl e s s ,   s the  model   c a f oc us   on ly  on  e s s e nti a wor ds   that  c ont r ibut e   mor e   to  the  te xt's   mea ning   [ 23]     2. 3.     F in e   t u n in g   B E RT   B E R T   is   a   ve r s a ti le  model   that   t r a ins   bidi r e c ti ona l   r e pr e s e ntations   o f   unlabe led  text   [ 14 ] .   B E R T   ha s   gr e a tl im pr ove NL P   by  e f f e c ti ve ly  unde r s tanding  c ontext  a nd  s e mantics   in  text,   a na lyzing  inf or mation   f r om  both   dir e c ti ons   [ 24] ,   [ 25 ] B E R T   c a n   be   im pleme nted  us ing  two  a ppr oa c he s f e a tur e - ba s e a nd  f ine - Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell Vol.   14,   No.   4,   Augus t   2025 :   339 5 - 3403   3398   tuni ng.   T he   f e a tur e - ba s e model  is   p r e s e r ve d,   a nd  the  outpu is   a   f e a tur e   ve c tor   f or   the   s ubs e que nt  c las s if ica ti on  model   [ 26 ] ,   thi s   pr oc e s s   a ls known   a s   wor d   e mbedding   pr oc e s s .   T he   r e s ult ing  ve c tor   will   be   s e nt  thr ough   the   s pe c if ied  c las s if ier .   I n   c ont r a s t,   f ine - tuni ng   r e tr a ins   the   model   to   s olve  a   mor e   s pe c if ic  pr oblem  by  mod if ying   or   a djus ti ng   the  model   a r c hi tec tur e ,   s howc a s ing  B E R T 's   a da ptabili ty  to   dif f e r e nt  tas ks .   As   e x plai ne d   be f o r e ,   t his   s tu dy   i mpl e mente d   f ine   t uning   B E R T .   F i r s t   a t   a l l ,   the   da tas e t   r e qui r e d   to   f it   the   B E R T   i nput   f o r ma t,   ne c e s s it a ti n g   a   to ke niza ti on   pr oc e s s   to   a l ign   wit h   the   pr e - t r a ine d   mo de l .   I t   invol ve d   a dding   u niqu e   tokens   t e a c s e ntenc e   a n c onve r ti ng   t he   da t a   in to   ve c t or s .   F i ne - tuni ng   wa s   c r uc ial   to  a djus t   a ll   pa r a mete r s   pr e c is e ly .   S p e c ial   s y mbol s   s uc h   a s   [ C L S ]   a n [ S E P ]   we r e   a dde d   a the   be g inn ing   a n e n of   e a c h   inp ut ,   wi th   p a ddi ng   us e d   to   e ns ur e   uni f o r m   da ta   le ngt h   [ 14] .   T he   [ C L S ]   t oke n   wa s   incl ude in   the   downs t r e a m   tas k   a s   a n   a gg r e ga te  r e p r e s e nta ti o s u mm a r izin the  inpu s e q ue nc e   in f o r mat ion .   T o   f ine - tune  t he   ve c to r   c las s i f ica ti o m ode l   r e late d   to   [ C L S ] ,   it   wa s   input   in to  the  e nc ode r   be f or e   a ddi ng  a   ne u r a l   ne t wo r laye r   a bove   t he   ou tpu t   lay e r .   F igu r e   3   s hows   t he   ou t put   la ye r   c a n   be   in teg r a ted   wit h   ot he r   a r c h it e c t ur e s .   As   il lus t r a t e d   in   F ig ur e s   3 ( a )   to   3 ( d ) ,   the   i nteg r a t ion   of   f ine - tu ning   B E R T   wit h   the   R NN s   u ti l ize d   i n   th is   s tu dy .   T he   s e l e c ted   R NN s   inc lude   va ni ll a   R N N,   lon g   s h or t - te r m   memo r y   ( L S T M ) ,   a nd   ga ted   r e c u r r e nt   uni t   ( GR U ) .   Apa r t   f r om   tha t ,   e xpe r im e nts   wil l   a ls o   be   c a r r ied   o ut  wit the   ba s e   laye r   o f   B E R T ,   w it h   o nly   a   f ull c onne c te laye r   a d de d   a s   a   c o mpa r is on .   A   de s c r ipt ion   o f   e a c h   R NN   me thod   is   e x plai ne d   in   t he   f o ll ow ing   s ubs e c ti on.           ( a )     ( b)         ( c )   ( d)     F igur e   3.   Ar c hit e c tur e   of   f ine  tuni ng   ( a )   B E R T   ba s e   f ull c onne c ted  laye r ,   ( b)   B E R T + va nil la  R NN ,     ( c )   B E R T + L S T M ,   a nd  ( d )   B E R T + GR U   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   Ar ti f   I ntell     I S S N:   2252 - 8938       F ine - tuni ng  b idi r e c ti onal  e nc ode r   r e pr e s e ntat ions   fr om  tr ans for me r s   for   …  ( Se lvi  F it r ia  K hoe r unnis a)   3399   T he   lowe r   laye r s   of   B E R T   c ontain  mor e   ge ne r a li z e inf or mation ,   whe r e a s   the  uppe r   laye r s   f oc us   on   s pe c if ic  tas ks   inf or mation.   I f ine - tuni ng,   the  c las s if ica ti on  tas k’ s   model  is   ini ti a li z e with  pr e - tr a ined   pa r a mete r s ,   a nd  then  modi f ied  to  f it   the  labe led   da ta;  s e ve r a of   the  a djus tm e nts   mentioned  in  d e tail  a r e   e xplaine a s   f oll ows .   As   de picte d   in   F igur e s   3 ( a )   to   3( d) ,   the   model  a r c hit e c tur e   a ppr oa c h   is   B E R T - ba s e d   f ull c onne c ted  laye r ,   thi s   a r c hit e c tur e   us e s   a   r e pr e s e ntation  of   X   wor ds   pr ovided   by  B E R T   ( las hidden   laye r ) ,   whic h   is   dir e c tl y   c onne c ted  to  the   f ull y   c onne c ted  laye r   without   a ny   hidden  laye r s .   T he   a c ti va ti on  f unc ti on  is   a ppli e to  the  f inal  laye r   f or   c las s if ica ti on.   B E R T + ( va nil la  R NN ,   L S T M ,   or   GR U)   la ye r .   T he   a r c hit e c t ur e   us e s   wor r e pr e s e ntations   ge ne r a ted  f r om  the  las h idden  laye r   o f   B E R T ,   whic is   c onn e c ted  to  the  R NN   laye r .   I t   pe r f o r ms   R NN s   be f or e   c onne c ti ng  int the  f u ll c onne c ted  laye r   a nd  output   with  a a c ti va ti on  f unc ti on.   T he   a r c hit e c tur e   of   thi s   a ppr oa c a ls us e s   dr opout  a s   a   r e gulation   tec hnique.     2. 4.     Vani ll a   r e c c u r e n t   n e u r al   n e t wor k   R NN s   is   a   type  o f   ne ur a ne two r with   loops .   R NN s   ha s   memor a nd   a ll ows   it   to   s tor e   e xis ti ng  inf or mation   [ 27] .   Va nil la  R NN   is   a   type  of   R NN s   with  only  one   it e r a ti on ,   mea nin that  va nil la  R NN   c a only  s tor e   inf or mation   f r o one   p r e vious   s tate .       2. 5.     L on s h or t - t e r m   m e m or y   L S T M   is   a   f o r o f   R NN s   that  a ddr e s s e s   the  li m it a ti on  of   va nil la  R NN .   I f   va nil la   R NN   c a only   s tor e   inf o r mation   f r om   one   pr e vious   s tate ,   L S T M   c a s tor e   in f or mation   f r om   a ll   pr e vious   s t a tes   a nd  ove r c ome  long - ter text   de pe nde nc y   [ 28 ] ,   [ 29 ] .   F e a tur e s   of   L S T M   c ons is of   memor y   c e ll s   a nd   t hr e e   ga te  unit s   ( input   ga te ,   f o r ge ga te,   a nd  output   ga te)   to  r e a d,   s tor e ,   a nd  upda te  in f or mation .     2. 6.     Gat e d   r e c u r r e n t   u n it   GR is   a ls a im pr ove a r c hit e c tur e   ove r   va nil la  R NN   a nd  c a ha ndle  long - ter de pe nde nc ie s   of   text.   T he   dis ti nc ti on  be twe e GR a nd  L S T M   is   f ound  in  the  type  of   ga te  they  pos s e s s .   I f   L S T M   ha s   thr e e   ga tes ,   GR only  ha s   upda te   ga tes   a nd  r e s e g a te s   [ 30] ,   [ 31 ] .   T he   upda te  ga te  is   a   mer g ing  input   ga te  a nd  f or ge ga te,   while  the   r e s e ga te  s e ts   the  va lue  f r om   the  pr e vious   s tate   to   c onti nue   to   the  ne xt  s tate .       3.   RE S UL T S   AN DI S CU S S I ON   3. 1.     I m p lem e n t at ion   T he   im pleme ntation   of   thi s   s tudy  us e the   p re - tr a ined  I ndoB E R T we e t - ba s e - unc a s e [ 32]   f o r m   I ndoL E M ,   a   pr e - tr a ined  langua ge   model   f or   I ndon e s ian  langua ge   whic ha ve   409  M   tokens .   I ndoB E R T we e ha s   be e tr a ined  ba s e on  B E R T - ba s e - unc a s e by  uti li z ing  12  a tt e nti on   he a ds ,   12  hidden   laye r s ,   f e e d - f or wa r d   hidden  laye r s ,   a nd  180  e poc hs   [ 14] .   Af ter   p r oc e s s ing,   the  da ta  is   tokeniz e us ing  the  s a me  a ppr oa c a s   the  pr e - tr a ined  model.   T oke niza ti on  not   only   s e pa r a tes   punc tuation  a nd   r e moves   invalid   c ha r a c ter s   but  a ls pr e pa r e s   the  da ta  f o r   a na lys is .   T he   uppe r   li m it   f or   s e ntenc e   length  is   de ter mi ne to   be   512   tokens   a c c or ding  to  the  dis tr ibut ion  of   token  lengths   in  the  da tas e t.   I f   a input   is   s hor ter   than  thi s   length,   z e r os   a r e   a dde to  pa it i f   it   e xc e e ds   thi s   li mi t ,   it   is   tr unc a ted   to   f it .   T he   tokeniz e da tas e t   is   s e pa r a ted  int o   thr e e   s e gments tr a ini ng   da ta,   tes ti ng  da ta,   a nd  va li da ti on  da ta ,   f ol lowing  a 80:20  divi s ion  f or   t r a ini ng  a nd   tes ti ng.   T he   v a li da ti on  da ta  c ons is t s   of   10%   of   the  tr a ini ng  da ta .   T he   m ode wa s   tr a ined  with  hype r pa r a mete r s ba tch  s iz e   16  a nd  e poc 25.   T he   d r opout  pr oba bil it wa s   s e f or   a ll   l a ye r s   a 0. 5.   T he   Ada mW  opti mi z e r   uti li z e s   a   lea r ning  r a te  of   1e - 5.   F or   e va luation,   the   s tudy  e mpl oys   a   c onf u s ion  matr ix  a long  with   a c c ur a c metr ics   s ince   the  da tas e is   ba lanc e d.   S ubs e que ntl y,   a ll   e xpe r im e nts   we r e   c onduc ted  us ing  the  T GPU,   a   T ur ing  a r c hit e c tur e   GPU   int e nde to  e nha nc e   the  in f e r e nc e   pr oc e s s   of   de e l e a r ning  models .     3. 2.     Re s u lt   a n d   d is c u s s ion   T his   s tudy  us e a   binar a ppr oa c to   r e c ognize   M B T I   pe r s ona li ty,   with   f our   c a tegor ies   c ons is t   of   E /I ,   N/ S ,   F / T ,   a nd   J /P .   T he   method   us ing  f ine - tuni ng  B E R T   int e g r a ted  with   R NN s .   T a ble   1   a nd   F igur e   4   c ompar e   the   a ve r a ge   of   the   r e s ult s .   F igur e   4   de mo ns tr a tes   that  f ine - tuni ng   B E R T   with   a   f ull y   c onne c ted  laye r   a c hieve s   the  highes a ve r a ge   a c c ur a c with   a   va lue  of   0 . 533.   T he n ,   it   wa s   f oll owe by   B E R T + va nil la  R NN   of   0. 523  a nd  B E R T + L S T M   with  a   va lue  of   0 . 518.   M or e ove r ,   the  las is   B E R T + GR U,   with  a   va lue  of   0. 504 .   F r om  F igu r e   4,   s hown  that  a ddit ion  of   R NN s   a r c hit e c tur e   a f ter   B E R T   f ine - tuni ng  a f f e c ts   the  mod e pr e diction  r e s ult s .   B E R T   with  a   t r a ns f or mer s   ba s e   is   us e to  unde r s tand  the  r e lations hip  be twe e wor ds   in  the  text,   s a dding  R NN s   that  a im   to  c a ptur e   s e que nc e s   will   li ke ly  dim ini s the  incr e menta va lue  that  L S T M   mi ght  c ontr ibut e .   T he   pos s ibi li ty  of   a m b iguous   a nd  ove r ly  s hor twe e ts   a ls make s   mor e   dif f icult .   As   a   r e s ult ,   int e gr a ti on  with   R NN s   o f ten   f a il s   to   im pr ove   pe r f o r manc e .   M e a nwhile,   with   f ul ly   c onne c ted  laye r ,   th e   B E R T   r e pr e s e ntation  r e s ult s   a r e   dir e c tl y   e nter e int o   a   s im ple  matr ix   a nd   mappe to   the   de s ir e d   labe l.   A lt hough,     a s   s e e in  T a ble  B E R T + L S T M   f ine - tuni ng  ha s   the  be s a c c ur a c f or   the  N/S   c las s   a nd  the  J / P   c las s ,     Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell Vol.   14,   No.   4,   Augus t   2025 :   339 5 - 3403   3400   with  va lues   of   0. 543  a nd   0. 532 .   F or   the  other   two  c las s e s ,   the  be s a c c ur a c is   us ing  the  B E R T   b a s e   f ull c onne c ted  laye r   me thod,   wi th  va lues   of   0. 562   a nd  0. 538.       T a ble  1.   E xpe r i ment  r e s ult   F in e  t uni ng s tr a te gi e s   L a be l   E /I   N /S   F /T   J /P   B E R T  B A S E  F U L L Y  C O N N E C T E D  L A Y E R   0.562   0.524   0.538   0.510   B E R T + va ni ll a   R N N   0.545   0.521   0.523   0.505   B E R T + L S T M   0.518   0.543   0.480   0.532   B E R T + G R U   0.516   0.516   0.480   0.505           F igur e   4.   Ave r a ge   of   e xpe r im e nt   r e s ult       T he   E /I   dim e ns ion  r e f e r s   to  how  a   pe r s on  di r e c ts   e ne r gy  a nd  pa ys   a tt e nti on.   T his   c a be   obs e r ve thr ough  their   int e r a c ti on  s tyl e   a nd  e moj is   in  twe e ts .   T he   F /T   dim e ns ion  invol ve s   a   pr e f e r e nc e   f or   de c is ion - making  ba s e on  objec ti ve   pr inciples   r a ther   than  p e r s ona f e e li ngs .   W he a na lyzing  twe e ts ,   thi s   dim e ns ion  is   r e f lec ted  in   the   c hoice   of   wor ds   a nd  tone,   whe t he r   the   a uthor   us e s   f a c tual   langua ge   or   opts   f or   a   mor e   e mpathe ti c   a nd  e mot ional   tone .   S o,   E /I   a nd   F / T   do   not   r e quir e   the   a ddit ion   of   L S T M   be c a us e   they  a r e   s uf f icie nt  to  c a ptur e   f r e que ntl a ppe a r ing  wor ds   a nd  unde r s tand  r e lations hips   dir e c tl without   the  ne e f or   a   ti me  s e que nc e .   T he r e f or e ,   a   f ull y   c onne c ted  l a ye r   is   s uf f icie nt.   I c ontr a s t,   the  N/S   dim e ns ion  f oc u s e s   on  a   pe r s on's   pr e f e r e nc e   f or   a c quir ing  inf or mation   via   the  f ive  s e ns e s   or   thr ough  pa tt e r ns   a nd  pos s ibi l it ies .   I twe e ts ,   thi s   dim e ns ion  pe r tains   to   how  inf or mati on  is   pr oc e s s e d,   whe ther   the   twe e ts   c onve r e a li ty  us ing   s tr a ight f or wa r d   langua ge   or   tend   to   be   mo r e   c onc e ptual  a nd  s pe c ulative.   L a s tl y,   the   J /P   dim e ns ion   r e late s   to  a indi vidual's   li f e s tyl e   pr e f e r e nc e   f or   e it he r   s tr uc t ur e   a nd  de f ini tene s s   or   f lexibil it a nd  a da ptabili ty .   On  the  twe e t,   thi s   dim e ns ion  is   r e f lec ted  in   thei r   c omm un i c a ti on  s tyl e ,   whic h   may   be   e it he r   s ys tema ti c   a nd   f or mal  o r   s pontane ous ,   e xplor a tor y,   a nd  of ten   us ing  a bbr e vi a ti ons .   I t   e xplains   why  B E R T + L S T M   is   mor e   e f f e c ti ve   f or   the  N/S   a nd  J /P   dim e ns ions .   I t   invol ve s   mor e   c o mpl e x   s e ntenc e   s tr uc tur e s   a nd  a   be tt e r   unde r s tand ing  of   the   f low  of   langua ge   ove r   t im e .   C ompar e d   with   pr e vious   s tudi e s   Da tt a   e t   al [ 33 ]   wa s   us ing  B E R T   f oll owe d   by   r a ndom   f o r e s ( R F )   a nd  e xtr e me  gr a dient   boos ti ng  ( XG B )   a s   c las s if ier s   f or   M B T I   pe r s ona li ty   de te c ti on  on   da ta.   T hos e   s tudi e s   r e por ted  the  be s a c c ur a c ies   of   0 . 441  a nd   0. 424   f or   e a c c las s if ier .   I c ontr a s t,   the  pr opos e meth od  in  thi s   s tudy  a c hieve a   be tt e r   a c c ur a c of   0. 562 .   T he   s tatic  e mbeddings   pr oduc e by  the  B E R T   model  in  thos e   s tudi e s   may  no be   f ull opti m ize f or   c e r tain  s pe c if ic  tas ks ,   a nd  tr e e - ba s e c la s s if ier s   do  not  inher e ntl y   r e c ognize   s e que nti a de pe nde nc ies .   I n   c onc lus ion,   the   B E R T - ba s e f ull y   c onne c ted  laye r   c o ns is tently   outper f or ms   the  o ther s   whe n   it   c omes   to   d ir e c tl y   c a ptur ing   the   mea ning   of   text   by   identi f ying   f r e que ntl oc c ur r ing  wor ds .   I n   c ontr a s t,   the   B E R T + L S T M   e xc e ls   in  unde r s tanding  mo r e   c ompl e x   s e ntenc e   s tr uc tur e s   a nd  mana ging  tempor a l   s e que nc e s .   T he r e f or e ,   t he   s e lec ti on  of   the  be s model  c a be   made   b s im ply  c ons ider ing  th e   highes a c c ur a c f o r   e a c labe l ,   e li mi na ti ng   the  ne e d   f or   s tatis ti c a tes ti ng.   A lt hough,     thi s   s tudy  inves ti ga tes   the  im pa c o f   in tegr a ti ng   B E R T   f ine - tuni ng  wi th  R NN s   by   only   a pplyi ng  f ull y   c onne c ted  laye r .   How e ve r ,   f ur ther   c ompr e he ns iv e   s tudi e s   a r e   ne c e s s a r to  e ns ur e   that  the   int e gr a ti on  of   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   Ar ti f   I ntell     I S S N:   2252 - 8938       F ine - tuni ng  b idi r e c ti onal  e nc ode r   r e pr e s e ntat ions   fr om  tr ans for me r s   for   …  ( Se lvi  F it r ia  K hoe r unnis a)   3401   R NN s   ha s   a   s igni f ica ntl i mpac ts   on  e va luation   r e s ult s ,   pa r ti c ular ly   with   r e ga r d   to   the   s uit a bil it o f   the  da ta   type  or   s tr uc tur e   us e wi th  the   c hos e model.   T his   dis c ove r pr ovides   c onc lus ive  e videnc e   that  thi s   phe n omenon  is   l inked  to   c ha nge s   in   the   c las s if ica ti on  pa r t   o f   f ine - tuni ng,   whic h   c a in f luenc e   the   model's   pe r f or manc e   a nd  c ompl e xit y .       4.   CONC L USI ON   T hi s   s tu dy  i nt e g r a te s   f in e - t un in B E R T   w it R N N s   f or   pe r s on a l it d e t e c ti on  u s in X   d a t a .     T he   R N N s   u s e d   c on s i s of   v a ni ll a   R NN ,   L S T M ,   a n G R U.   I n   a dd it i on,   t hi s   s tu dy  a l s u s e s   th e     B E R T - b a s e f ul ly  c on n e c te l a y e r   a s   a   c om pa r i s on.   T he   r e s u lt s   i nd ic a t e   t ha t he   B E R T - b a s e f ull c o nn e c t e l a y e r   a c hi e ve s   t h e   hi gh e s a c c ur a c f or   c l a s s   I /E   a nd  F /T ,   w it s c or e s   o f   0. 5 62  a n 0. 53 8.   T h i s   i s   a tt r ib ut e d   t it s   a b il it t e f f e c ti v e l c a pt ur e   f r e q u e n tl y   a p pe a r in wor d s   a n un de r s t a n r e l a ti on s hi p s   d ir e c tl w it ho ut  r e l yi ng  on  a   ti m e   s e q u e n c e .   O th e   o th e r   ha nd,   th e   c l a s s e s   N /S   a n J /P   r e q uir e   t u n de r s ta nd  mor e   c o mpl e s e nt e n c e   s tr uc tur e s   a nd  m a n a g e   t e m por a s e qu e n c e s .   T h u s ,   t he   be s t - p e r f or m in m e t ho f or   t hi s   c la s s   i s   B E R T + L S T M ,   wit a c c ur a c s c or e s   o f   0. 5 43  a nd  0. 53 2 .   T hi s   s u gge s t s   th a i nt e g r a ti on  wi th   R N N s   c a h a ve   a   p o s it iv e l im pa c t   o c e r ta in   c la s s e s .   F or   f u tur e   wor k,   s e v e r a i mpr ov e me nt s   c a n   b e   e xp lor e d.   F i r s t,   op ti mi z i ng  hy p e r p a r a m e t e r   s e tt i ng s   i s   e s s e n ti a l,   a s   R N N s   a r e   hi ghl s e n s it i ve   t th e   hy p e r p a r a m e t e r s   u s e d.   T e c hni qu e s   s u c h   a s   B a ye s ia op ti mi z a ti on   c a he lp   id e nti f op ti ma c o nf i gur a t io n s .   Ad dit io n a ll y,   i ma b e   b e n e f i c ia to  a lt e r   t h e   s tr u c tu r e   of   th e   tw e e da t a   b s e gm e nti ng   e a c t w e e f or   u s e   wi th   B E R T .   M a int a ini ng   t he   a u th e nti c i ty   of   e a c tw e e t ' s   c o n t e n i s   vi ta t a v oid   m ixi ng   i nf or m a t io n.   I nv e s ti g a ti ng   m e t ho d s   l ik e   hi e r a r c h ic a l   B E R T   a r c hi te c t ur e s   c o ul a l s b e   v a lu a bl e   in  c a pt ur i ng  th e   s tr u c tu r a n ua n c e s   of   t h e   t e xt .       AC KNOWL E DGE M E NT S   T he   a uthor s   would  g r a tef ul   to   the  a nonymous   r e vi e we r s   f or   their   ins ight f ul   c omm e nts ,   c ons tr uc ti ve   f e e dba c k,   a nd  he lpf ul   s ugge s ti ons ,   whic gr e a tl e nha nc e the  qua li ty  of   thi s   pa pe r .       F UN DI NG  I NF ORM AT I ON   T his   s tudy  wa s   f unde by  a   gr a nt  f r om  Di r e c t or a te  of   R e s e a r c h,   T e c hnology   a nd  C omm unit y,   M ini s tr of   E duc a ti on ,   C u lt ur e ,   R e s e a r c h,   a nd   T e c hnology,   I ndone s ia  ( P T M   G r a nt  449A - 70/UN7. D2/P P /VI /2023 ,   20   J une   2023) .       AU T HO CONT RI B U T I ONS   S T AT E M E N T   T his   jour na l   us e s   the   C ontr ibut o r   R oles   T a xo nomy  ( C R e diT )   to   r e c ognize   indi vidual   a uthor   c ontr ibut ions ,   r e duc e   a utho r s hip  dis pu tes ,   a nd  f a c il it a te  c oll a bor a ti on.     Nam e   of   Au t h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   S e l v i   F i t r ia   K h oe r u n n is a                               B a yu  S ur a r s o                               R e tno  Kus umaningr um                                 C     C onc e pt ua li z a ti on   M     M e th odol ogy   So     So f twa r e   Va     Va li da ti on   Fo     Fo r ma a na ly s is   I     I nve s ti ga ti on   R     R e s our c e s   D   :   D a ta  C ur a ti on   O   :   W r it in -   O r ig in a D r a f t   E   :   W r it in -   R e vi e w  &   E di ti ng   Vi     Vi s ua li z a ti on   Su     Su pe r vi s io n   P     P r oj e c a dmi ni s tr a ti on   Fu     Fu ndi ng a c qui s it io n         CONF L I CT   OF   I NT E RE S T   S T AT E M E N T     T he   a uthor s   de c lar e   that   ther e   is   no  c onf li c t   of   int e r e s a s s oc iate with  thi s   pa pe r .       DA T AV AI L A B I L I T Y   R e leva nt  da ta  a r e   a va il a ble  upon  r e que s t,   with  a pp r opr iate   pe r mi s s ions .       Evaluation Warning : The document was created with Spire.PDF for Python.
                                I S S N :   2252 - 8938   I nt  J   Ar ti f   I ntell Vol.   14,   No.   4,   Augus t   2025 :   339 5 - 3403   3402   RE F E RE NC E S   [ 1]   J C a r de n,  R J J one s a nd  J P a s s mor e D e f in in s e lf - a w a r e ne s s   in   th e   c ont e xt   of   a dul de ve lo pme nt a   s ys te ma ti c   li te r a tu r e   r e vi e w ,”   J our nal  of  M anage m e nt  E duc at io n , vol . 46, no. 1, pp.  140 177, F e b. 2022, doi:   10.1177/105256292 1990065.   [ 2]   A B B a kke r   a nd  M V.   W oe r kom,  S tr e ngt hs   u s e   in   or ga n iz a ti ons A   po s it iv e   a ppr oa c of   o c c upa ti ona h e a lt h,”   C ana di an   P s y c hol ogy , vol . 59, no. 1, pp. 38 46, 2018, doi:  10.1037/ca p0 000120.   [ 3]   A E M va V ia ne n,  P e r s on e nvi r onme nt   f it a   r e vi e w   of   i t s   ba s ic   te ne ts ,”   A nnual  R e v ie w   of   O r gani z at io nal   P s y c hol ogy   and   O r gani z at io nal  B e hav io r , vol . 5, no. 1, pp. 75 101, 2018, doi:   10.1146/a nnur e v - or gps yc h - 032117 - 104702.   [ 4]   R . M . H e r r , A . E .  M V.   V ia ne n, C . B os le , a nd J . E . F is c he r , “ P e r s ona li ty  t ype  ma tt e r s P e r c e pt io ns  of  j ob  de ma nds , j ob r e s our c e s ,   a nd  th e ir   a s s oc ia ti ons   w it w or e nga ge me nt   a nd  me nt a he a lt h,”   C ur r e nt   P s y c hol ogy vol 42,  no.  4,  pp.  2576 2590,  2023,   doi 10.1007/s 12144 - 021 - 01517 - w.   [ 5]   I . B . M ye r s G if ts   di ff e r in g unde r s ta ndi ng pe r s onal it y  t y p e . M o unt a in  V ie w , C a li f or ni a D a vi e s  B la c k P ubl is hi ng, 1995.   [ 6]   N H J e r e my  a nd   D S uha r to no,  A ut om a ti c   pe r s on a li ty   pr e di c ti on  f r om  I ndone s ia us e r   on  twi tt e r   u s in w or e mb e ddi ng  a nd   ne ur a ne twor ks ,”   P r oc e di a C om put e r   Sc ie n c e , vol . 179, pp. 41 6 422, 2021, doi:  10.1016/j .pr oc s .2021.01.024.   [ 7]   M F r kovi ć N Č e r ke z B .   V r dol ja k,  a nd   S S ka ns i,   E va lu a ti on  of   s tr uc tu r a hype r pa r a me te r s   f or   te xt   c la s s if ic a ti on   w it L S T M   ne twor ks ,”   in   2020  43r I nt e r nat io nal   C onv e nt io on  I nf or m a ti on,  C om m uni c at io and  E le c tr oni c   T e c hnol ogy   ( M I P R O ) 20 20,   pp. 145 150 , doi 10.23919/M I P R O 48935.2020.9245216.   [ 8]   G . R ya n, P . K a ta r in a , a nd D . S uha r to no, “ M B T I   pe r s ona li ty  pr e di c ti on us in g ma c hi ne  l e a r ni ng a nd s mot e  f or  ba la nc in g da ta   ba s e d   on s ta te me nt  s e nt e nc e s ,   I nf or m at io n , vol . 14, no. 4, 2023, doi 10.3390/i nf o14040217.   [ 9]   N A ga r w a e al . P e r s on a li ty   pr e di c ti on  a nd  c la s s if ic a ti on  us in T w it te r   da ta ,   Soc ia N e tw or k in g   and  C om put at i onal   I nt e ll ig e nc e ,   pp. 707 716, 2020, doi:  10.1007/978 - 981 - 15 - 2071 - 6_59.   [ 10]   K A N is ha U K ul s um,  S .   R a hma n,  M d.  F H os s a in P C ha kr a bor ty a nd  T C houdhur y,  A   c ompa r a ti ve   a na ly s is   of   ma c hi ne   le a r ni ng  a ppr oa c he s   in   p e r s ona li ty   pr e di c ti on  us in M B T I ,”   i C om put at io nal   I nt e ll ig e nc e   in   P at te r R e c ogni ti on S in ga por e :   S pr in ge r 2022, pp. 13 23 , doi 10.1007/978 - 981 - 16 - 2543 - 5_2.   [ 11]   P F M u h a mm a d,  R K u s u ma ni ng r um a n A W i bo w o,  S e n ti m e nt   a n a ly s i s   u s i ng   W or d 2v e c   a n l on s hor t - t e r m e m or y   ( L S T M )   f or   I n do ne s ia ho te r e v i e w s ,   P r oc e di C o m put e r  S c i e nc e vol 17 9 pp 72 8 73 5,  2 02 1,  d oi :  1 0. 10 16 /j .pr oc s .2 02 1. 01 .0 61 .   [ 12]   H N a ik S D e dhi a A D ubbe w a r M J os hi a nd  V P a ti l,   M ye r s   B r ig gs   ty pe   in di c a to r   ( M B T I )   -   pe r s ona li ty   pr e di c ti on  us in g   de e le a r ni ng ,”   in   2022  2nd  A s ia C onf e r e nc e   on  I n nov at io in   T e c hnol ogy   ( A SI A N C O N ) 2022,  pp.  1 6 doi 10.1109/AS I A N C O N 55314.2022.9909077.   [ 13]   M M a ul id a a nd  H F P a r de de P r e di c ti on  of   M ye r s - B r ig gs   ty pe   in di c a to r   pe r s ona li ty   us in lo ng  s hor t - te r me mor y ,”   J ur nal   E le k tr oni k a dan T e le k om uni k as i , vol . 21, no. 2, pp. 104, 2021,  doi 10.14203/j e t. v21.104 - 111.   [ 14]   J D e vl in M . - W C h a ng,  K L e e ,   a nd  K .   T out a nova B E R T pr e - tr a in in of   de e p   bi di r e c ti ona tr a ns f or me r s   f or   la ng ua ge   unde r s ta ndi ng ,”   in   P r oc e e di ngs   of   th e   2 019  C onf e r e nc e   of   th e   N or th   A m e r ic an  C hapt e r   of   th e   A s s oc ia ti on  fo r   C om put at i onal   L in gui s ti c s :  H um an L anguage  T e c hnol ogi e s , 2019, pp. 4171 4 176.   [ 15]   H Z ha ng,  M B T I   pe r s ona li ty   pr e di c ti on  ba s e on  B E R T   c la s s if ic a ti on in   4t I nt e r nat io nal   C onf e r e nc e   on  C om put e r   Sc ie nc e   and I nt e ll ig e nt  C om m uni c at io n ( C SI C  2022) , vol .34, 2023, doi:  10.54097/hs e t. v34i .5497   [ 16]   Z R e n,  Q .   S he n,  X .   D ia o,  a nd  H .   X u,  A   s e nt im e nt - a w a r e   de e p   le a r ni ng  a ppr oa c h   f or   pe r s ona li ty   d e te c ti on  f r om  te xt ,”   I nf or m at io n P r oc e s s in g & M anage m e nt , vol . 58, no. 3, 2021, d oi 10.1016/j .i pm.2021.102532.   [ 17]   V G D.   S a nt os   a nd  I P a r a boni M ye r s - B r ig gs   p e r s ona li ty   c la s s if ic a ti on  f r om  s oc ia m e di a   te xt   us in pr e - tr a in e la ng ua ge   mode ls ,”   J U C -   J ou r nal  of  U ni v e r s al  C om put e r  Sc ie nc e , vol 28,  no. 4, pp. 378 - 395, 2022, doi:  10.3897/j uc s .70941.   [ 18]   S S K e a nd  I . - T C he ng,  M ye r s - B r ig gs   pe r s ona li ty   c la s s if ic a ti on  a nd  pe r s ona li ty - s pe c if ic   la ngua g e   ge ne r a ti on  u s in pr e - tr a in e d l a ngua ge  mod e ls ,”   a r X iv - C om put e r  Sc ie n c e pp. 1 - 5,  20 19, doi:  10.4855 0/ a r X iv .1907.06333.   [ 19]   A N A z ha r F in e - tu ni ng  p r e tr a in e mul ti li ngua l   B E R T   mode f or   I ndone s ia a s pe c t - ba s e s e nt im e nt   a na ly s is ,   2020  7t I nt e r nat io nal   C onf e r e nc e   on  A dv anc e I nf or m at ic s :   C on c e pt s T he or y   and  A ppl ic at io ns I C A I C T A   2020 2020,  doi 10 .1109/I C A I C T A 49861.2020.9428882.   [ 20]   L Z hu  a nd  D L uo,  A   nove e f f ic ie nt   a nd  e f f e c ti ve   pr e pr oc e s s in a lg or it hm  f or   te xt   c la s s if ic a ti on ,”   J our nal   of   C om put e r   and  C om m uni c at io ns , vol . 11, no. 03, pp. 1 14, 2023, doi:  10.4236/j c c .2023.113001.   [ 21]   T H S a put r a nd  A H e r ma w a n,  T he   a c c ur a c im pr ove me nt   of   te xt   mi ni ng  c la s s if ic a ti on  on  hos pi ta r e vi e w   th r ough   th e   a lt e r a ti on  in   th e   pr e pr oc e s s in s ta ge , ”  I nt e r nat io nal   J our n al   of   C om put e r   and  I nf or m at io T e c hnol ogy vol 10,  no.  4,    pp. 2279 0764, 2021, doi:  1 0.24203/i jc it .v10i4.138.   [ 22]   B A H M ur s h e d,  S M a ll a pp a O A M .   G ha le b,  a nd  H D E A l - a r ik i,   E f f ic ie nt   T w it te r   da ta   c le a ns in mode f or   da ta   a na l ys i s   of   th e   pa nde m ic   T w e e ts ,   in   St udi e s   in   Sy s te m s D e c i s io and  C ont r ol vol 348,  2021,  pp.  93 114 ,   doi 10.1007/978 - 3 - 0 30 - 67716 - 9_7.   [ 23]   A L R io M M a r ti n,  A .   P e r e r a - L lu na a nd  R S a id i,   E f f e c o f   s e que nc e   pa ddi ng  on  th e   pe r f or ma nc e   of   de e le a r ni ng  mode l s   in   a r c ha e a pr ot e in  f unc ti ona pr e di c ti on,”   Sc ie nt if ic  R e por ts , vol 10, no. 1, pp. 1 14, 20 20, doi:  10.1038/s 41598 - 020 - 71450 - 8.   [ 24]   D G M a ndha s iy a H M ur f i,   a nd  A B us ta ma m,  T he   hybr id   of   B E R T   a nd  de e le a r ni ng  mode ls   f or   I ndone s ia s e nt im e nt   a na ly s is ,”   I ndone s ia J ou r nal   of   E le c tr ic al   E ngi ne e r in and  C om put e r   Sc i e nc e vol 33,  no.   1,  pp.  5 91 602,  J a n.  2024,  doi 10.11591/i je e c s .v33.i1.pp591 - 602.   [ 25]   K S R a o,  D V a ll ur u,  S P a tn a la R B D e va r e ddi T .   S R .   K r is hna a nd  A S r a va ni P hi s hi ng  w e b s it e   de te c ti on  u s in n ove in te gr a ti on  of   B E R T   a nd  X L N e w it de e p   le a r ni ng  s e que n ti a mode ls , ”  I ndone s ia J our nal   of   E le c tr ic al   E ngi ne e r in and  C om put e r  Sc ie n c e , vol . 36, no. 2, p p . 1273 - 1283 , N ov. 2024, d oi 10.11591/i je e c s .v36.i2.pp1273 - 1283.   [ 26]   K S N ugr oho,  A .   Y.   S ukma de w a D .   W H .   W us w il a ha ke n ,   F A B a c ht ia r a nd  N .   Y udi s ti r a ,   B E R T   f in e - tu ni ng  f or   s e nt i me nt   a na ly s is   on  in done s ia mobi le   a pps   r e vi e w s ,   in   SI E T   21:   P r oc e e di ngs   of   th e   6t h   I nt e r nat io nal   C onf e r e nc e   on   Sus ta in abl e   I nf or m at io n E ngi ne e r in g and T e c hnol ogy , 2021, pp. 258 264 doi 10.1145/3479645.34 79679.   [ 27]   N J J oha nne s e n,  M L K ol he a nd  M G oodwin,  C ompa r in g   r e c ur r e nt   ne ur a l   ne twor ks   us in pr in c ip a c ompone nt   a na ly s is   f or   e le c tr ic a lo a pr e di c ti ons ,”   in   2021  6t I nt e r nat io nal   C onf e r e nc e   on  Sm ar and  Sus ta in abl e   T e c hnol ogi e s   ( Spl iT e c h) 2021,   pp.  1 6 , d oi 10.23919/S pl iT e c h52315.2021.9566357.   [ 28]   M A R iz a   a nd  N C ha r ib a ld i,   E mot io de te c ti on   in   T w it te r   s oc ia me di a   u s in lo ng  s hor t - te r me mor ( L S T M )   a nd  f a s te xt ,”   I nt e r nat io nal  J our nal  of  A r ti fi c ia I nt e ll ig e nc e  & R obot ic s  ( I J A I R ) , vol . 3, no. 1, p p. 15 26, 2021, doi:  10.25139/i ja i r .v3i 1.3827 .   [ 29]   J S hi S W a ng,  P Q u,  a nd  J S ha o,  T im e   s e r ie s   pr e di c ti on  mode us in L S T M - t r a ns f or me r   ne ur a ne twor f or   mi ne   w a te r   in f lo w ,”   Sc ie nt if ic  R e por ts , vol . 14, 2024, doi:  10.1038/s 41598 - 024 - 69418 - z.   [ 30]   E.   E z hi la r a s I   a nd  J C .   C le me nt G R U - S V M   ba s e th r e a d e te c ti on  in   c ogni ti ve   r a di o   ne twor k ,”   Se ns or s vol 23,  no.   3,  F e b.  2023, doi:  10.3390/s 23031326.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J   Ar ti f   I ntell     I S S N:   2252 - 8938       F ine - tuni ng  b idi r e c ti onal  e nc ode r   r e pr e s e ntat ions   fr om  tr ans for me r s   for   …  ( Se lvi  F it r ia  K hoe r unnis a)   3403   [ 31]   Y X ia o,  C Z ou,  H C hi ,   a nd  R F a ng,   B oo s te G R U   mode f or   s hor t - te r f o r e c a s ti ng  of   w in pow e r   w it f e a tu r e - w e ig ht e pr in c ip a c ompone nt  a na ly s is ,”   E ne r gy , vol . 267, 2023, doi:  10. 1016/j .e ne r gy.2022.126503.   [ 32]   F K ot o,  A R a hi mi J H L a u,  a nd  T B a ld w in I ndoL E M   a nd  I ndoB E R T A   be nc hma r da ta s e a nd  pr e - tr a in e la ngua ge   mo de f or   I ndone s ia N L P ,”   in   P r oc e e di ngs   of   th e   28t I n te r nat io nal   C onf e r e nc e   on  C om put at io nal   L in gui s ti c s B a r c e lo na S pa in ,   N ov.   2020, pp. 757 770.   [ 33]   A D a tt a S C ha kr a bor ty a nd  A M ukhe r je e P e r s on a li ty   de te c ti on  a nd  a na ly s i s   us in g   T w it te r   da ta ,”   a r X iv - C om put e r   Sc i e nc e pp. 1 - 9,  2023, doi:  10.48550/ar X iv .2309.05497.       B I OG RA P HI E S   OF   AU T HO RS       Sel v i   F i tr i a   Kho erunn i s a           recei v e d   h er  B. S.   d eg re (cu ml au d e)  i n   i n f o rmat i cs   fro U n i v ers i t a s   D i p o n eg o ro ,   Semaran g ,   In d o n es i a,   i n   2 0 2 2 .   N o w ,   s h i s   p o s t g ra d u a t s t u d en t   at   Mas t er  o In fo rma t i o n   Sy s t em,   Sch o o l   o Po s t g rad u at es   St u d y ,   U n i v er s i t as   D i p o n eg o ro .   Sh e   s erv e d   as   L ab o ra t o r y   A s s i s t a n t   w i t h   t h D e p art me n t   o In fo rmat i cs ,   U n i v ers i t a s   D i p o n e g o r o ,   fro 2 0 2 2   t o   n o w .   Sh i s   cu rre n t l y   Re s earch   A s s i s t an t   w i t h   t h L ab o rat o ry   o In t el l i g en t   Sy s t em s ,   D ep ar t men t   o In fo rmat i cs ,   U n i v ers i t a s   D i p o n eg o ro .   H er  res earch   i n t ere s t s   i n cl u d e   m ach i n l ear n i n g   a n d   n at u ral   l an g u a g p r o ces s i n g .   Sh can   b c o n t act e d   at   ema i l :   s el v i f k h @ s t u d en t s . u n d i p . ac. i d .         Ba y Sura rs o           recei v ed   h i s   B. S.   d eg ree  i n   mat h ema t i c s   fro U n i v er s i t as   G ad j a h   Mad a,   Y o g y a k art a,   I n d o n e s i a,   i n   1 9 8 7 .   H i s   M. S.   an d   Ph . D .   d e g rees   fr o H i ro s h i ma  U n i v er s i t y ,   J a p an   i n   1 9 9 5   an d   1 9 9 8 ,   res p ec t i v el y .   H i s   cu rren t l y   l ect u rer  at   t h e   D e p art me n t   o Mat h emat i cs ,   Fac u l t y   o Sci e n ce  an d   Ma t h ema t i c s ,   U n i v er s i t as   D i p o n eg o ro .   H er  res earc h   i n t eres t s   i n cl u d a l g e b ra,   co mb i n a t o r i cs ,   an d   mat h emat i cal   l o g i c.   H i s   al s o   i n v o l v e d   i n   e x p er t   s y s t em  ap p l i ca t i o n   u s ed   t o   i d e n t i fy   i s s u e s   an d   al t ern at i v s o l u t i o n s   fo s ec o n d ary   s c h o o l   s t u d e n t s .   H can   b co n t ac t ed   a t   emai l :   b a y u s @ l ect u rer. u n d i p . ac. i d .         R etno   Kus u m a n i ng ru m           recei v ed   h er  B. S.   d eg ree  i n   mat h emat i cs   fr o U n i v er s i t as   D i p o n e g o r o ,   Semaran g ,   In d o n es i a,   i n   2 0 0 3 ,   an d   h er  M. S.   an d   Ph . D .   d eg ree s   fro m   U n i v er s i t as   In d o n es i a,   D ep o k ,   In d o n es i i n   2 0 1 0   an d   2 0 1 4 ,   res p ec t i v el y .   Sh i s   cu rren t l y   l ect u rer  at   t h D e p art me n t   o I n fo rma t i c s ,   Facu l t y   o Sci en ce  an d   Mat h emat i cs ,   U n i v ers i t a s   D i p o n eg o ro .   Sh al s o   cu rre n t l y   s er v es   a s   t h h ea d   o t h In t el l i g en t   Sy s t ems   L ab o ra t o ry   i n   D ep ar t men t   o I n fo rma t i c s .   H er  re s earch   i n t ere s t s   i n cl u d n at u ral   l an g u a g p r o ces s i n g ,   mach i n l earn i n g ,   co mp u t er  v i s i o n ,   p at t ern   reco g n i t i o n ,   an d   t o p i mo d e l i n g .   Sh i s   memb er  o t h I E E E   Co mp u t a t i o n a l   In t el l i g en ce  So c i et y ,   IE E E   Co mp u t er  So ci e t y ,   an d   A CM.   H er   aw ard s   an d   h o n o r s   i n cl u d e   t h San d w i ch - L i k s ch o l ar s h i p   aw ar d   fr o t h D i rec t o ra t G en era l   o H i g h er  E d u cat i o n   o I n d o n e s i fo v i s i t i n g   t h Sch o o l   o S y s t em  E n g i n eeri n g ,   U n i v er s i t y   o f   Read i n g ,   Read i n g ,   U . K .   a s   s t u d e n t   v i s i t o i n   2 0 1 2 ,   t h Bes t   Pa p er  o t h Sec o n d   I n t er n at i o n al   Co n fere n ce  o n   In fo rma t i c s   an d   Co m p u t at i o n al   Sci e n ce s   i n   2 0 1 8 ,   fi rs t   p l ac fo O u t s t a n d i n g   L ect u rer - U n i v ers i t a s   D i p o n e g o r o   fo r   t h Sci e n ce  an d   T ech n o l o g y   Ca t eg o ry   i n   2 0 1 9 ,   an d   s eco n d   p l ace  fo t h Be s t   Pa p er  A w ar d   o t h T h i rd   I n t er n at i o n al   Sy m p o s i u o n   A d v a n ced   In t e l l i g e n t   In f o rmat i cs   i n   2 0 2 0 .   Sh can   b c o n t act e d   at   emai l :   re t n o @ l i v e. u n d i p . ac. i d .     Evaluation Warning : The document was created with Spire.PDF for Python.