I n t e r n at io n al  Jou r n al  of  A d van c e s  i n  A p p li e d  S c ie n c e s  ( I JA A S )   V ol 14 , N o.  3 S e pt e m be r   20 25 , pp.  671 ~ 681   I S S N 2252 - 8814 D O I 10.11591/ ij a a s . v14. i 3 . pp 671 - 681       671     Jou r n al  h om e page ht tp : // ij aas .i ae s c or e .c om   H ayst ac k - b ase d  Fac e b ook s d at a st or age  ar c h i t e c t u r e :  st or e d i r e c t or y ,   an d  c ac h e       T ol e  S u t ik n o 1 ,2 , A h m ad  H e r yan t o 3 , 4 L ak s an a T al e n t a A h m ad 2, 5   1 F a c ul t y of  I ndus t r i a l  T e c hnol ogy, U ni ve r s i t a s  A hm a d D a hl a n, Y ogya ka r t a , I ndone s i a   2 E m be dde d S ys t e m s  a nd P ow e r  E l e c t r oni c s  R e s e a r c h G r oup, Y ogya ka r t a , I ndone s i a   3 F a c ul t y of  E ngi ne e r i ng U ni ve r s i t a s  S r i w i j a ya , P a l e m ba ng, I ndone s i a   4 F a c ul t y of  C om put e r  S c i e nc e , U ni ve r s i t a s  S r i w i j a ya , P a l e m ba ng, I ndone s i a   5 D e pa r t m e nt  of  I nf or m a t i on  S ys t e m s , I nt e r na t i ona l  I s l a m i c  U ni ve r s i t y M a l a ys i a , K ua l a  L um pur , M a l a y s i a       A r t ic le  I n f o     A B S T R A C T   A r ti c le  h is to r y :   R e c e iv e O c t   21 2024   R e vi s e M a y   8 2025   A c c e pt e J un   4 2025       Haystack   is  Facebook' unique  way  of  managing   large   amounts  of   user - generated  content  like  photos.   The  architecture   prioritizes  perfor mance,  reliabilit y,  and  scalabilit to  overcome  network - attached  storage  system  bottlenecks.  Haystack   speeds  data   access  and   ensures  data  integrity   during  hardware  failures  by  using  physical   and  logical   volumes.  This   study  examines  the  architectu re   of  Facebook' Haystack   data  storage   syste and  its  effects  on   scalability  and   efficiency  in   handling  large   photo   data.  According  to  the  study,  the   store,  directory,  and   cache  functions   work  together  to  reduce   input/output  ( I/O )   operations  and   improve  m etadata  processing,  which  traditional  network - attached  storage  systems   can not  do.  Haystack   manages  massive  photo  data   storage  and  retrieva l,   s olving  network - attached  storage  (NAS)  limit ations.   It  balances  throughp ut  and   latency  by  minimizing  disk  operations  and  optimizing  metadata  proc essing.  Each  store,  directory,  and  cache  contribu te   to  this  ecosystem.   The  Ha ystack   architectu re  reduces  disk  operation s   and  metadata  processin g   bottl enecks  with  distributed  caching.  cache  allows  instant  access  to  frequently  requested  images  and   balances  read   and  write   operations  across   the  s ystem.  We  should  study  adv anced  storage   system  architectures   based  on   Face book' s   Haystack   architectu re.  This  could   involv investi gating   faster  m etadata  processing  algorithms,  using  artificial  intelligence  (AI)  to  improv fault  detection  and  repair  systems,  and  assessing  the   economic  imp act  of  distr ibuted cac hes.   K e y w o r d s :   A r c hi te c tu r e   C a c he   D a ta  s to r a ge   D ir e c to r y   F a c e book   H a ys ta c k   This is an  open  acce ss artic le unde r the  CC BY - SA   license.     C or r e s pon di n g A u th or :   T ol e  S ut ik no   F a c ul ty  of  I ndus tr ia T e c hnol ogy, Unive r s it a s  A hm a D a hl a n   A hm a d Y a ni  S tr e e ( S out h of  R in g R oa d) , T a m a na n, Y ogya ka r t a  55191, I ndone s ia   E m a il to le @ te .ua d.a c .i d       1.   I N T R O D U C T I O N   I n t he  f a s t - c ha ngi ng w or ld  o f  da ta  s to r a ge  t e c hnol ogy, ha vi ng s ys te m s  t ha c a n ha ndl e  l a r ge  a m ount s   of   in f or m a ti on  is   ve r im por ta nt F a c e book' s   uni que   w a of   ta c kl in th is   pr obl e m   is   s how th r ough  it s   H a ys ta c d e s ig n,  m e a nt   to   m a na ge   th e   huge   s c a l e   of   us e r - c r e a te c ont e nt   li ke   phot os .   T hi s   de s ig n   s ki ll f ul ly   a voi ds  c om m on pr obl e m s  f ound  i n ne twor k - a tt a c he d s to r a ge  s ys te m s  by putt in g t oge th e r  a  s tr ong s ys te m  t ha t   f oc us e s   on  s pe e d,  de pe nd a bi li ty a nd  gr ow th B us in bot p hys ic a a nd  lo gi c a vol um e s H a ys ta c boos t s   da ta   a c c e s s   s pe e a nd  a dds   im por ta nt   r e dunda nc m e a s ur e s   to   ke e da ta   s a f e   dur in ha r dw a r e   is s ue s T he   a r c hi te c tu r e   ha s   th r e e   m a in   pa r ts th e   s to r e di r e c to r y,  a nd  c a c he E a c pa r is   c r uc ia f or   opt im iz in phot o   r e tr ie va l,  a ll ow in g f o r  qui c k  r e a d a nd w r it e  a c ti ons . T he  s to r e  ha ndl e s  t he  e f f e c ti ve  m a na ge m e nt  of  r a w  phot o   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i V ol 14 , N o.  3 S e pt e m be r   20 25 :   671 - 681   672   in f or m a ti on,  w hi le   th e   di r e c to r m a ke s   f a s lo okups   a nd  or ga ni z e s   th e   s to r e pi c tu r e s A th e   s a m e   ti m e th e   c a c he   a c ts   a s   a   s p e e dy  li nk,  gr e a tl c ut ti ng  dow r e s pon s e   ti m e   a nd  e nha nc in u s e r   e xpe r ie nc e T he   c om bi ne d w or k of  t he s e  pa r ts  c ha nge s  t he  w a y da ta  s to r a ge  w o r ks , e ns ur in g F a c e book c a n m a na ge  bi ll io ns  of   phot os  r e li a bl y a nd e a s il y. L ooki ng i nt o t he  de ta il s  of   H a ys ta c k' s   a r c hi te c tu r e  s how s  not  j us it s  t e c hni c a s ki ll   but   a ls it s   im por ta nt   im pa c on  th e   f ut u r e   of   di s tr ib u te s ys te m s A s   th e   di gi ta w or ld   ke e ps   gr ow in g,  knowing  how   H a ys ta c is   de s ig ne pr ovi de s   u s e f ul   in s ig ht s   f or   c r e a ti ng  s c a la bl e   s ol ut io ns   in   m a ny    a r e a s   [ 1] [ 8] T hi s   s tu dy  w il br e a dow th e   e s s e nt ia f e a tu r e s   of   th e   a r c hi te c tu r e lo oki ng  a how   e a c pa r he lp s   bui ld   a   s tr ong  a nd  e f f e c ti ve   s ys te m   f or   ha ndl in la r ge   da ta   a m ount s ul ti m a te ly   s e r vi ng  a s   a   m ode f or   f ut ur e  a dva nc e m e nt s  i n da ta   s to r a ge  t e c hnol ogy.   H a ndl in a   la r ge   a m ount   of   c ont e nt   m a de   by  us e r s   r e qui r e s   a   s tr ong  a nd  s m a r w a to   s to r e   da ta   f o r   F a c e book.  W it m or e   th a 260  bi ll io phot o s   upl oa d e by  u s e r s ha vi ng s to r a ge   th a t   c a n   gr ow   a nd w or w e ll   is   ve r im por ta nt O ld   ne twor k - a tt a c he s to r a ge   ( N A S )   s ys te m s   w e r e   not   e nough  be c a us e   th e ha i s s ue s   w it di s ope r a ti ons   a nd  pr oc e s s in m e ta da ta le a di ng  F a c e b ook  to   lo ok  f or   ne w   m e th ods T he   H a ys ta c s ys te m   c a m e   a s   a   s ol ut io n,  or ga ni z in s to r a ge   in to   m a ny   phy s ic a vol um e s e a c a bl e   to   hol d   m il li ons   of   phot os   [ 9] T hi s   s e tu is   bui lt   to   c opy  da ta   a c r os s   di f f e r e nt   s to r a ge   a r e a s   to   a voi lo s s   a nd  e ns ur e   r e li a bi li ty A ls o,  ongoing  ba c kgr ound  ta s ks   ke e c he c ki ng  a nd  f ix in pos s ib le   pr obl e m s pr ot e c ti ng  us e r   da ta   f r om   ha r dw a r e   is s ue s   [ 10] T hus F a c e book’ s   s to r a ge   ne e d s   r e qui r e   a   ve r e f f e c ti ve s c a la bl e a nd  f a ul t - r e s is ta nt   s ys te m  t o ha ndl e  t he  hug e  a m ount s  of  i nf or m a ti on c r e a te d by it s  w or ld w id e  us e r s .   A   good  da ta   s to r a ge   s e tu is   c r uc ia f o r   boos ti ng  pe r f or m a nc e   a nd  e ns ur in r e li a bi li ty   w he n   m a na gi ng  la r ge   a m ount s   of   da ta F or   e xa m pl e F a c e book' s   H a ys ta c s y s te m   w a s   m a de   to   ha ndl e   m or e   th a 260  bi ll io phot os A   w e ll - o r ga ni z e s e tu r e duc e s   th e   ne e f or   di s ope r a ti ons   a nd  m e ta da ta   pr oc e s s in g,  w hi c h i m pr ove s  s pe e d a nd c ut s  dow n on de la y. I n di s tr ib ut e d s ys te m s , t hi s  ki nd of  s e tu p pr om ot e s  s c a la bi li ty he lp in or ga ni z a ti ons   gr ow   th e ir   s to r a ge   w it hout   m a ny  p e r f or m a nc e   is s ue s H a y s ta c k   s how s   how   us in g a   m ix   of   s to r a ge di r e c to r y,  a nd  c a c he   e le m e nt s   c a n   e nha nc e   f a ul to l e r a nc e   a nd   s a ve   c o s ts   [ 9] S uc a dv a nc e m e nt s   s how   th a s m a r s to r a ge   de s ig not   onl r e duc e s   r is ks   r e la te to   ha r dw a r e   is s ue s   but   a ls m e e ts   th e   gr ow in de m a nd f or  qui c k da ta  a c c e s s  i n a  w or ld  w he r e  i nf or m a ti on i s  e xt e ns iv e  a nd i m por ta nt   [ 11] .   T he   H a ys ta c s ys te m   is   a im por ta nt   s te f or w a r in   how   la r ge   da ta   is   m a na ge a nd  s a ve d,   e s pe c ia ll m a d e   to   m e e F a c e book' s   huge   phot s to r a ge   ne e ds .   A it s   c or e th e   s y s te m   ha s   th r e e   m a in   pa r ts :   th e   H a ys ta c s to r e di r e c to r y,  a nd  c a c he T hi s   th r e e - pa r de s ig he lp s   m a ke   da ta   r e tr ie va a nd  s to r a ge   s m oot he r gr e a tl im pr ovi ng  ope r a ti ons   by  lo w e r in di s in put / out put   ( I /O )   a nd  boos ti ng  f a ul to le r a nc e   w it r e dunda nc a nd  ongoing  ba c kgr ound  ta s ks B s or ti ng  da ta   in to   lo gi c a a nd  phys ic a vol um e s   th a pr ovi de   phot o ba c kup,  H a ys ta c s ol ve s  i m por ta nt  pr obl e m s  r e ga r di ng ha r dw a r e  br e a kdown a nd da ta  l os s , w hi c h l e a ds   to   be tt e r   r e li a bi li ty   a nd  pe r f o r m a nc e   [ 9] A ls o,  th e   s ys te m   us e s  a   di s tr ib ut e c a c he   to   c ut   dow on  w a it   ti m e s   w hi le   ke e pi ng  hi gh  out put th us   c r e a ti ng  a   s tr ong  s e tu th a ha ndl e s   c ur r e nt   ne e ds   a nd  is   r e a dy  f or   f ut ur e   e xpa ns io [ 12] .   T he   m a in   goa ls   of   th is   r e s e a r c pa pe r   a r e   to   a n a ly z e   th e   de s i gn  f e a tu r e s   of   F a c e book’ s   H a ys t a c da ta   s to r a ge   s ys te m   a nd  to   e xpl a in   how   th e a f f e c t   s c a la bi li ty   a nd  e f f ic ie nc w he de a li ng   w it la r ge   a m ount s   of   phot da ta B lo oki ng  c lo s e ly   a th e   s to r e di r e c to r y,  a nd  c a c he   f unc ti ons th is   pa pe r   a im s   to   s how   how   th e s e   c om pone nt s   w or to ge th e r   to   r e duc e   I /O  ope r a ti ons   a nd  im pr ove   m e ta da ta   pr oc e s s in g,  th us   ta c kl in is s u e s   s e e n   w it ol de r   n e twor k - a tt a c he s to r a ge   s y s t e m s M or e ov e r th e   r e s e a r c w il di s c u s s   th e   e f f e c ts   of   us in s ta nda r ha r dw a r e   a nd  r e dunda nc m e th ods   on  s ys te m   r e li a bi li ty   a nd  f a ul to le r a nc e   [ 9] .   T hr ough c a s e   s tu di e s  a nd m e a s ur a bl e  p e r f or m a nc e  m e tr ic s , t hi s  pa pe r  i nt e nds  t o a dd t o t he  c ur r e nt  knowle dge   o f   di s tr ib ut e s ys t e m s   d e s ig n a nd  pr ovi de   u s e f ul   gui da nc e   f or   d e ve lo pe r s   a nd   a r c hi te c t s   w ho   w a nt   to   im pr ove   la r ge - s c a le   da ta   m a na ge m e nt   s tr a te gi e s   [ 13] I th e   e nd,  th e   r e s e a r c hop e s   to   de e pe th e   und e r s ta ndi ng  of   s c a la bl e   a r c hi te c tu r e s   in   m od e r s of twa r e   s e tt in gs I is   v e r im por ta nt   to   e xpl a in   H a ys ta c k ' s   da ta   s to r a ge   s tr uc tu r e   a F a c e book.  T he   in tr oduc ti on  gi ve s   a ov e r vi e w   of   w hy  s c a la bl e   s to r a ge   s ys t e m s   m a tt e r   in   to da y' s   w or ld e s pe c ia ll f or   c ont e nt - he a vy  s it e s   li ke   F a c e book.  N e xt it   lo oks   c lo s e ly   a th e   m a in   pa r ts   s to r e ,   di r e c to r y,  a nd  c a c he - e xpl a in in how   e a c pa r w or ks   a nd  i nt e r a c ts   to   e ns ur e   qui c phot r e tr ie va a nd   r e li a bi li ty T he   c onc lu s io br in gs   to ge th e r   th e s e   p a r ts f oc us i ng  on  w ha H a ys ta c k s   m e a ns   f or   f ut ur e   da ta   s to r a ge   m e th ods   a nd  im pr ove m e nt s   in   di s tr ib ut e s ys t e m   de s ig n.  B c le a r ly   m ovi ng  f r om   ba s ic   id e a s   to   m or e   c om pl e us e s th e   s tu dy  not   onl s ho w s   F a c e book' s   in nova ti ve  m e th od  but   a ls o   pr ovi de s  a   m ode f or   c r e a ti ng  s tr ong s to r a ge  s ys te m s , a s  poi nt e d out i [ 9]   a nd  [ 11] .       2.   U N D E R S T A N D I N G   H A Y S T A C K   A R C H I T E C T U R E   F a c e book' s   H a ys ta c s y s te m   ha s   a   de s ig th a m a na ge s   a   lo of   phot o   da ta   s to r a ge   a nd  r e tr ie va l.     I s ol ve s   is s ue s   s e e in   s ta nda r N A S   s ys te m s   [ 8] [ 14] [ 15]   a s   s how n   in   F ig ur e   1.  B y   r e duc in di s k   ope r a ti ons   a nd   im pr ovi ng  m e ta da ta   ta s k s H a y s ta c k   f in ds   a   good  m ix   of   hi gh  s pe e d   a nd  lo w   w a it   ti m e   w hi c is   im por ta nt   f or   s e r vi c e s   w it ove r   260  bi ll io im a ge s   [ 9] E a c pa r t ,   s to r e di r e c to r y,  a nd  c a c he   h a s   a   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       H ay s ta c k - bas e d F ac e book s  dat a s to r age  ar c hi te c tu r e :  s to r e , di r e c to r y , and  c ac he  ( T ol e  Sut ik no)   673   s pe c if ic   f unc ti on  in   th i s   s y s te m T he   H a ys ta c s to r e   a r r a nge s   p hys ic a vol um e s   in to   lo gi c a l   s tr uc tu r e s ,   w hi c he lp s   w it da ta   ba c kup  a nd  im pr ove s   r e li a bi li ty   by  u s in g   r e gul a r   ha r dw a r e ,   a s   s how n   in   F ig ur e   2.    T hi s   m e th od   he lp s   r e duc e   pr obl e m s   f r om   ha r dw a r e   f a il ur e s   a nd  is   s uppor te d   by  ba c kgr ound   ta s k s   th a f in a nd  f ix   pr ob le m s A ddi ti ona ll y,  r e c e nt   s tu di e s   s how   th a knowing  how   m e m or y   a c c e s s   c os t s   r e la te   to   c om put in e f f ic ie nc is   im por ta nt us in to ol s   li ke   H a ys ta c k   he lp s   de ve lo pe r s   le a r how   to   im pr ove   th e ir   c ode   w it c a c h e   s y s te m s le a di ng  to   a   be tt e r   s to r a ge   s e tu ov e r a ll   [ 16] .   T a bl e   s how s   th e   N A S   v s   H a y s ta c k   c om pa r is on t a bl e .             F ig ur e  1. N A S  ove r   ne twor k f il e  s ys te m  ( N F S ) - ba s e s to r a ge  a r c hi te c tu r e   [ 9]     F ig ur e  2. H a ys ta c k s to r a ge  a r c hi te c tu r e   [ 9]       T a bl e  1.  C om pa r is on  t a bl e   of   N A S  vs .   H a y s ta c k   A s pe c t   NAS   H a ys t a c k   P ur pos e  of   de s i gn   G e ne r a l   pur pos e  f or  va r i ous  t ype s  of  da t a  a nd   a ppl i c a t i ons .   S pe c i f i c a l l de s i gne t o   s t or e   a nd   m a na ge   us e r   phot os  e f f i c i e nt l y.   A r c hi t e c t ur e   F i l e - ba s e d;   us e s   pr ot oc ol s   l i ke   N F S   or   s e r ve r   m e s s a ge  bl o c k ( S M B )   f or  da t a  a c c e s s .   O bj e c t - ba s e d;   us e s   a   uni que   a ppr oa c t s t or e   m e t a da t a  a nd da t a  t oge t he r .   P e r f or m a nc e   H i ghe r  l a t e nc y f or  f r e que nt l y a c c e s s e d da t a .   L ow   l a t e nc y   f or   f a s t   a c c e s s   t o   da t a   ( phot os )   w i t h que r y opt i m i z a t i on.   S t or a ge   e f f i c i e nc y   M e t a da t a   a nd  da t a   a r e   s t or e s e pa r a t e l y,   i nc r e a s i ng m e t a da t a  ove r he a d.   M e t a da t a   a nd  da t a   a r e   s t or e i n   a   s i ngl e   uni t ,   r e duc i ng m e t a da t a  ove r he a d.   S c a l a bi l i t y   M or e  c ha l l e ngi ng t o s c a l e   a t  a  l a r ge  s c a l e .   D e s i gne f or   l a r ge - s c a l e   s uppor t it  e f f i c i e nt l y   ha ndl es   bi l l i ons  of  f i l e s .   R e dunda nc y   D e pe nds   on  r e dunda nt   a r r a of   i nde pe nde nt   di s ks  ( R A I D )   s ys t e m s  f or  f a ul t  t ol e r a nc e .   U s e s   di s t r i but e r e pl i c a t i on  m e c h a ni s m s   f or   da t a  r e l i a bi l i t y a nd  a va i l a bi l i t y.   O pt i m i z a t i on f or   s pe c i f i c  da t a   N ot  opt i m i z e d f or  s pe c i f i c  da t a  t ype s .   O pt i m i z e f or   phot os   a nd  ot he r   l a r ge   m e di a ,   i nc l udi ng m a na ge m e nt  of  l a r ge  obj e c t  s i z e s .   M e t a da t a   m a na g e m e nt   M e t a da t a   i s   m a na ge s e pa r a t e l y,  r e qui r i ng  a ddi t i ona l  que r i e s  f or  a c t ua l  da t a .   M e t a da t a   i s   s t or e w i t da t a   i a   s i ngl e   i nde x,  a c c e l e r a t i ng da t a  r e t r i e va l .   O pe r a t i ona l   c os t   R e l a t i ve l y hi gh du e  t o r e l i a nc e  on  s pe c i a l i z e d   ha r dw a r e .   L ow e r   due   t t he   us e   of   c om m od i t ha r dw a r e   a nd c us t om  de s i gn.   R e l i a bi l i t y   R e l i e s   on  t r a di t i ona l   N A S   ha r dw a r e   a nd   s of t w a r e .   M or e   r e l i a bl e   w i t i nt e gr a t e da t a   r e pl i c a t i on   a nd f a ul t  t ol e r a nc e .       2.1.    D e f in it io n  an d  c om p on e n t s  of   H ays t ac k   I F a c e book' s   da ta   s to r a ge   s e tu p,  H a ys ta c k   is   a   c om pl e s y s te m   th a he lp s   m a na ge   la r ge   phot o   c ol le c ti ons   e f f ic ie nt ly I ha s   th r e e   m a in   pa r ts th e   s to r e di r e c t or y,  a nd  c a c he ,   e a c h   im por ta nt   f or   im pr ovi ng   how   da ta   is   s to r e a nd  r e tr ie ve d.  T he   s to r e   hol ds   m os phot os ,   or ga ni z in th e m   in   va r io us   phys ic a vol um e s   to   pr ovi de   ba c kup  a nd  de pe nda bi li ty   a ga in s ha r dw a r e   is s u e s T he   di r e c to r ta ke s   c a r e   of   th e   m e ta da ta a ll ow in f a s a c c e s s   to   ne c e s s a r in f or m a ti on  w hi le   r e duc in di s us e   a nd  m e ta d a ta   pr oc e s s in g.  T hi s   gr e a tl im pr ove s   pe r f or m a nc e L a s tl y,  th e   c a c he   a c ts   a s   a   f a s li nk,  lo w e r in de la by  qui c kl pr ovi di ng  f r e que nt ly   a c c e s s e da ta T hi s   th r e e - pa r s ys te m   not   onl im pr ove s   e f f ic ie nc but   a ls a id s   F a c e book  in   m a na gi ng  a   huge  a m ount  of  c ont e nt  w i th  s tr e ngt h a nd  f le xi bi li ty ,  e ns ur in a  good us e r  e xpe r ie nc e  e ve n a s  t he  de m a nd f or   s to r a ge  i nc r e a s e s   [ 10] .     2.2.    H is t or ic al  c on t e xt  an d  d e ve lo p m e n t  of   H ays t ac k   T he  r is e  of   H a ys ta c k   a s  a  ke y da ta   s to r a ge  de s ig n i s   c lo s e ly  t ie d  t o F a c e book' s  r a pi d i nc r e a s e  i n us e r - ge ne r a te c ont e nt ,   e s p e c ia ll phot os .   A f ir s t,   F a c e book  u s e d   N A S   s y s te m s   [ 8] [ 14] [ 15] w hi c be c a m e   Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i V ol 14 , N o.  3 S e pt e m be r   20 25 :   671 - 681   674   in s uf f ic ie nt   w he th e   pl a tf or m   gr e w   to   hous e   ove r   260  bi ll i on  phot os T hi s   in a d e qua c hi ghl ig ht e d   th e   ne c e s s it f or   a   ne w   s to r a ge   s ys te m   to   m e e th e   gr ow in ne e ds   f or   s pe e d,  r e li a bi li ty a nd  da ta   in te gr it y.  T he   de ve lo pm e nt   of   H a ys ta c k   dr e w   f r om   de ta il e c a s e   s tu di e s   in   s c a la bl e   s y s te m   de s ig n,  unc ove r in im por ta nt   w a ys   to   m in im iz e   di s ope r a ti ons   a nd  m a k e   m e ta da ta   pr oc e s s i ng  m or e   e f f ic ie nt bot vi ta f o r   ha ndl in la r ge   da ta s e ts H a ys ta c k   w a s   bui lt   w it a   w e ll - s tr uc tu r e de s ig th a in c lu de s   a   di s tr ib ut e c a c he s to r a ge   m e th od s a nd  di r e c to r s e r vi c e s w hi c ta c kl e c om m on  is s ue s im pr ovi ng  th r oughput   a nd  f a ul t   to le r a nc e   w hi le   us in g   in e xpe ns iv e  ha r dw a r e   [ 9] , [ 17] .  T hi s  ba c kgr ound not onl y  i nf o r m e H a ys ta c k ' s  de s ig n pr in c ip le s  but  a ls o l a id   th e  gr oundwor k f or  f ut u r e  s c a la bl e  s y s te m  m ode ls  t ha c oul d ha ndl e  l a r ge  a m ount s  of  da ta .     2.3.    C om p ar is on  w it h  t r ad it io n al  d at a s t or age  s ys t e m s   T r a di ti ona da ta   s to r a ge   s ys te m s   of te us e   N A S   s e tu ps w hi c ha ve   pr obl e m s   w it s c a la bi li ty   a nd   pe r f or m a nc e H a ys ta c k ' s   a r c hi te c tu r e   s m a r tl ta c kl e s   th e s e   c h a ll e nge s   w it it s   uni que   s to r e di r e c to r y,   a nd   c a c he   f e a tu r e s .   C onve nt io na s ys te m s   of te e xpe r ie nc e   s lo w do w ns   due   to   is s ue s   w it m e ta da ta   ha ndl in a nd  he a vy  di s k   I /O,  m a ki ng  it   ha r to   e f f ic ie nt ly   m a na ge   la r ge   a m ount s   of   da ta li ke   F a c e book' s   huge   phot o   c ol le c ti on.  O th e   ot he r   ha nd,  H a y s ta c k   r e duc e s   th e   ne e d   f or   di s a c c e s s   a nd  u s e s   a   di s tr ib ut e c a c hi ng   s ys te m   to   pr ovi de   bot hi gh  th r oughput  a nd  lo w   la t e nc y,  w hi c a r e   e s s e nt i a f or   r e a l - ti m e   in te r a c ti ons .   A ddi ti ona ll y,  by  or ga ni z in s to r a ge   in to   lo gi c a a nd  phys ic a l   vol um e s   w it s tr ong  r e dunda nc y,  H a ys ta c k   boos ts   f a ul to le r a n c e gr e a tl y   e nha nc in g   r e li a bi li ty   c om pa r e to   tr a di ti ona s ys te m s   [ 9] O ve r a ll th i s   a r c hi te c tu r e   m a r ks   a   c le a r   c ha ng e   f r om   ol s to r a ge   m e th od s m a ki ng  it   a   gr e a c hoi c e   f or   to da y’ s   da ta - he a vy  a ppl ic a ti ons   [ 18] .     2.4.    K e y f e at u r e s  o f   H ays t ac k   ar c h it e c t u r e   A   uni que   pa r of   th e   H a ys ta c k   de s ig is   it s   ne w   w a of   im pr o vi ng  phot s to r a ge   a nd  a c c e s s w hi c h   is   c r uc ia f or   ha ndl in la r ge   di gi ta c ol le c ti ons T hi s   s y s te m   is   m a de   to   us e   s e v e r a phys ic a vol um e s e a c h   hol di ng  m il li ons   of   im a ge s ,   to   m a ke   s ur e   it   c a gr ow   a nd  s ta de pe nda bl e T he   w a vol um e s   a r e   a r r a nge in   H a ys ta c k   a ll ow s   phot o s   to   be   c opi e a c r os s   di f f e r e nt   phys ic a s to r a ge gr e a tl r e duc in th e   c ha nc e   of   lo s in da ta   be c a us e   of   ha r dw a r e   i s s ue s A ddi ti ona ll y,  by   us in g   a   di s tr ib ut e c a c he   a nd  c ut ti ng  dow on   di s k   ope r a ti ons , t he  de s ig n a c hi e ve s  a  good mi x of  hi gh s pe e d a nd l ow  de la y, m e e ti ng t he  hi gh de m a nd f r om  us e r s   a c c e s s in m or e   th a 260  bi ll io phot os T he s e   im pr ove m e nt s   not   onl m a ke   a c c e s s   e a s ie r   but   a ls f it   a   budge t - f r ie ndl a ppr oa c f or   m a na gi ng  c lo ud  da ta hi ghl ig ht in th e   ne e to   e nh a nc e   s to r a ge   s ol ut io ns   in   to da y' s   da ta - dr iv e e nvi r onm e nt O ve r a ll ,   th e   H a ys ta c k   de s ig s how s   im por ta nt   f e a tu r e s   th a ta c kl e   th e   c ha ll e nge s   of   la r ge - s c a l e   da ta   s to r a ge ,   be in vi ta l   f or   pl a tf or m s   li ke   F a c e book,   w hi c h   ne e s tr ong  a nd   e f f e c ti ve  s ys te m s  f or  ha ndl in g us e r - ge ne r a te c ont e nt .     2.5.    R ol e  of   H ays t ac k   in  F ac e b ook 's  ove r al in f r a s t r u c t u r e   I F a c e book' s   bi te c e nvi r onm e nt H a y s ta c k   is   ke y   in   s ol vi ng  pr obl e m s   w it phot s to r a ge   a nd   r e tr ie va l,   im pr ovi ng  th e   s it e ' s   ove r a ll   pe r f or m a nc e   a nd  u s e r   e x pe r ie nc e B m a ki ng  d a ta   m a na g e m e nt   m or e   e f f ic ie nt H a ys ta c k   he lp s   r e duc e   th e   s lo w dow ns   s e e in   r e gul a r   s to r a ge   s ys te m s s how by   it s   c le ve r   de s ig th a c ut s   dow on  di s op e r a ti ons   a nd  pr oc e s s in de m a nd s   [ 9] T hi s   bi im pr ove m e nt   is   not   ju s a   te c upgr a de it   a li gns   w it F a c e book' s   la r ge r   goa of   e f f ic ie nt ly   m a na gi ng  it s   e xt e ns iv e   ope r a ti ons W it h   H a ys ta c k u s e r s   c a n e a s il y a c c e s s   ov e r   260  bi ll io phot os   qui c k ly w hi c is  c r uc ia f or   ke e pi ng  u s e r s   e ng a ge d   a nd  s a ti s f ie d.   A s   F a c e book  w or k s   to   upgr a de   it s  s ys te m s   to   s up por gr ow in a m ount s   of   da ta H a ys ta c k ' s   r ol e   in   m a in ta in in f a s a nd  e f f ic ie nt   op e r a ti ons   s how s   it s   vi ta l   im por ta nc e   in   th e   c om pa ny’ s   s e tu p   [ 19] I th e   e nd,  H a ys ta c k   s how s   how   f oc us e s ol ut io ns   c a im pr ove   th e   ove r a ll   e f f e c ti ve ne s s   of   th e   in f r a s tr uc tu r e   w hi l e   pr ovi di ng a  s tr ong a nd s c a la bl e  w a y t o m a na ge  da ta   s to r a ge .       3.   D A T A  S T O R A G E  M E C H A N I S M S  I N   H A Y S T A C K   T he   s to r a ge   m e th od s   us e by  H a ys ta c k   a r e   a   ke y   pa r of   how   it   is   bui lt a im e a t   ha ndl in F a c e book' s   la r ge   phot o   c ol le c ti on  w hi le   s ol vi ng  p e r f or m a nc e   is s ue s A   k e f e a tu r e   of   th is   s e tu p   is   th e   s pl it   in to  phys ic a vol um e s  t ha s to r e  m il li ons  of  photos , w hi c h a r e  g r oupe d i nt o l ogi c a vol um e s  f or  be tt e r  ba c kup.  T hi s  a ppr oa c h he lp s  r e duc e  t he  c ha n c e  of  l os in g da ta  f r om  ha r dw a r e  pr obl e m s , m a ki ng s ur e  i w or ks  w e ll  i n a   di s tr ib ut e d s e tu p, w hi c h i s  i m por ta nt  f o r  da ta  a c c e s s  a c r os s  di f f e r e nt  c lo uds  a nd r e gi ons   [ 20] . T he  s ys te m  a ls in c lu de s   a   di s tr ib ut e c a c he   to   im pr ove   s pe e a nd  lo w e r   de la ys m a ki ng  da ta   r e tr ie va e a s ie r R e c e nt   upda te s   s how   th a knowing  m e m or y s tr uc tu r e s   is   im por ta nt a s   it   r e v e a l s   th e   hi dde n c os ts   r e la te to   d a ta   m ove m e nt , a   de ta il   of te m is s e by   de ve lo pe r s   [ 16] B di s tr ib ut in r e a a nd  w r it e   ta s k s   a m ong  it s   p a r ts H a y s ta c k   de m ons tr a te s   a   f le xi bl e   da ta   s to r a ge   s ol ut io th a t   f ul f il ls   F a c e book' s   la r ge   ope r a ti ona l   r e qui r e m e nt s   [ 9] F ig ur e   de pi c ts   th e   phot o - s e r vi ng  s t a c k,  w hi c c ons is t s   of   f our   la ye r s br ow s e r   c a c h e s e dge   c a c he s ,   or ig in   c a c he , a nd  H a ys ta c k   b a c ke nd.   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       H ay s ta c k - bas e d F ac e book s  dat a s to r age  ar c hi te c tu r e :  s to r e , di r e c to r y , and  c ac he  ( T ol e  Sut ik no)   675       F ig ur e  3. D a ta   s to r a ge  m e c ha ni s m s   in   H a ys t a c k       F ig ur e   il lu s tr a te s   th e   d a ta   s to r a ge   m e c ha ni s m   in   th e   H a ys t a c s y s te m w hi c h   le ve r a ge s   va r io us   ty pe s   of   c a c he s   pl a yi ng  a   c r it ic a r ol e   in   e nha nc in ove r a ll   s ys te m   pe r f or m a nc e   a nd  e f f ic ie nc y.  T he   br ow s e r   c a c he   s to r e s   w e bpa g e   e le m e nt s s uc a s   im a ge s   a nd  ot he r   f il e s on  th e   us e r s   s id e a im in to   a c c e le r a te   pa g e   lo a ti m e s   a nd  r e duc e   s e r ve r   lo a by  ut il iz in p r e vi ous ly   dow nl oa de da ta T he   pop - e nd  ( e dge )   c a c he   ope r a te s   on   s e r ve r s   lo c a te d   c lo s e   to   us e r s ,   s uc h   a s   th os e   in   a   c o nt e nt   de li ve r ne twor ( C D N ) s to r in c opi e s   of   da ta   to   r e duc e   l a te nc a nd   im pr ove   a c c e s s   s pe e by  de li ve r i ng  c ont e nt   f r om   s e r ve r s   g e ogr a phi c a ll c lo s e r   to   th e   us e r M e a nw hi le th e   or ig in   c a c h e   f unc ti ons   on  th e   or ig in   s e r ve r   by  s to r in f r e que nt ly   a c c e s s e d a ta   c opi e s de s ig ne to   e xpe di te   da ta   a va il a bi li ty   dur in r e que s ts   a nd  a ll e vi a te   th e   bur de on  th e   p r im a r s to r a ge   s e r ve r . A ddi ti ona ll y, t he  ba c ke nd c a c he  i s  e m pl oye d w it hi n ba c ke nd s ys te m s s uc h a s  H a y s ta c k, t o s to r e  l a r ge   da ta   obj e c ts s uc a s   im a ge s   a nd  ot he r   m e di a w it th e   pur po s e   of   a c c e le r a ti ng  da ta   r e tr ie va l,   r e duc in th e   lo a on  s lo w e r   s to r a ge   s ys t e m s a nd  e nha n c in da ta   r e li a bi li ty   a nd  a va il a bi li ty   th r ough  r e pl ic a ti on   a nd  di s tr ib ut e s to r a ge   m e c ha ni s m s A ll   th e s e   c a c hi ng  m e c h a ni s m s   w or s yne r gi s ti c a ll to   e ns ur e   f a s t,   e f f ic ie nt a nd  r e li a bl e   da ta   a c c e s s   a c r os s   a ll   la ye r s   of   th e   s to r a ge   s ys te m T he   in te r a c ti on  a m ong  di f f e r e nt   ty pe s   of   c a c he s ,   br ow s e r e dge or ig in a nd  ba c ke nd   s uppor ts   la r ge - s c a l e   da ta   di s tr ib ut io opt im iz a ti on  by  m in im iz in g   la te nc y a nd i m pr ovi ng ove r a ll  da ta  a c c e s s   s pe e d a nd  e f f ic ie nc y.     3.1.    O ve r vi e w  of  d at a s t or age  t e c h n iq u e s  u s e d   I m ode r da ta   s to r a ge   s ys te m s di f f e r e nt   m e th ods   a r e   im por ta nt   f or   m a ki ng  th in gs   e f f ic ie nt ,   r e li a bl e a nd  s c a la bl e O ne   ke m e th od  is   u s in di s tr ib ut e s t or a ge   s e tu ps w hi c u s e   s t a nda r ha r dw a r e   to   bui ld   s tr ong  in f r a s tr uc tu r e   th a c a ha ndl e   la r ge   a m ount s   of   da ta A e xa m pl e   is   F a c e book' s   H a y s ta c k   s ys te m w hi c e f f e c ti ve ly   de a l s   w it th e   is s u e s   of   s to r in a   lo of   phot os I doe s   th is   by  us in bot phys ic a l   a nd  lo gi c a vol um e   m a na ge m e nt a lo ng  w it r e dunda nc m e th ods   to   a voi da ta   lo s s B s pl it ti ng  phot os   in to   s e ve r a vol um e s   a nd  u s in a   di s tr ib ut e c a c he   f or   qui c a c c e s s H a y s ta c k   gr e a tl e nha nc e s   r e a d   a nd  w r it e   pr oc e s s e s le a di ng  to   be tt e r   pe r f or m a nc e   a nd   s ys t e m   s tr e ngt [ 9] A ddi ti ona ll y,  ongoing  ba c kgr ound  ta s ks   in   th is   s ys te m   ke e a e ye   on  pot e nt ia pr obl e m s   a nd  f ix   th e m ,   th us   m a in ta in in da ta   in te g r it a nd  s m oot h   ope r a ti ons   [ 11] T hi s   va r ie a ppr oa c to   d a ta   s to r a ge   hi ghl ig ht s   th e   n e e f or   c r e a ti ve   de s ig in   de a li ng  w it to da y’ s  di gi ta c ha ll e nge s , e s pe c i a ll y i n a r e a s  w it h r a pi d da ta  gr ow th .     3.2.    F il e  s t or age  an d  m an age m e n t  i n   H ays t ac k   E f f ic ie nt   f il e   s to r a ge   a nd  m a na ge m e nt   in   H a y s ta c k ' s   s y s te m   h e lp s   le s s e n   pr obl e m s   of   de a li ng  w it h   la r ge   da ta   a m ount s  s uc h a s   F a c e book’ s   bi phot li br a r y.  B or ga ni z in s to r a ge   in to   m a ny  phy s ic a vol um e s e a c hol di ng  m il li ons   of   phot os H a ys ta c k   pr ovi de s   a or de r ly   a nd  s tr ong  w a to   ha ndl e   da ta K e pa r ts   of   th e   s ys te m   in c lu de   th e   H a y s ta c k   s to r e di r e c to r y,  a nd  c a c h e w hi c w or to ge th e r   to   im pr ove   da ta   a c c e s s .   R e dunda nc m e th od s   in   phys i c a vol um e s   pr ot e c a ga in s t   da ta   lo s s   f r om   ha r dw a r e   is s ue s s ho w in a     f or w a r d - th in ki ng  a ppr oa c to   f il e   m a na ge m e nt E a c h   lo gi c a v ol um e   is   de s ig ne to   dupl ic a te   phot o s   a c r os s   phys ic a s to r a ge   uni ts m a ki ng  it   m or e   r e li a bl e   a nd  a bl e   to   r e s i s f a ul ts   [ 9] A ls o,  H a ys ta c k   a ll ow s   f or   qui c k   a c c e s s   to   im a ge s ,   im pr ovi ng  us e r   e xpe r ie nc e   w hi le   r e du c in d is ope r a ti ons   a nd  m e ta da ta   lo a [ 16] T he s e   in nova ti ons   hi ghl ig ht   how   im por ta nt   H a ys ta c k   i s   in   s uppor ti ng   F a c e book’ s   a bi li ty   to   m a na ge   a nd  s to r e   d a ta   s m oot hl y.     3.3.    D at a r e p li c at io n  s t r at e gi e s  e m p lo ye d   R e li a bi li ty  i n da ta  s to r a ge  s y s te m s  gr e a tl y de pe nd s  on good r e p li c a ti on me th ods , pa r ti c ul a r ly  i n l a r ge   s e tu ps   li ke   F a c e book' s   H a y s ta c k A th e   c e nt e r   of   H a ys ta c k ' s   de s ig is   a   s tr ong  da ta   r e pl ic a ti on  s ys te m   th a Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i V ol 14 , N o.  3 S e pt e m be r   20 25 :   671 - 681   676   pr ovi de s   r e dunda nc ove r   s e ve r a phy s ic a vol um e s w hi c h e lp s   pr e ve nt   da ta   lo s s   f r om   ha r dw a r e   f a il ur e s E a c vol um e   hol ds   m il li ons   o f   phot os a r r a nge in to   lo g ic a gr oups   f or   be tt e r   a c c e s s   a nd  m a in te na nc e w hi le   a ls im pr ovi ng  r e li a bi li ty   th r ough  c a r e f ul   dupl ic a ti on. T hi s   m e t hod  r e duc e s   th e   r is k   of   s in gl e   poi nt s   of   f a il ur e   a nd  e nha nc e s   r e a a nd  w r it e   pr oc e s s e s a ll ow in r e que s t s   to   be   s pr e a out   a c r os s   di f f e r e nt   r e pl ic a s H a ys ta c k   us e s   s ta nda r ha r dw a r e   to   c a r r out   th e s e   m e th ods e na bl in c os t - e f f e c ti ve   gr ow th   w hi le   e ns ur in hi gh  th r oughput  a nd  lo w   de la y s   in   m e ta da ta   h a ndl in a nd  a c c e s s .   W it ongoing  ba c kgr ound  ta s k s   f oc us e on   c he c ki ng  a nd  f ix in da ta   in te gr it pr ob le m s H a ys ta c k   s e r ve s   a s   a   s ol id   r e pl ic a ti on  m ode th a t   va lu e s   bot h   pe r f or m a nc e  a nd r e li a bi li ty   [ 11] .     3.4.    S c al ab il it y c on s id e r at io n s  i n  d a t a s t or age   I da ta   s to r a ge th in ki ng  a bout   s c a la bi li ty   is   ve r im por ta nt   f or   ha ndl in th e   r a pi in c r e a s e   of     us e r - ge ne r a te c ont e nt ,   e s p e c ia ll on   pl a tf or m s   li ke   F a c e book, whic de a ls   w it bi ll io ns   of   phot os  e ve r da y.   T he  de s ig n us e d i H a ys ta c k   s how s  i m por ta nt  w a ys  t o a c hi e v e  s c a la bi li ty , l ik e  r e m ovi ng bott le ne c ks  f ound in  tr a di ti ona N A S   s ys te m s   a nd  us in a   di s tr ib ut e c a c hi ng  s y s te m   th a im pr ove s   bot s pe e a nd  r e s pons e   ti m e B s pr e a di ng  da ta   ove r   s e ve r a phys ic a vol um e s e a c w it m il li ons   of   phot os H a ys ta c k   a ll ow s   th e   s ys te m   to   ha ndl e   la r ge   da ta   s e ts   e f f e c ti ve ly   w hi le   ke e pi ng  ba c kups   to   gua r a ga in s ha r dw a r e   is s ue s T hi s   de s ig s uppor ts   r e li a bi li ty   a nd  f a ul to le r a nc e   s in c e   b a c kgr ound  ta s k s   ke e a e ye   on   a nd  f ix   pos s ib le   pr obl e m s ,   e ns ur in th e   s ys te m   w or ks   w e ll   w it hout   s lo w in dow [ 9] A s   th e   ne e f or   s to r a ge   gr ow s th e   in s ig ht s   f r om   H a ys ta c k ' s   a ppr oa c h   hi ghl ig ht   th e   ne e d   f or   a   s tr ong, s c a la bl e   f r a m e w or th a c a n   c ha nge   to   m e e t   th e   ne e ds   of   da ta - he a vy a ppl ic a ti ons   [ 11] .     3.5.    P e r f or m an c e   m e t r ic s   f or  d at a s t or age   e f f ic ie n c y   K now in how   to   m e a s ur e   da ta   s to r a ge   e f f ic ie nc is   im por ta nt   f or   a s s e s s in s ys te m s   li ke   F a c e book' s   H a ys ta c k T h e r e   a r e   m a in   m e tr ic s   to   c ons id e r li ke   th r ough put la te nc y,  a nd  r e dunda nc le ve ls w hi c h   to ge th e r   a na ly z e   ho w   w e ll   d a ta   is   s to r e a nd  r e tr ie ve d.  T hr oughput  s how s   th e   s p e e of   r e a di ng   or   w r it in da ta im pa c ti ng  us e r   e xpe r ie nc e   a nd  s y s te m   pe r f or m a nc e L a te nc in di c a te s   how   lo ng  it   ta ke s   to   ge da ta   a  de la y t ha c a n be  i m pr ove d w it h good c a c hi ng t e c hni que s  f ou nd i H a ys ta c k , l e a di ng t o be tt e r  pe r f or m a nc e A ddi ti ona ll y,  m e tr ic s   on  r e dunda nc a r e   c r uc ia f or   ke e pi ng  da ta   s a f e   a nd  a va il a bl e th e   r e pl ic a ti on  m e th ods   us e in   H a y s ta c k   he lp   pr e ve nt   d a ta   lo s s   f r om   ha r dw a r e   is s ue s ,   in c r e a s in r e li a bi li ty   [ 9] B ba la nc in th e s e   m e a s ur e m e nt s s y s te m   de s ig ne r s   c a e ns ur e   th a th e   da ta   s to r a ge   s e tu m e e ts   c ur r e nt   ne e d s   a nd  c a gr ow   e f f ic ie nt ly  f or  m or e  us e r s   [ 12] .       4.   D I R E C T O R Y  S E R V I C E S  I N   H A Y S T A C K   I nt e gr a ti ng  di r e c to r y   s e r vi c e s   in   th e   H a ys ta c k   s tr uc tu r e   is   im por ta nt   f or   im pr ovi ng   how   da ta   is   r e tr ie ve a nd  e ns ur in good  a c c e s s   to   th e   la r ge   a m ount s   o f   phot os   s to r e on  F a c e book' s   s ys te m T he   di r e c to r y a c ts  a s  a  l in k be tw e e n da ta   s to r a ge  a nd c li e nt  r e que s ts ,  he lp in g t o quic kl y f in d phys ic a vol um e s  t ha c ont a in   pa r ti c ul a r   phot o   da ta w hi c r e duc e s   w a it in ti m e s T hi s   s e tu m e e ts   th e   s ys te m ' s   m a in   a im   of   m a ki ng  ope r a ti ons   s m oot he r   by  lo w e r in g   th e   c om put in g   lo a li nke to   m e ta da ta   pr oc e s s in g,  w hi c is   a   bi g   upgr a de   c om pa r e to   ol de r   NAS   opt io ns A ls o,   th e   di r e c to r u s e s   a   lo gi c a la y e r   th a boos t s   f a ul to le r a nc e ,   m a ki ng  s ur e   th a e ve if   th e r e   is   a   ha r dw a r e   pr obl e m da ta   c a s ti ll   be   a c c e s s e a nd  is  s e c ur e B u s in th e s e   di r e c to r s e r vi c e s H a ys ta c k   not   onl im pr ove s   e f f ic ie nc but   a ls m a ke s   be tt e r   us e   of   r e s our c e s w hi c is   im por ta nt   gi ve th e   r is in de m a nds   f or   c r os s - c lo ud  da ta   a c c e s s   s e e in   r e c e nt   s tu di e s   [ 20] F ur th e r m or e th e   di r e c to r y' s  r ol e  f i ts  w it h c ur r e nt  c lo ud  opt im iz a ti on t r e nds , a s  hi ghl ig ht e d i n r e c e nt  s tu di e s  t ha s tr e s s  t he  ne e f or   f le xi bl e   s ys te m s   th a c a lo w e r   r e s our c e   c ons um pt io w hi le   ke e pi ng  up   pe r f or m a nc e   [ 21] H e n c e ,   di r e c to r s e r vi c e s   in   H a ys ta c k   a r e   c r uc ia f or   pr ovi di ng  a   f le xi bl e   a nd  s tr ong  da ta   s to r a ge   s ol ut io n,   c onf ir m in g i ts  s ig ni f ic a nc e  i n t oda y' s  c lo ud c om put in g s tr a te gi e s .     4.1.    F u n c t io n al it y of  d ir e c t or y s e r vi c e s  i n   H ays t ac k   T he   e f f e c ti ve ne s s   of   da ta   m a na ge m e nt   in   H a y s ta c k   la r ge ly   de p e nds   on  it s   di r e c to r s e r vi c e s w hi c h   a r e   c r uc ia f or   na vi ga ti ng  th e   m a ny  s to r e it e m s T he   di r e c to r s e r ve s   a s   a   m e ta da ta   l a ye r   th a e f f e c ti ve ly   li nks   us e r   s e a r c he s   to   a c tu a s to r a ge   lo c a ti ons th u s   le s s e ni ng  t he   us ua bur de n s   r e la te to   m e ta da ta   s e a r c h e s .   U nl ik e   s ta nda r di r e c to r s ys te m s H a ys t a c k ' s   di r e c to r is   m a d e   to   c ut   dow on  di s ope r a ti ons r e s ul ti ng  in   m uc be tt e r   pe r f or m a nc e   f or   r e a di ng  a nd  w r it in g.  E a c e nt r in   th e   di r e c to r is   c a r e f ul ly   c r a f te to   ha ndl e   hi gh  de m a nd  f or   s pe e a nd  lo w   w a it   ti m e s m e e ti ng  F a c e book’ s   ne e ds   f or   qui c kl a c c e s s in a nd  d e li ve r in a   va s num be r   of   phot os A ddi ti ona ll y,  th e   s m oot in te gr a ti on  of   th e   di r e c to r w it th e   H a ys ta c k   s to r e   a nd   c a c he   s ys t e m s   [ 9]   gua r a nt e e s   th a r e tr ie vi ng   da ta   is   bot h   f a s a nd  r e li a bl e s uppor ti ng   th e   ove r a ll   goa o f   r e duc in c os ts   w hi le   r e m a in in s c a la bl e   [ 20] T hr ough  it s   un iq ue   di r e c to r s e r vi c e s H a y s ta c k   s how s   how   s m a r de s ig n c a n he lp   s ol ve  da ta   a c c e s s  i s s ue s  a nd i m pr ove  t he   e f f ic ie nc y of  s to r a ge  s ys te m s .   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       H ay s ta c k - bas e d F ac e book s  dat a s to r age  ar c hi te c tu r e :  s to r e , di r e c to r y , and  c ac he  ( T ol e  Sut ik no)   677   4.2.    D at a i n d e xi n g an d  r e t r ie val  p r oc e s s e s   D a ta   in de xi ng  a nd  r e tr ie va a r e   ve r im po r ta nt   f o r   la r ge   s to r a g e   s ys te m s   li ke   F a c e book’ s   H a y s ta c k w hi c he lp s   m a na ge   bi ll io ns   of   phot os H a ys ta c k s   s tr uc tu r e   in c lu de s   s pe c i a in de xi ng  m e th ods   th a m a ke   r e tr ie va f a s te r   a nd  c ut   dow on  s lo w   di s ope r a ti ons B c o m bi ni ng  how   da ta   is   lo gi c a ll a nd  phy s ic a ll or ga ni z e d,  H a ys ta c k   ke e ps   da ta  s to r e w e ll   a nd  e a s to   ge w h e us e r s   ne e it T h e   s ys te m   a im s   to   lo w e r   th e   w or kl oa on  m e ta da ta   pr oc e s s in to   im pr ove   pe r f or m a nc e e na bl in qui c a c c e s s   w it hout   s tr e s s in th e   s to r a ge   ha r dw a r e A dd it i on a ll y,  it   u s e s   a   di s t r ib ut e c a c h e   s ys te m   to   e n s ur e   f a s t   d a t a   r e tr i e v a w it h ig h   th r o ugh put   a nd  l ow  de la y s , w hi c h   a l s h e l ps  t h e  s y s t e m   r e s i s f a ul t s   [ 9] [ 2 2] . O v e r a ll t he s e   a dv a n c e i nd e xi ng   a nd  r e tr i e v a l  m e th od s   a r e   c r u c i a f or   ke e p in g F a c e b oo k’ s  l a r g e   p hot o   s to r a ge  s y s t e m   r e s p on s i ve  a nd  r e l ia bl e .     4.3.    R ol e  of   m e t ad at a i n  d ir e c t or y s e r vi c e s   I m ode r di r e c to r s e r vi c e s m e ta da ta   pl a ys   a im por ta nt   r ol e   in   m a ki ng  da ta   r e t r ie va s ys te m s   w or k be tt e r P r ovi di ng  in f or m a ti on a bout   th e  da ta - li ke  w he r e  i c om e s  f r om , i ts  l a yout , a nd how it conne c ts  t ot he r   da ta - m e ta da ta ,   he lp s   us e r s   a c c e s s   r e s our c e s   qui c kl a nd  s uppor ts   da ta   in te gr it a nd  m a na ge m e nt   e f f or ts F or   e xa m pl e in   F a c e book’ s   H a ys ta c k   s ys te m m a n a g in m e ta da ta   is   ke to   s or ti ng  th r ough  la r ge   phot c ol le c ti ons   s to r e in   di f f e r e nt   phys ic a a nd  lo gi c a l   lo c a ti ons w hi c h e lp s   pr e ve nt   d a ta   lo s s   f r om   ha r dw a r e   f a il ur e s T hi s   m e th od,  w he r e   m e ta d a ta   f unc ti ons   a s   a   m a in   di r e c to r y,  a s s is ts   in   f a s lo okups   a nd  ke e ps   a   hi gh  r a te   of   da ta   pr oc e s s in w hi le   c ut ti ng  dow on  de la ys   in   a c c e s s in da ta A ddi ti ona ll y,  us in g   m e ta da ta   e f f e c ti ve ly   he lp s   to   opt im iz e   s to r a ge   a nd  e nha nc e   f a ul to le r a nc e   s in c e   it   e na bl e s   ba c kgr ound  pr oc e s s e s   to   c h e c f or   a nd  f ix   is s ue s   e a r ly th us   im pr ovi ng  ov e r a ll   s ys te m   r e li a bi li ty   [ 9] [ 11] I f   th e r e   w e r e   no  s ol id   m e ta da ta   s y s te m s th e   e f f ic ie nc a nd  gr ow th   of   di r e c to r s e r vi c e s   w oul b e   s e r io us ly   a f f e c te d,   ne ga ti ve ly  i m pa c ti ng us e r  e xpe r ie nc e  a nd c om pa ny pr oduc ti vi t y.     4.4.    C h al le n ge s  i n  d ir e c t or y m an age m e n t   M a na gi ng  di r e c to r ie s   in   bi g   da ta   s to r a ge   s ys te m s li ke   F a c e book' s   H a ys t a c k c om e s   w it m a ny   c ha ll e nge s   th a ne e ha ndl in f or   s ys te m   e f f ic ie nc a nd  r e li a bi li ty A   m a jo r   pr obl e m   is   th e   ne e f or   qui c k   a c c e s s   to   m e ta da ta ,   w hi c is   e s s e nt ia f or   or ga ni z in a nd  r e tr ie vi ng  la r ge   da ta   s e ts W it m or e   th a n     260  bi ll io s to r e phot os   in   H a y s ta c k th e   di r e c to r m us h a ndl e   a nd  in de x   th is   d a ta   w e ll   to   a ll ow   f a s a c c e s s r e duc in de la ys   a nd  boos ti ng  pe r f or m a nc e A ls o,  ke e pi ng  da ta   c ons is te nt   a nd  e ns ur in in te gr it a c r os s   m a ny   phys ic a a nd l ogi c a vol um e s  g e ts  t r ic ki e r  a s  di r e c to r y s iz e s  gr o w s ys te m  f a il ur e s  c a n t hr e a t e n t hi s  i nt e gr it y i f   s tr ong  ba c kup  m e th ods   a r e   not   in   pl a c e   [ 9] M or e ove r th e   c ha ngi ng  na tu r e   of   us e r   a c ti on s s u c a s   upl oa ds   a nd  de le ti ons r e qui r e s   ongoing  upda te s   to   th e   di r e c to r y,  m a ki n m a na ge m e nt   m or e   c om pl ic a te a nd  n e e di ng  a dva nc e d a lg or it hm s  t o m a in ta in  l oa d a nd pe r f or m a nc e   [ 23] .     4.5.    I n n ovat io n s  i n  d ir e c t or y s e r vi c e s  w it h in   H ays t ac k   T he   im pr ove m e nt s   in   di r e c to r s e r vi c e s   in   th e   H a ys ta c k   a r c hi te c tu r e   gr e a tl im pr ove   how   phot o   s to r a ge   is   m a na ge a F a c e book.  T he   di r e c to r y,  w hi c is   c r uc ia f or   f in di ng   a nd  r e tr ie vi ng  im a ge s is   c a r e f ul ly   c r e a te to   r e duc e   la te nc a nd  in c r e a s e   th r oughput.   B us in a   di s tr ib ut e s e tu p,  th e   di r e c to r s e r vi c e  m a na ge s  m il li ons  of  photos  w hi le  pr ovi di ng  r e dunda nc y a c r os s  phys ic a vol um e s  t o pr e ve nt  da ta  l os s a   ke poi nt   in   th e   H a y s ta c k   m ode l.   A ddi ti ona ll y,  th e   di r e c to r y   in c lu de s   ba c kgr ound  ta s ks   th a s uppor e a r ly   de te c ti on  a nd  f ix in of   f a il ur e s w hi c e nha nc e s   th e   s tr e ngt h   of   th e   w hol e   s ys te m   [ 9] T hi s   a r c hi te c tu r e ' s   a bi li ty   to   ba la nc e   r e a a nd  w r it e   ta s ks   not   onl m a k e s   it   e a s ie r   to   a c c e s s   s to r e im a g e s   but   a ls o   he lp s   w it c os t - e f f e c ti ve   gr ow th m e e ti ng  th e   n e e ds   of   a e xpa ndi ng  u s e r   ba s e   [ 11] T h e r e f or e th e   ne w   m e th od   us e in   H a ys ta c k s  di r e c to r y s e r vi c e s   s how s  a dv a nc e d t e c hni qu e s  i n t he  de s ig n of  di s tr ib ut e d s ys te m s .       5.   C A C H I N G  S T R A T E G I E S  I N   H A Y S T A C K   T he   u s e   of   c a c hi ng  m e th ods   in   th e   H a ys ta c k   a r c hi te c tu r e   i s   e s s e nt ia f or   im pr ovi ng  pe r f or m a nc e   a nd  us e r   e xpe r ie nc e   in   F a c e book' s   la r ge   phot s to r a ge   s ys te m B us in a   di s tr ib ut e c a c he th e   a r c hi te c tu r e   de c r e a s e s   th e   num be r   of   d is ope r a ti ons w hi c he lp s   r e duc e   d e la ys   f r om   m e ta da ta   pr oc e s s in g,  a s   m e nt io ne in   [ 9] . T hi s  de c r e a s e  i s  i m por ta nt , c ons id e r in g t he  hi gh numbe r  of  photo r e tr ie va r e que s ts  t ha H a ys ta c k   d e a ls   w it e a c d a y. T he  a ddi ti on  of   a  c a c he   not   onl a ll ow s   qui c k   a c c e s s   to   popula r   im a ge s   but   a ls o   he lp s   m a na ge   r e a a nd  w r it e   ope r a ti ons   th r oughout   th e   s ys te m M or e ove r th e   de s ig of   th e   a r c hi te c tu r e   f oc us e s   on    c os t - e f f e c ti ve ne s s   w hi le   e n s ur in r e li a bi li ty hi ghl ig ht in it s   e f f ic ie nc y.  O ve r a ll th e   c a c hi ng  m e th od s   in   H a ys ta c k   r e pr e s e nt   a   s m a r w a to   m a na ge   da ta w hi c is   vi ta f or   F a c e book' s   goa of   pr ovi di ng  s m oot h   phot o a c c e s s  on a  l a r ge  s c a le   [ 24] , [ 25] .     5.1.    I m p or t an c e  o f  c ac h in g i n  d at a r e t r ie val   I da ta   r e tr ie va s ys te m s   th a a r e   c om pl e x,   c a c hi ng  is   a im por ta nt   to ol   th a he lp s   w it h   pe r f or m a nc e   a nd  e f f ic ie nc y.  C a c hi ng  c ut s   do w on  a c c e s s   de la y s   by  te m por a r il s a vi ng  da ta   th a is   a s k e f or   of te n,  Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i V ol 14 , N o.  3 S e pt e m be r   20 25 :   671 - 681   678   r e duc in th e   lo a on  m a in   s to r a ge   s y s te m s T hi s   c a be   s e e n   in   s ys te m s   li ke   F a c e book' s   H a y s ta c k w hi c h   ne e ds   f a s a nd  d e pe nda bl e   a c c e s s   to   a   va s num be r   of   im a ge s .   B us in a   di s tr ib ut e c a c h e H a y s ta c k   ge ts   hi gh  pe r f or m a nc e   w hi le   ke e pi ng  lo w   de la ys e f f e c ti ve ly   m a na gi ng  th e   im por ta nt   r e a a nd  w r it e   ta s ks   w hi le   m a ki ng  s ur e   us e r s   c a a c c e s s   c ont e nt   [ 9] A ddi ti ona ll y,  c a c hi n pl a ys   a   bi r ol e   in   le s s e ni ng  th e   to ta lo a on  s to r a ge   s ys te m s   be hi nd  th e   s c e n e s w hi c le ts   ta s k s   li ke   m e ta da ta   ha ndl in ha ppe m or e   qui c kl [ 11] T he r e f or e good  c a c hi ng  m e th ods   not   onl s p e e up  da ta   r e tr i e va but   a ls im pr ove   how   s c a l a bl e r e li a bl e a nd f a ul t - to le r a nt  m ode r n di s tr ib ut e d s ys te m s  a r e .     5.2.    T yp e s  of   c ac h in g m e c h an is m s  u s e d   C a c hi ng  m e th od s   a r e   im por ta nt   f or   im pr ovi ng  how   qui c kl d a ta   c a n   be   r e tr ie ve d   in   s y s te m s   li ke   F a c e book’ s   H a ys ta c k w hi c ne e d s   f a s a c c e s s   to   s to r e im a ge s O ne   ty pe   of   c a c hi ng ,   c a ll e di s tr ib ut e d   cach in g he lp s   de c r e a s e   de la y s   by   ke e pi ng   of te n - us e d a ta   o m a ny  node s m a ki ng   us e r   r e que s t s   qui c ke r .   A ls o, i n s e tu ps   s im il a r  t o t hos e  m e nt io ne d i [ 20] , c om bi ni ng both  dyna m ic  r a ndom - a c c e s s  m e m or y ( D R A M )   a nd  obj e c s to r a ge   in   c a c hi ng  s ys te m s   he lp s   b a la nc e   s pe e a nd  c os t.   T h e s e   ki nd s   of   hybr id   c a c hi ng  a ppr oa c he s   s how   how   d a ta   c a n   be   m a na g e w e ll   to   a dj u s to   c ha ngi ng  de m a nd,  e m pha s iz in th e   ne e f or   f le xi bl e   c a c he   s iz e   a nd  ty pe A s   c lo ud  a ppl ic a ti ons   c h a nge   of te n,  ne w   te c hni que s   li ke   m e m or opt im iz a ti on,  in c lu di ng  id e a s   f r om   e vol ut io na r a lg or it hm s   m e nt io ne in   [ 21] s how   pos s ib il it ie s   f or   be tt e r   r e s our c e   m a na ge m e nt  w it hout  hur ti ng s ys te m  pe r f or m a nc e . T he s e  m e th o ds  a r e  ke y t o ke e pi ng l a r ge - s c a le  da ta   s ys te m s   w or ki ng w e ll  a nd a c c e s s ib le  w hi le  de a li ng w it h t he  c om pl e xi ti e s  of  m ode r n da ta  s tr uc tu r e s .     5.3.    C ac h e  c on s is t e n c y an d  i n val id at io n  t e c h n i q u e s   I s ys te m s   th a s to r e   da ta   a c r os s   m a ny  lo c a ti ons li ke   H a ys ta c k ke e pi ng  c a c he   c on s is te nt   a nd   ha ndl in in va li da ti on  m e th ods   w e ll   is   ve r im por ta nt   f or   da t a   c or r e c tn e s s   a nd  pe r f or m a nc e W he m a ny   c li e nt s   us e   th e   s a m e   da ta   a th e   s a m e   ti m e pr obl e m s   c a n   c om e   up,  w hi c m a r e s ul t   in   out da te or   in c or r e c da ta   be in s how n.  T s ol ve   th is m e th ods   s uc a s   w r it e - th r ough  a nd  w r it e - ba c c a c hi ng  c a be   us e d,  w it e a c ha vi ng  di s ti nc pr os   a nd  c ons   r e la te to   s pe e a nd  th e   u s e   of   r e s our c e s A ls o,  th e r e   a r e   s tr a te gi e s   f or   in va li da ti on  th a a r e   e it he r   pr oa c ti ve   or   r e a c ti ve w hi c a r e   vi ta f or   m a na gi ng  th e   c a c he P r oa c ti ve   in va li da ti on  upda te s   or   de le te s   c a c h e da ta   a he a of   ti m e   ba s e on  s e r ul e s w h e r e a s   r e a c ti ve   s tr a te gi e s   r e ly   on  a le r ts   th a oc c ur   w he da ta   c h a nge s th u s   he lp in w it ba n dw id th   us e   a nd  lo w e r in th e   c os t s   of   ke e pi ng  c a c he   c on s is te nt B ui ld in a   s tr ong  c a c hi ng  s y s te m li ke   th e   o ne   in   H a ys ta c k not   onl boos t s   pe r f or m a nc e   a nd  r e duc e s   de la but   a ls he lp s   ta c kl e   th e   is s ue s   th a c om e   w it e ns ur in r e li a bl e   a c c e s s   to   la r ge   da ta   c ol le c ti ons , ba c ki ng t he   s ys te m s  m a in  a im  of  be in g e f f ic ie nt  a n d s c a la bl e   [ 11] .     5.4.    I m p ac t  of   c ac h in g on  s ys t e m  p e r f or m an c e   C a c hi ng  m e th od s   a r e   ve r im por ta nt   f or   m a ki ng  s y s te m s   r un  be tt e r   by  lo w e r in d e la a nd   us in g   r e s our c e s   m or e   e f f ic ie nt ly B ke e pi ng  da ta   th a is   a c c e s s e o f te in   a   qui c k - a c c e s s   c a c h e a ppl ic a ti ons   c a n   c ut   dow on  th e   e xt r a   w or th a c om e s   w it r e a di ng  f r om   di s ks   a nd  boos ove r a ll   pe r f or m a nc e F or   e xa m pl e in   F a c e book’ s   H a ys ta c k   s e tu p,  a ddi ng  a   di s tr ib ut e c a c he   he lp e th e   s ys te m   s e nd  out   ove r   260  bi ll io phot os   w it li tt le   de la y,  f ix in bi pr obl e m s   f ound  in   ol de r   N A S T hi s   s m a r c a c hi ng  u s e   not   onl s pe e ds   up  da t a   a c c e s s   but   a ls r e duc e s   pr e s s ur e   on  ba c ke nd  s to r a ge   to ol s ,   le a di ng  to   be tt e r   r e s pons e   ti m e s   a nd  us e r   s a ti s f a c ti on  [ 9] F ur th e r m or e a   good  c a c hi ng  pl a he lp s   c r e a te   a   be tt e r   ba la nc e   be twe e r e a di ng  a nd  w r it in da ta w hi c in c r e a s e s   r e li a bi li ty   a nd   ope r a ti ona e f f e c ti ve ne s s   [ 13] T he r e f or e us in g   c a c hi ng   is   k e f or   s tr ong  da ta  ha ndl in g i n l a r ge , s pr e a d - out  s ys t e m s .     5.5.    F u t u r e  t r e n d s  i n  c ac h in g s t r at e gi e s  f or   H ays t ac k   T he   ne e f or   e f f e c ti ve   da ta   a c c e s s   i s   gr ow in g,  a nd  f ut ur e   tr e nds   in   c a c hi ng  f or   H a ys ta c k   ne e to   c ons id e r   th e   c ha ngi ng  s to r a ge   s ol ut io la nds c a pe O ne   us e f ul   a ppr oa c is   us in a r ti f ic ia in te ll ig e nc e   a nd  m a c hi ne   le a r ni ng  to   im pr ove   c a c he   m a na ge m e nt T hi s   w oul l e us   a na ly z e   da ta   a c c e s s   pa tt e r ns   in   r e a l   ti m e   a nd  f il c a c he s   pr oa c ti ve ly .   T hi s   ki nd  of   pr e di c ti ve   c a c hi ng  c ou ld   lo w e r   la te nc y   a nd  boo s th r oughput,  w hi c h   f it s   w e ll   w it H a ys ta c k s   c ur r e nt   de s ig th a s uppor ts   bi ll i ons   of   phot os   w hi le   c ut ti ng  dow on   di s k   ope r a ti ons   a nd   m e ta da ta   ha ndl in g.  I a ddi ti on,   us in a dva nc e di s tr ib ut e c a c hi ng  m e th ods ,   li ke   m ul ti - ti e r   a r c hi te c tu r e s c a n   he lp   s pr e a out   th e   lo a a m ong  nod e s m a ki ng  th e   s y s te m   m or e   f a ul t - to le r a nt   a nd  r e s il ie nt   to   ha r dw a r e   is s ue s   [ 9] L a s tl y,  lo oki ng  in to   e dge   c om put in c oul e nha nc e   H a ys ta c k ' s   a bi li ti e s   by  pl a c in c a c he d r e s our c e s  ne a r e r  t o us e r s  f or  qui c ke r  da ta  a c c e s s , l e a di n g t o a  m or e  e f f ic ie nt  s ys te m  ove r a ll   [ 26] .       6.   C O N C L U S I O N   I f in is hi ng  th e   lo ok  a t   F a c e book' s   H a ys ta c k - ba s e da ta   s to r a ge   s ys te m it   is   c le a r   th a th is   ne w   s e tu m a r ks   a   bi g   s te p   f or w a r in   m a na gi ng  d a ta   a t   s c a le T he   a r c hi te c tu r e   s uc c e s s f ul ly   de a ls   w it th e   is s u e s   Evaluation Warning : The document was created with Spire.PDF for Python.
I nt  J  A dv A ppl  S c i     I S S N :   2252 - 8814       H ay s ta c k - bas e d F ac e book s  dat a s to r age  ar c hi te c tu r e :  s to r e , di r e c to r y , and  c ac he  ( T ol e  Sut ik no)   679   c a us e by   th e   huge   a m ount   of   u s e r - c r e a te c ont e nt ,   pa r ti c ul a r ly   in   r e la ti on  to   s to r in a nd  f in di ng  phot os B y   s pr e a di ng  s to r a ge   ove r   di f f e r e nt   phys ic a vol um e s   a nd   us in g   a   s tr ong  c a c hi ng  s y s te m H a ys ta c k   r e duc e s   m e ta da ta   lo a a nd  boos t s   th r oughput,  w hi c he lp s   in   a c c e s s in bi ll io ns   of   phot os A ls o,  th e   us e   of   pr oa c ti ve   ba c kgr ound  ta s k s   to  c he c k a nd  f ix  s ys te m   f a il ur e s   s how s   th e   a r c hi te c tu r e ' s   f oc us   on  be in g   r e li a bl e   a nd   a bl e   to   ha ndl e  f a ul ts . T he s e  f e a tu r e s  not  onl y i m pr ove  how  w e ll  i w or ks  but  a ls o he lp  ke e p c o s ts  dow n, w hi c h i s  pa r of   a   bi gge r   tr e nd  in   c lo ud  c om put in to w a r d   us in c he a p,  r e gul a r   ha r dw a r e I th e   e nd,  H a ys ta c k   s ta nds   out   a s   a   s tr ong  e x a m pl e   of   us in g   s m a r a r c hi te c tu r a m e th ods   to   s a ti s f th e   c ha ngi ng   ne e d s   of   a ppl ic a ti ons   th a t   us e   a   lo of   da ta F a c e book' s   H a ys ta c k   da ta   s to r a ge   s ys te m   i s   a   gr oundbr e a ki ng  s ol ut io f or   m a na gi ng  la r ge   a m ount s   of   di gi ta m e di a I ts   de s ig c om bi ne s   s to r a ge di r e c t or y,  a nd  c a c he   pa r ts r e s ul ti ng  in   hi ghe r   da ta   f lo w   a nd  le s s   w a it in ti m e   f or   a c c e s s in phot os T he   s ys t e m   r e duc e s   di s us e   a nd  im pr ove s   m e ta da ta   ha ndl in g,  a ddr e s s in de la ys   in   ol de r   ne twor k - a tt a c he s to r a g e   s ys te m s T he   s y s te m   a ls e m pl oys   r obus t   ba c kup  m e th ods   to   e ns ur e   da ta   s a f e ty r e gul a r ly   c opyi ng   m il li ons   of   phot os   to   pr e ve nt   ha r dw a r e   is s ue s T he   H a ys ta c k   a r c hi te c tu r e   s ig ni f ic a nt ly   e nha n c e s   di s tr ib ut e s y s te m s   d e s ig n,  s e tt in a   s ta nd a r f or   f ut ur e   a dva nc e m e nt s   in   da t a  s to r a ge   m e th od s I out pe r f or m s   ol m e th ods   li ke   N A S w hi c h   c a f a c e  s lo w dow ns   a nd   is s ue s   unde r   he a vy  us e T h e   c om bi na ti on  of   th e   H a ys ta c k   s to r e di r e c to r y,  a nd  c a c he   m a ke s   phot r e tr ie va l   e a s ie r , i nc r e a s in g s pe e d a nd l ow e r in g de la ys . T hi s  s ys t e m  m e e ts  t oda y' s  r e qui r e m e nt s  f or  qui c k da ta  a c c e s s  i c lo ud  c om put in g,  hi ghl ig ht in th e   ne e f or   f le xi bl e   c a c hi ng  m e th ods H ow e ve r th e r e   a r e   s hor tc om in gs   in   c ur r e nt   r e s e a r c h,  s u c a s   th e   la c of   r e a l - w or ld   te s ti ng  on   th e   s ys te m ' s   s c a la bi li ty   unde r   he a vy  u s a ge   a nd  th e   c om pl e xi ti e s   of   va r io us   da ta   ty pe s   a nd   a c c e s s   be ha vi or s   in   a   f a s t - c ha ngi ng  s o c ia m e di a   e nvi r onm e nt F ut ur e   s tu di e s   s houl e xpl or e   be tt e r   de s ig ns   f or   bi s to r a ge   s ys te m s f oc us in on  ne w   m e th ods   th a r e duc e   m e ta da ta   pr oc e s s in g, a r ti f ic ia in te ll ig e nc e  f or  f a ul de te c ti on a nd r e pa ir s ,  a nd t he  c os e f f e c ts  of  di s tr ib ut e d c a c h e s T he   s hi f f r om   ol da ta   s to r a ge   m ode ls   to   ne w   s ys t e m s   hi ghl ig ht s   th e   ne e f or   f le xi bl e   s ol ut io ns   th a c a s ol ve   to da y' s   s to r a ge   pr obl e m s   a nd  pr e pa r e   f or   f ut ur e   r e qui r e m e nt s   a s   da ta   gr ow s F oc us in on  ba c kup  m e a s ur e s   a nd  pr e ve nt iv e   upke e in   th e s e   s ys te m s   h e lp s   pr ot e c a g a in s ha r dw a r e   is s ue s e ns ur in da t a   r e li a bi li ty   a nd  a va il a bi li ty  i n m or e  c om pl e x di gi ta e nvi r onm e nt s .       A C K N O WL E D G M E N T S   T he   a ut hor s   w oul li ke   to   e xpr e s s   th e ir   gr a ti tu de   to   U ni ve r s it a s   A hm a D a hl a n   ( U A D ) th e   E m be dde S ys te m   a nd  P ow e r   E le c tr oni c s   R e s e a r c h   G r ou ( E S P E R G ) U ni ve r s it a s   P a le m ba ng,  a nd   I nt e r na ti ona I s la m ic   U ni ve r s it M a la y s ia   ( I I U M )   f or   th e ir   in va lu a bl e   s uppor a nd  c ont r ib ut io ns   to   th is   r e s e a r c h. T he  f a c il it ie s , gui da nc e , a nd c ol la bor a ti ve  e nvi r onm e nt  pr ovi de d by the s e  i ns ti tu ti ons  w e r e  e s s e nt ia to  t he  s uc c e s s f ul  c om pl e ti on a nd publi c a ti on of  t hi s  w or k.       F U N D I N G  I N F O R M A T I O N   T he   r e s e a r c w a s   f unde by  P T I nt e le kt ua P us ta ka   M e di a   U ta m a   ( I P M U )   unde r   c ont r a c num be r   09/ R S T - E /I P M U /I /2 024, whic h s uppor te d t he  f a c il it a ti on of  t hi s  w or k.       A U T H O R  C O N T R I B U T I O N S  S T A T E M E N T   T hi s   jo ur na us e s   th e   C ont r ib ut or   R ol e s   T a xonomy  ( C R e di T )   to   r e c ogni z e   in di vi dua l   a ut hor   c ont r ib ut io ns , r e duc e  a ut hor s hi p di s put e s a nd f a c il it a te  c ol la bo r a ti on.     N am e  o f   A u t h or   C   M   So   Va   Fo   I   R   D   O   E   Vi   Su   P   Fu   T ol e  S ut ik no                               A hm a d H e r ya nt o                               L a ks a na  T a le nt a  A hm a d                                 C     C onc e pt ua l i z a t i on   M     M e t hodol ogy   So     So f t w a r e   Va     Va l i da t i on   Fo     Fo r m a l  a na l ys i s   I     I nve s t i ga t i on   R     R e s our c e s   D   :   D a t a  C ur a t i on   O   :   W r i t i ng  -   O r i gi na l  D r a f t   E   :   W r i t i ng  -   R e vi e w  &   E di t i ng   Vi     Vi s ua l i z a t i on   Su     Su pe r vi s i on   P     P r oj e c t  a dm i ni s t r a t i on   Fu     Fu ndi ng a c qui s i t i on         C O N F L I C T  O F  I N T E R E S T  S T A T E M E N T   A ut hor s  s ta te  no c onf li c of  i nt e r e s t.       Evaluation Warning : The document was created with Spire.PDF for Python.
            I S S N :   2252 - 8814   I nt  J  A dv A ppl  S c i V ol 14 , N o.  3 S e pt e m be r   20 25 :   671 - 681   680   I N F O R M E D  C O N S E N T   T hi s   s tu dy  doe s   not   in vol ve   di r e c in te r a c ti on  w it in di vi dua ls T he r e f or e in f or m e c ons e nt   is   not   ne c e s s a r y, a s  t he  r e s e a r c h r e li e s  on publi c ly  a va il a bl e  da ta .       E T H I C A L  A P P R O V A L   T hi s   s tu dy  doe s   not   in c lu de   a ny  hum a or   a ni m a pa r ti c ip a n ts th e r e f or e e th ic a a ppr ova l   is   not   r e qui r e d f or  t hi s  a r ti c le .       D A T A  A V A I L A B I L I T Y   D a ta   a va il a bi li ty   is   not   a ppl ic a bl e   to   th is   pa pe r   a s   no  ne w   da ta   w e r e   c r e a te or   a na ly z e in   th is   s tu dy.       R E F E R E N C E S   [ 1]   S M ur a l i dha r   e t   al . F 4:   F a c e book’ s   w a r m   bl ob  s t or a ge   s ys t e m ,”   i P r oc e e di ngs   of   t he   11t U SE N I X   Sy m pos i um   on  O pe r at i ng   Sy s t e m s   D e s i gn  and  I m pl e m e nt at i on,  O SD I   2014 F a c e book  I nc .:   U S E N I X   A s s oc i a t i on,  2014,  pp.  383 398.  [ O nl i ne ] A va i l a bl e :   ht t ps : / / w w w .s c opus . c om / i nw a r d/ r e c or d.ur i ? e i d=2 - s 2.0 - 85075667407& pa r t ne r I D =40&m d5=e 9934c 5a 1b372c b2303f a 5729c 992512   [ 2]   M V B a r be r a S B r onz i ni A M e i a nd  V .   C P e r t a A   ne e dl e   i t h e   ha ys t a c k - de l a ba s e us e r   i de nt i f i c a t i on  i c e l l ul a r   ne t w or ks ,”   i L e c t ur e   N ot e s   i C om put e r   Sc i e nc e   ( i nc l udi ng  s ubs e r i e s   L e c t ur e   N ot e s   i A r t i f i c i al   I nt e l l i ge nc e   and  L e c t ur e   N ot e s   i n B i oi nf or m at i c s ) , S a pi e nz a  U ni ve r s i t y, R om e , I t a l y:  S pr i nge r  V e r l a g, 2014, pp. 265 267. doi :  10.1007/ 978 - 3 - 319 - 04918 - 2_27.   [ 3]   A R S æ t na n,  T he   H a ys t a c f a l l a c y,  or   w hy  bi da t a   p r ovi de s   l i t t l e   s e c ur i t y,”   i T he   P o l i t i c s   of   B i D at a:   B i D at a,   B i g   B r ot he r ? N or w e gi a U ni v e r s i t of   S c i e nc e   a nd  T e c hnol ogy,  T r ondhe i m N or w a y:   T a yl or   a nd  F r a nc i s 2018,  pp.   21 38.     doi :  10.4324/ 9781315231938 - 2.   [ 4]   J M a c C or m i c k,  N i n e   al gor i t hm s   t hat   c hange t he   f ut ur e :   t he   i nge ni ous   i de as   t hat   dr i v e   t oday c om put e r s .   D i c ki ns on   C ol l e ge ,   U ni t e d S t a t e s :  P r i nc e t on U ni ve r s i t y P r e s s , 2020. doi :  10.5860/ c hoi c e .49 - 5106.   [ 5]   J Y i n,  H Z hu,  a nd  P C V i nh,  F or m a l i z a t i on  a nd  a na l ys i s   of   H a y s t a c a r c h i t e c t ur e   f r om   pr oc e s s   a l ge br a   pe r s pe c t i ve ,”   M obi l e   N e t w or k s  and A ppl i c at i ons , vol . 25, no. 3, pp. 1125 1139, 2020, doi :  10.1007/ s 11036 - 019 - 01433 - 1.   [ 6]   D . B e a ve r , S . K um a r , H .  C L i , J . S obe l , a nd P . V a j ge l F i ndi ng a  ne e dl e  i n   H a ys t a c k F a c e book’ s  phot o s t or a ge ,”  i n   P r oc e e di ng s   of   t he   9t h   U SE N I X   Sy m pos i um   on  O pe r at i ng  Sy s t e m s   D e s i gn  and  I m pl e m e nt at i on,  O SD I   2010 ,   F a c e book  I nc . U ni t e S t a t e s :   U S E N I X   A s s oc i a t i on,  2019,  pp.  47 60.  [ O nl i ne ] A va i l a bl e :   ht t ps : / / w w w .s c opu s .c om / i nw a r d/ r e c or d.ur i ? e i d=2 - s 2.0 - 85076926134& pa r t ne r I D =40&m d5=c 5b6b2216da bf 1e 3748392c 69d237b5e   [ 7]   S C om f or t   e t   al . S o r t i ng  t hr ough   t he   s a f e t da t a   H a ys t a c k :   us i ng  m a c hi ne   l e a r ni ng  t i de nt i f i ndi v i dua l   c a s e   s a f e t r e por t s   i n   s oc i a l - di gi t a l  m e di a ,”   D r ug Saf e t y , vol . 41, no. 6, pp. 579 590, 2018, doi :  10.1 007/ s 40264 - 018 - 0641 - 7.   [ 8]   D C unha N G ui m a r ã e s a nd  Á F i gue i r a A a r c hi t e c t ur e   f or   a   c ont i nuo us   a nd  e xpl or a t or a na l ys i s   on  s oc i a l   m e di a ,”   i n   P r oc e e di ngs   of   t he   I nt e r nat i onal   C onf e r e nc e s   on  C om put e r   G r aphi c s V i s ua l i z at i on,  C om put e r   V i s i on  and  I m age   P r oc e s s i ng   2017  and  B i D at A nal y t i c s D at M i ni ng  and  C o m put at i onal   I nt e l l i ge nc e   2017  -   P ar t   of   t he   M ul t i   C onf e r e n c e   on  C om put e r   Sc i e nc e   and  I nf o R L .,  X Y .,  a nd  A A .P .,  E ds .,  C R A C S   /   I N E S C   T E C   a nd  U ni ve r s i da de   D P or t o,  R ua   do  C a m po  A l e gr e   1021/ 1055,  P or t o,  4169 - 007,  P o r t uga l :   I A D I S 2017,   pp.  339 342.  [ O nl i ne ] A va i l a bl e :   ht t ps : / / w w w .s c opus . c om / i nw a r d/ r e c or d.ur i ? e i d=2 - s 2.0 - 85040191575& pa r t ne r I D =40&m d5=bf e 7796f 7223a 45e 3bc 65df f 1f a 5a 929   [ 9]   S hi va ng, “ F a c e book’ s  phot o s t or a ge  a r c hi t e c t ur e .”  2024. [ O nl i ne ] . A va i l a bl e :  h t t ps : / / s hor t ur l .a t / 8X V z Y   [ 10]   T N M our a t i di s O pt i m i z i ng  t he   r e c ove r of   da t a   c ons i s t e nc gos s i a l gor i t hm s   on  di s t r i but e obj e c t - s t or e   s ys t e m s   (   c e ph  )   β ε λ τ ι σ τ οπ οί η σ η   α λ γ ορ ί θ μ ου   φ λ υ α ρ ί α ς   γ ι α   σ υ ν ε π ή   δε δομ έ ν α   σ ε   κ α τ α ν ε μ η μ έ ν α   σ υ σ τ ή μ α τ α   α π οθ ή κ ε υ σ η ς   α ν τ ι κ ε ι μ έ ν ων   (   c e ph  ) ,”   N a t i ona l  a nd K a podi s t r i a n U ni ve r s i t y of  A t he ns , 2020.   [ 11]   L G e or ge H B as e   t he   de f i ni t i v e   gui de r andom   ac c e s s   t y ou r   pl an e t - s i z e   dat a O R e i l l M e di a 2011.  [ O nl i ne ] .     A va i l a bl e :  ht t ps : / / books .googl e .c o.i d/ books ? i d=nU hi Q xU X V pM C   [ 12]   B E l l i s R e al - t i m e   anal y t i c s :   t e c hni que s   t anal y z e   and  v i s ual i z e   s t r e am i ng  dat a W i l e y,  2014.  [ O nl i ne ] .     A va i l a bl e :  ht t ps : / / books .googl e .c o.i d/ books ? i d=D F nO A w A A Q B A J   [ 13]   M J F r a nkl i n,  C l i e nt   dat c ac hi ng:   f oundat i on  f o r   hi gh  pe r f or m anc e   obj e c t   dat abas e   s y s t e m s i T he   S pr i nge r   I nt e r na t i ona l   S e r i e s   i E ngi ne e r i ng  a nd  C om put e r   S c i e nc e S pr i nge r   U S 2011.  [ O nl i ne ] A va i l a bl e :   ht t ps : / / books .googl e .c o.i d/ books ? i d=dr c K s w E A C A A J   [ 14]   M H F e t   al . ,   S t udy  a nd   i m pl e m e nt a t i on  of   know l e dge - ba s e i nnova t i ve   s oc i a l   m e di a   s e r vi c e s ,”   I C I C   E x pr e s s   L e t t e r s vol 9,  no.  3,  pp.  759 765,   2015,  [ O nl i ne ] A va i l a bl e :   ht t p s : / / w w w .s c opu s .c om / i nw a r d/ r e c or d.ur i ? e i d=2 - s 2.0 - 84924067908& pa r t ne r I D =40&m d5=3298373e 92d8299b8e 4c 4230ddb01d88   [ 15]   K R K r i s h,  A A nw a r a nd  A R B ut t H a t S :   a   he t e r oge ne i t y - a w a r e   t i e r e s t or a ge   f or   ha doop,”   i P r oc e e di ngs   -   14t h   I E E E / A C M   I nt e r nat i onal   Sy m pos i um   on  C l us t e r C l oud,  and  G r i C om put i ng,   C C G r i 2014 D e p a r t m e nt   of   C om put e r   S c i e nc e ,   V i r gi ni a  T e c h, B l a c ks bur g, V A , U ni t e d S t a t e s :  I E E E  C om put e r  S oc i e t y, 2014,  pp. 502 511. doi :  10.1109/ C C G r i d.2014.51.   [ 16]   P F om pe yr i ne C a c he   m ode l   pl ugi n   f or   m e m or y   hi e r a r c hy  a w a r e   pr ogr a m m i ng,”   E T H   Z ur i c h,  2020.     doi :  ht t ps : / / doi .or g/ 10.3929/ e t hz - b - 000431675.   [ 17]   S C ha R N T a yl or a nd  K K a ng,  H andbook   of   s of t w a r e   e ngi ne e r i ng .   C ha m :   S pr i nge r   I nt e r na t i ona l   P ubl i s hi ng,  2019.    doi :  10.1007/ 978 - 3 - 030 - 00262 - 6.   [ 18]   K D M c C r a c ke n,   F l e x i bl e   and   r obus t   dat s t or age   and  r e t r i e v al   i t he   hay s t ac k   s y s t e m .   M a s s a c hus e t t s   I ns t i t ut e   of   T e c hnol ogy ,   D e pa r t m e nt   of   E l e c t r i c a l   E ngi ne e r i ng  a nd  C om put e r   S c i e nc e 2001.  [ O nl i ne ] .     A va i l a bl e :  ht t ps : / / books .googl e .c o.i d/ books ? i d=0bhL O A A A C A A J   [ 19]   A S i m e unovi c   a nd  U T r i punovi c M a na gi ng  m i c r f r ont e nds   a c r os s   m ul t i pl e   t e c s t a c k s   -   s h a r i ng,  f i ndi ng  a nd   publ i s hi ng,”   L und U ni ve r s i t y, 2023. [ O nl i ne ] . A va i l a bl e :  ht t p s : / / l up.l ub.l u.s e / s t ude nt - pa pe r s / s e a r c h/ publ i c a t i on/ 9128849       Evaluation Warning : The document was created with Spire.PDF for Python.