Spark ya utangazaji ni nini?
Spark ya utangazaji ni nini?

Video: Spark ya utangazaji ni nini?

Video: Spark ya utangazaji ni nini?
Video: MySpace (feat. Wisin & Yandel) 2024, Novemba
Anonim

Tangaza vigezo katika Apache Cheche ni utaratibu wa kushiriki vigeu katika watekelezaji ambavyo vinakusudiwa kusomwa pekee. Bila matangazo Vigezo vigeu hivi vitasafirishwa kwa kila mtekelezaji kwa kila mabadiliko na hatua, na hii inaweza kusababisha uendeshaji wa mtandao.

Pia kujua ni, ni lini ninapaswa kutangaza cheche?

Tangaza vigezo hutumika zaidi wakati kazi katika hatua nyingi zinahitaji data sawa au wakati uhifadhi wa data katika fomu iliyoondolewa inahitajika. Tangaza anuwai huundwa kwa kutumia v kutofautisha kwa kupiga SparkContext.

Mtu anaweza pia kuuliza, jinsi kikusanyaji hufafanua cheche? Vilimbikizo ni viambajengo ambavyo "huongezwa" tu kwa njia ya utendakazi shirikishi na kwa hivyo vinaweza kuungwa mkono vyema sambamba. Zinaweza kutumika kutekeleza vihesabio (kama ilivyo kwenye MapReduce) au hesabu. Cheche asili inasaidia wakusanyaji ya aina za nambari, na watayarishaji programu wanaweza kuongeza usaidizi kwa aina mpya.

Pia, ni nini kinachoshirikiwa kutofautiana katika cheche?

Vigezo vilivyoshirikiwa ni vigezo ambazo zinahitajika kutumiwa na utendaji na mbinu nyingi sambamba. Vigezo vilivyoshirikiwa inaweza kutumika katika shughuli sambamba. Cheche hutenganisha kazi hiyo katika operesheni ndogo kabisa, kufungwa, inayoendeshwa kwenye nodi tofauti na kila moja ikiwa na nakala ya sehemu zote. vigezo ya Cheche kazi.

Je, tunaweza kutangaza DataFrame?

Cheche unaweza “ matangazo ” ndogo DataFrame kwa kutuma data zote kwa hiyo ndogo DataFrame kwa nodi zote kwenye nguzo. Baada ya ndogo DataFrame ni kutangazwa , Cheche unaweza fanya kujiunga bila kuchanganya data yoyote katika kubwa DataFrame.

Ilipendekeza: