Ni nini kupunguza kwa ufunguo?
Ni nini kupunguza kwa ufunguo?

Video: Ni nini kupunguza kwa ufunguo?

Video: Ni nini kupunguza kwa ufunguo?
Video: Mtoto kucheza tumboni | Ni sababu zipi hupelekea Mtoto kutocheza au kuacha kucheza tumboni?? 2024, Mei
Anonim

Chaguo za kukokotoa za RDD reduceByKey huunganisha thamani kwa kila moja ufunguo kwa kutumia ushirika kupunguza kazi. Hiyo ina maana kwamba, chaguo hili la kukokotoa hutoa matokeo sawa wakati inatumika mara kwa mara kwenye seti moja ya data ya RDD iliyo na sehemu nyingi bila kujali mpangilio wa kipengele.

Halafu, kuna tofauti gani kati ya groupByKey na reduceByKey?

groupByKey () ni kupanga tu hifadhidata yako kulingana na ufunguo. kupunguzaByKey () ni kitu kama kupanga + mkusanyiko. kupunguzaByKey inaweza kutumika tunapotumia seti kubwa ya data. aggregateByKey() kimantiki ni sawa na kupunguzaByKey () lakini hukuruhusu kurudisha matokeo tofauti aina.

Pia Jua, kwa nini kupunguza ni hatua katika cheche? Kupunguza cheche operesheni ni kitendo aina ya operesheni na inasababisha utekelezaji kamili wa DAG kwa maagizo yote ya uvivu. Cheche RDD kupunguza kipengele cha kukokotoa hupunguza vipengele vya RDD hii kwa kutumia opereta badilishi maalum na shirikishi. Kupunguza cheche operesheni ni karibu sawa na kupunguza mbinu katika Scala.

Kando na hapo juu, Pairdd ni nini?

Spark hutoa shughuli maalum kwenye RDD zilizo na jozi muhimu/thamani. RDD hizi huitwa RDD jozi. RDD za Jozi ni nyenzo muhimu katika programu nyingi, kwani zinafichua utendakazi unaokuruhusu kutenda kwa kila ufunguo sambamba au kupanga upya data kwenye mtandao. JoziRDD ni jozi KEY/VALUE.

Je, reduceByKey ni kitendo?

reduce() hutoa mkusanyiko ambao hauongezi kwenye grafu ya acyclic iliyoelekezwa (DAG) hivyo inatekelezwa kama kitendo . Hata hivyo, kupunguzaByKey () inarudisha RDD ambayo ni kiwango/jimbo lingine tu katika DAG, kwa hivyo ni mabadiliko.

Ilipendekeza: