Orodha ya maudhui:

Ninaweza kukimbia Python kwenye Hadoop?
Ninaweza kukimbia Python kwenye Hadoop?

Video: Ninaweza kukimbia Python kwenye Hadoop?

Video: Ninaweza kukimbia Python kwenye Hadoop?
Video: Создание приложений для мобильных устройств, игр, Интернета вещей и многого другого с помощью AWS DynamoDB, автор Рик Хулихан. 2024, Mei
Anonim

Na chaguo kati ya lugha za programu kama Java, Scala na Chatu kwa Hadoop mfumo wa ikolojia, watengenezaji wengi hutumia Chatu kwa sababu ya maktaba zake zinazosaidia kwa kazi za uchanganuzi wa data. Hadoop utiririshaji huruhusu mtumiaji kuunda na kutekeleza Ramani/Punguza kazi na hati yoyote au inayoweza kutekelezwa kama mpanga ramani au/na kipunguzaji.

Vile vile, inaulizwa, Python inaunganishwaje na Hadoop?

Kuunganisha Hadoop HDFS na Python

  1. Hatua ya 1: Hakikisha kuwa Hadoop HDFS inafanya kazi kwa usahihi. Fungua Terminal/Command Prompt, angalia ikiwa HDFS inafanya kazi kwa kutumia amri zifuatazo: start-dfs.sh.
  2. Hatua ya 2: Sakinisha maktaba ya libhdfs3.
  3. Hatua ya 3: Sakinisha maktaba ya hdfs3.
  4. Hatua ya 4: Angalia ikiwa muunganisho na HDFS umefaulu.

Vivyo hivyo, Hadoop katika Python ni nini? Chatu ni madhumuni ya jumla ya kugeuza lugha kamili ya programu ambayo inaweza kutumika kufanya karibu kila kitu katika ulimwengu wa programu. Hadoop ni mfumo mkubwa wa data ulioandikwa katika Java kushughulikia idadi kubwa ya data. Kuna taasisi nyingi za mtandaoni ambazo Hadoop na Chatu kozi kama vile: Analytixlabs. Edureka.

Baadaye, swali ni, ninaendeshaje programu ya Python MapReduce huko Hadoop?

Kuandika Programu ya Kupunguza Ramani ya Hadoop Katika Python

  1. Kuhamasisha.
  2. Tunachotaka kufanya.
  3. Masharti.
  4. Ramani ya PythonKupunguza Nambari. Hatua ya ramani: mapper.py. Punguza hatua: reducer.py.
  5. Kuendesha Nambari ya Python kwenye Hadoop. Pakua data ya ingizo ya mfano. Nakili data ya mfano wa ndani kwa HDFS.
  6. Msimbo wa Ramani na Kipunguzaji Ulioboreshwa: kwa kutumia viboreshaji vya Python na jenereta. ramani.py. reducer.py.

Mtungi wa Utiririshaji wa Hadoop ni nini?

Hadoop usambazaji hutoa matumizi ya Java inayoitwa Utiririshaji wa Hadoop . Imewekwa katika a jar faili. Na Utiririshaji wa Hadoop , tunaweza kuunda na kuendesha kazi za Ramani ya Punguza kwa hati inayoweza kutekelezwa. Utiririshaji wa Hadoop ni shirika linalokuja na Hadoop usambazaji. Inaweza kutumika kutekeleza programu kwa uchambuzi mkubwa wa data.

Ilipendekeza: