Mengambil nilai Kurs (web scraping) dengan NodeJS

Halo, hari ini saya mau sharing tentang bagaimana cara membuat bot web scrapping dengan NodeJS.

Berawal dari keinginan saya untuk mencoba membuat sebuah aplikasi dimana pada form tertentu, user harus mengambil Kurs USD yang up-to-date dari website BI. Ditambah lagi dengan rasa penasaran saya tentang NodeJS akhirnya saya secara tidak sengaja membuat satu tutorial singkat ini.

The case is.. User ingin mengkonversi dari nilai USD ke IDR namun karena user ini berada di intranet, dia tidak dapat memiliki access ke internet (for secutiry reason). What we need is.. User dapat melihat nilai kurs hari ini dan mengkonversinya ke kurs IDR. Sumber kurs harus dari BI. What we do is.. Server mengakses website BI, mengambil salah satu halaman di sana, mengambil element table kurs, mengkonversi dari table ke array, return value sebagai JSON.

Install the NodeJS:

  1. Firstly, we need the NodeJS of course. Download di sini (https://nodejs.org/en/download/) Pilih package yang sesuai (saya menggunakan Windows 64-bit). Install and follow the instruction.
  2. Buatlah folder baru untuk pengembangan aplikasinya misal di D:\NodeJS
  3. Klik start > All programs > Node.js > Node.js command prompt
  4. We need to install a required modules. Modulenya adalah request dan cheerio. Jadi, go to the developing path (D:\NodeJS). Ketik “d: ; cd d:\nodejs”
  5. Ketik “npm install request cheerio”
  6. Tunggu beberapa saat karena npm akan mengunduh module-module tadi.
  7. Setelah selesai, akan muncul directory baru di folder tadi namanya “node_modules”.

Create the code:

  1. Create a new file “kursbi.js”
  2. Open it and apply a new code:
  3. Save it!

Test run:

  1. Masih dalam Node.js command prompt tadi ketik “node kursbi.js”
  2. Akan terasa NodeJS berhenti sesaat karena NodeJS sedang mengambil page dari web BI lalu mengolahnya.
  3. Akan keluar hasil dalam bentuk JSON:

Hasil dari JSON ini bisa diambil dan disimpan ke database atau dipreview ke PHP. Tutorial berikutnya saya akan coba membuatnya dengan PHP.

Terima kasih. Semoga bermanfaat.

2 Replies to “Mengambil nilai Kurs (web scraping) dengan NodeJS”

Leave a Reply

Your email address will not be published. Required fields are marked *

*

*

Click to Insert Smiley

SmileBig SmileGrinLaughFrownBig FrownCryNeutralWinkKissRazzChicCoolAngryReally AngryConfusedQuestionThinkingPainShockYesNoLOLSillyBeautyLashesCuteShyBlushKissedIn LoveDroolGiggleSnickerHeh!SmirkWiltWeepIDKStruggleSide FrownDazedHypnotizedSweatEek!Roll EyesSarcasmDisdainSmugMoney MouthFoot in MouthShut MouthQuietShameBeat UpMeanEvil GrinGrit TeethShoutPissed OffReally PissedMad RazzDrunken RazzSickYawnSleepyDanceClapJumpHandshakeHigh FiveHug LeftHug RightKiss BlowKissingByeGo AwayCall MeOn the PhoneSecretMeetingWavingStopTime OutTalk to the HandLoserLyingDOH!Fingers CrossedWaitingSuspenseTremblePrayWorshipStarvingEatVictoryCurseAlienAngelClownCowboyCyclopsDevilDoctorFemale FighterMale FighterMohawkMusicNerdPartyPirateSkywalkerSnowmanSoldierVampireZombie KillerGhostSkeletonBunnyCatCat 2ChickChickenChicken 2CowCow 2DogDog 2DuckGoatHippoKoalaLionMonkeyMonkey 2MousePandaPigPig 2SheepSheep 2ReindeerSnailTigerTurtleBeerDrinkLiquorCoffeeCakePizzaWatermelonBowlPlateCanFemaleMaleHeartBroken HeartRoseDead RosePeaceYin YangUS FlagMoonStarSunCloudyRainThunderUmbrellaRainbowMusic NoteAirplaneCarIslandAnnouncebrbMailCellPhoneCameraFilmTVClockLampSearchCoinsComputerConsolePresentSoccerCloverPumpkinBombHammerKnifeHandcuffsPillPoopCigarette