Web Scraping คือเทคนิคการดึงข้อมูลต่าง ๆ จากเว็บไซต์ที่เปิดเผยต่อสาธารณะ เช่น ราคา ข้อความ รูปภาพ ข้อมูลติดต่อ และอื่นๆ อีกมากมาย Web Scraping มีประโยชน์อย่างมากสำหรับการรวบรวมข้อมูล จากที่อาจจะต้องใช้เวลานานในการรวบรวมข้อมูล
Web Scraping มีวิธีใดบ้าง?
1. Copy / Paste ข้อมูลบนเว็บไซต์แบบ Manual
วิธีการที่ง่ายที่สุด แต่ใช้แรงและเสียเวลามากเมื่อรวบรวมนั้นมีจำนวนมาก
2. เขียนโปรแกรม Web Scraping เพื่อทำการดึงข้อมูล
เป็นวิธีที่นิยมทำมากที่สุด โดยใช้ทักษะการเขียนโปรแกรม Software ทำการดึงข้อมูลจากเว็บไซต์ในภาษาต่างๆ ที่สามารถทำ Web Scraping ได้ เช่น Python, Node.JS, Ruby, PHP หรือ C&C++
3. ใช้ตัวช่วยเครื่องมือ Web Scraping
อีกหนึ่งวิธีโดยการใช้เครื่องมือ Tools ต่างๆ ทั้งที่เป็น Software และ Web Extensions ที่จะช่วยให้สามารถดึงข้อมูลจากเว็บไซต์ได้แบบง่ายๆ แบบอัตโนมัติ และใช้เวลาไม่นาน
Beautifulsoup4
คือ Python library สำหรับดึงข้อมูลหน้าเว็บ หรือ HTML
เนื่องจากเราต้องการข้อมูลตอนเรียนที่เปิดจากเว็บไซต์มหาลัยเพื่อมาใช้งานในเว็บไซต์ของเรา
ซึ่งจริงๆส่วนด้านล่างถ้าดูตามเว็บจะต้องมีข้อมูลที่เราต้องการ scrap
คือข้อมูลตอนเรียนที่เปิด และวันสอบ แต่ผลลัพธ์ที่ออกมากับไม่มี เนื่องจากเว็บมหาลัย มีระบบป้องกันความปลอดภัย
เราจึงใช้การโหลดหน้าเว็บแล้วค่อยทำการดึงข้อมูลแทน
ไม่มีความคิดเห็น:
แสดงความคิดเห็น