 |
|
|
|
|
|
|
 |
(ตอบกระทู้ได้เฉพาะสมาชิก) สมัครสมาชิกฟรี
|
 | MailCleaner พัฒนา Bayesian ภาษาไทยสำเร็จแล้ว |  |
|
Top
 Expert
|
|
ถ้าหากคุณคิดจะจ้างใครสักคน มาทำงานเป็นเลขาให้คุณ คุณจะเลือกจ้างใคร ระหว่างฝรั่งค่าตัวแพงๆที่อ่านภาษาไทยไม่ออก กับคนไทยที่มีความรู้ ทั้งภาษาไทยและภาษาอังกฤษ ในขณะที่การทำงานของคุณใช้ภาษาไทยเป็นหลัก ?
ถ้าหากนำเด็กนักเรียนมัธยมสองคนที่มีผลการเรียนระดับเดียวกันสองคน คนหนึ่งเป็นเด็กไทย ส่วนอีกคนเป็นเด็กฝรั่งที่ไม่รู้ภาษาไทย มาทำข้อสอบภาษาไทย คุณคิดว่าใครจะทำคะแนนได้ดีกว่า ? แน่นอนว่าทั้งสองคำถามจะมีคำตอบเป็นคนไทย เพราะภาษาไทยเป็นสมบัติของชาติไทย ชาวต่างชาติที่ไม่รู้ภาษาไทยจึงไม่มีทางสู้ได้เลย ในการป้องกัน Spam ก็เช่นกัน เพราะ มันคือการเขียนโปรแกรมให้เข้าใจภาษาที่มนุษย์ใช้สื่อสารเพื่อแยกระดับความสำคัญของสารนั่นเอง ขณะนี้ MailCleaner ประสบความสำเร็จในการพัฒนา Beyesian ระบบภาษาไทย สามารถวิเคราะห์จดหมายภาษาไทยด้วยหลักการทางคณิตศาสตร์ได้อย่างมีประสิทธิภาพ ซึ่ง Bayesian ใน Anti-spam ทั่วไปไม่สามารถทำได้มาก่อน เนื่องจากธรรมชาติของภาษาไทย และภาษาทางตะวันตกมีความแตกต่างกัน และ Anti-spam ของต่างชาติไม่มีการพัฒนาในด้านนี้ นับเป็นนวรรตกรรมที่ก้าวล้ำหน้าของคนไทย ให้พี่น้องคนไทยได้ภูมิใจว่าเทคโนโลยี Anti-spam เป็นเทคโนโลยีที่คนไทยเรา มี Know-how และสามารถ พัฒนาขึ้นใช้เอง ในประเทศได้ และยังใช้งานได้ดีกว่าอย่างเห็นได้ชัด ประเทศไทยจึงไม่มีความจำเป็นต้องนำเข้าเทคโนโลยี Anti-spam ราคาแพงๆให้ประเทศชาติขาดดุลอีกต่อไป Bayesian คืออะไร ? Bayesian เป็นส่วนที่สำคัญมากในระบบ Anti-spam ซึ่งทำงานโดยการ เรียนรู้คุณสมบัติของจดหมายจำนวนมาก 2 กลุ่ม คือกลุ่มที่เป็น Spam และกลุ่มที่ไม่ใช่ Spam Bayesian จะจดจำคุณสมบัติที่พบในจดหมายทั้งสองชนิด และแยกแยะว่าคุณสมบัติใดพบ ในจดหมายที่เป็น Spam และคุณสมบัติใดพบในจดหมายที่ไม่ใช่ Spam เพื่อนำไปใช้เป็นข้อมูล ในการตรวจสอบจดหมายที่เข้ามาในระบบได้อย่างแม่นยำ Bayesian เป็นวิธีที่ได้รับการ ยอมรับโดยทั่วไปว่ามีความแม่นยำมากกว่า 99% ทำให้ Anti-spam ทั่วไปที่มี Bayesian เป็นส่วนประกอบมักนำมากล่าวอ้างว่ามีความแม่นยำมากกว่า 99% ทั้งๆที่ในสภาพการทำงานจริงในประเทศไทยไม่ได้เป็นเช่นนั้น ปัญหาของ Bayesian เมื่อนำมาใช้กับภาษาไทย แม้ว่า Bayesian จะมีความแม่นยำสูงถึง 99% แต่การนำมาใช้ ในประเทศไทยกลับพบว่าไม่มีความแม่นยำ และกลับทำให้มีการตรวจผิดในกรณี False Positive สูงขึ้นมาก เนื่องจากระบบ Bayesian ที่พัฒนาโดยคนต่างชาตินั้น ไม่สามารถวิเคราะห์ภาษาไทยได้เลย จาก source code ของโปรแกรม Antispam ที่เป็นที่นิยมมากที่สุดในโลกรายหนึ่ง แสดงให้เห็นว่าระบบ Beyesian ของต่างชาตินั้น หากพบข้อความที่เป็นภาษาทางเอเชีย จะใช้วิธี N-gram ในการวิเคราะห์คำ หากจะกล่าวให้เข้าใจง่ายก็คือ หากระบบเจอข้อความยาวๆระบบจะเก็บข้อมูล ทีละ N ตัวอักษร หากใช้ 2 ตัวก็จะเรียกว่า Bi-gram ซึ่งผลิตภัณฑ์ Antispam ทั้งหลายมักจะอ้างว่า เป็นวิธีที่สามารถใช้ได้โดยไม่จำกัดภาษา แต่ในความเป็นจริง ถ้าใช้วิธีนี้กับภาษาไทย จะทำให้ได้คำที่ไม่เป็นคำ ซึ่งไม่มีความหมายและประโยชน์ในการวิเคราะห์ Spam เลย ข้อมูลที่วิเคราะห์ได้มีลักษณะเป็นขยะ (garbage) ใน Bayesian Database ซึ่ง garbage เหล่านี้ จะส่งผลให้ระบบ Anti-spam มีความผิดพลาดแบบ False Positive เพิ่มสูงขึ้น หมายเหตุ : false positive คือความผิดพลาดในกรณีที่จดหมายนั้นไม่ใช่ Spam แต่ถูกตัดสินเป็น Spam ซึ่งทำให้ผู้ใช้อาจไม่ได้รับหรือเปิดอ่านจดหมายสำคัญฉบับนั้นได้ 
ภาพที่ 1 ข้อมูลภาษาไทยในฐานข้อมูลของระบบ Bayesian ทั่วไปที่ไม่รู้จักภาษาไทย 
ภาพที่ 2 ข้อมูลภาษาไทยในฐานข้อมูลของระบบ Bayesian ภาษาไทยของ MailCleaner ระบบ Bayesian ภาษาไทย เทคโนโลยีล้ำยุคฝีมือคนไทย Bayesian ในระบบ MailCleaner ได้รับการพัฒนาให้มีความสามารถในการ วิเคราะห์คำภาษาไทย ซึ่งโปรแกรมวิเคราะห์ภาษาไทยดังกล่าวเป็นการวิจัยต่อยอด จากผลงานวิจัยสมัยศึกษาในระดับปริญญาตรีของ สรวุฒิ กอสุวรรณศิริ วิศวกรผู้พัฒนาโครงการ MailCleaner ซึ่งโปรแกรมดังกล่าวเคยได้รับการยกย่องจากอาจารย์ที่ปรึกษาว่าเป็นโปรแกรมวิเคราะห์คำภาษาไทยที่ทำงานได้เร็วที่สุดในประเทศไทย และในการนำมาใช้กับระบบ Bayesian ในครั้งนี้ยังมีการพัฒนาเพิ่มเติมให้ มีโครงสร้างการทำงานแบบวงรอบ 4 จังหวะ สูบ-อัด-ระเบิด-คาย คล้ายกับเครื่องยนต์ของรถยนต์ ทำให้โปรแกรม สามารถทำงานกับ Input ขนาดใหญ่ได้ และใช้ทรัพยากรของระบบน้อย โดยไม่ขึ้นกับขนาดของ Input ทำให้สามารถทำงานคู่ขนานร่วมกันได้นับร้อยโพรเซส แต่ยังคงมีความเร็วสูงเช่นเดิม จึงเหมาะกับสภาพการทำงาน ในเครื่องให้บริการ และเมื่อนำมาพัฒนาเข้ากับระบบ Bayesian ก็ทำให้สามารถวิเคราะห์คำภาษาไทยได้อย่างถูกต้อง และได้ข้อมูลที่มีความหมาย และนำไปใช้ในการวิเคราะห์ Spam ได้อย่างเต็มประสิทธิภาพ ทำให้ระบบ Bayesian ระบบภาษาไทยมีความแม่นยำอย่างแท้จริงเป็นรายแรกและรายเดียวในประเทศไทย  
ภาพที่ 3 เปรียบเทียบปริมาณข้อมูลที่เป็นประโยชน์ในการวิเคราะห์คำที่ได้จากการเรียนรู้จดหมายภาษาไทยฉบับเดียวกัน นอกจากระบบ Bayesian ภาษาไทย ระบบ MailCleaner ยังมีการพัฒนาเทคโนโลยีใหม่ๆ เพื่อเพิ่มความแม่นยำให้กับการกรอง Spam และการป้องกันไวรัสอีกมากมาย เช่น Smart-Learn ระบบเรียนรู้อัตโนมัติ ของ Bayesian ที่มีประสิทธิภาพสูงกว่า Auto-learn ทั่วไปถึง 3 เท่า MCASE (เอ็ม-เคส) เทคโนโลยีกรอง Spam จากการวิเคราะห์ปัญหาในระบบจริง Personal Console ระบบปรับการทำงานสำหรับผู้ใช้รายบุคคล Virus Monitor ระบบเฝ้าระวังไวรัส ใช้ในการเฝ้าระวัง Virus ชนิดใหม่ที่ Antivirus ยังไม่สามารถตรวจพบ ได้ Virus Backtracking Scan ระบบแจ้งเตือนไวรัส เพื่ออุดช่องโหว่ที่เป็นจุดอ่อนของ Antivirus ทุกชนิด Virus Observer ระบบบอกตำแหน่งเครื่องลูกข่ายที่ติดไวรัส Antivirus Benchmark ระบบเปรียบเทียบการทำงานของ Antivirus |
||||||||||||
|
||||||||||||||
 |
| Italiano shops | |
|
|
(ตอบกระทู้ได้เฉพาะสมาชิก) สมัครสมาชิกฟรี
|