What are we complaining about? – Semantic analysis of complaint letters using automatic classification (machine learning)

בהרצאה זו יוצג כיצד אפשר להיעזר בניתוח סמנטי של אוצר מילים של מכתבים כדי לזהות מה מעסיק את כותביהם. בעידן הטכנולוגי מתפרסמים יותר ויותר מכתבי תלונה במרחב המקוון (פייסבוק, רשתות חברתיות נוספות). לחברות שמתלוננים עליהן חשוב לסווג באופן אוטומטי את מכתבי התלונה על פי קריטריונים שונים, כגון תחומים שונים או רמת החומרה של התלונות. במחקר זה בדקנו[1] אפשרות לסיווג אוטומטי של מעל אלפיים מכתבי תלונה, שנכתבו בעברית ופורסמו בפייסבוק או באתרים של חברות שונות ממגוון רחב של תחומים: חברות ביטוח, חברות לתקשורת סלולרית, חברות לתקשורת קווית, חברות טלוויזיה, בתי חולים, משרדי נסיעות וחברות להשכרת מכוניות (שבע קטגוריות). ביצענו מערך נרחב של ניסויי סיווג של מכתבי התלונה לקטגוריות של תחומי החברות. ניסויי הסיווג נעשו באמצעות שיטות שונות של למידת מכונה (Machine learning). בתהליך זה נעשה חיפוש של המילים הנפוצות ביותר בכל קטגוריית מכתבים, ואחר כך נבדק אם המידע הזה עוזר לסיווג של מכתבים שלא ידוע מראש לאיזה תחום הם שייכים. לאחר מכן נבדקו מילות התוכן הנפוצות ביותר בכל אחת משבע הקטגוריות. ניתוח סמנטי של מילות התוכן (על פי ממצאי הבדיקה הממוחשבת), יכול להצביע על מאפיינים משותפים לכותבי המכתבים באותו תחום וכן על הנושאים שמעסיקים אותם יותר בעת שהם ניגשים להתלונן. מילות התוכן השכיחות ביותר שנמצאו במבחן הממוחשב חולקו לשדות משמעות (semantic fields) כמו: שדה התקשורת, שדה הרפואה, כסף, זמן, מקום וכד`, ונבחן אם יש משמעות לריבוי או מיעוט בשימוש בשדה מסוים בכל תחום.

בהרצאה יוצגו ממצאי הבדיקה ומסקנותיה, כמו מה הם הנושאים שהטרידו יותר מכול את המתקשרים לחברות הנדונות, ומה הם הנושאים המטרידים אותם פחות. ייסקר גם הקשר בין תחום העיסוק של החברה או המוסד לבין סוג המכתבים שנשלחים אליהם.

מיון אוטומטי של מכתבים, כפי שנעשה במחקר זה, יכול להיות שימושי לכל מוסד או חברה שנדרשים למיין מסה גדולה של טקסטים כדי להעביר את המשתמע מהם לטיפול מתאים. מציאת המילים הדומיננטיות בכל תחום יכולה לעזור למוסד או לחברה להבין מה מעסיק ביותר את הפונים אליהם ואף לדרג את מידת הדחיפות בהיענות לטענות.

[1] המחקר נערך בשיתוף עם פרופ` יעקב הכהן-קרנר והסטודנטים מאור חונה ומתניה בן בסן מן הפקולטה להנדסה ולמדעי המחשב במרכז האקדמי "לב".