الگوریتم ML ایمیل ها و چت های سمی را در زمان واقعی شناسایی می کند

مدیران افراد و رهبران منابع انسانی ابزار جدیدی برای شناسایی و توقف آزار و اذیت در محل کار دارند: یک الگوریتم یادگیری ماشینی که ارتباطات سمی را نشان می‌دهد. هوش مصنوعی CommSafe می تواند حوادث نژادپرستی و جنسیت گرایی را مستند کند و الگوهای رفتاری را در طول زمان ردیابی کند. این باعث می شود به جای اینکه منتظر بمانید تا طرح دعوی شود، بازیگران بد را شناسایی کنید و در هنگام شروع یک مشکل مداخله کنید.

الگوریتم Comm Safe سرویس‌های ایمیل و چت، از جمله پلتفرم‌هایی مانند تیم‌های مایکروسافت را نظارت می‌کند و از یادگیری ماشینی برای اندازه‌گیری احساسات و لحن ارتباط نوشتاری در زمان واقعی استفاده می‌کند. به گفته تای اسمیت، بنیانگذار و مدیر عامل CommFree AI، این الگوریتم تفاوت های ظریف و زمینه را درک می کند، مانند زمانی که “سینه” به سفارش ناهار از یک مکان مرغ و زمانی که به آناتومی انسان اشاره دارد. اسمیت گفت این الگوریتم از مثبت کاذب ایجاد شده توسط راه حل های نظارتی که از قوانین یا جستجوی کلمات کلیدی برای شناسایی نظرات مشکل ساز استفاده می کنند، جلوگیری می کند.

اسمیت گفت که هدف تغییر رفتار زمانی است که مشکل برای اولین بار ظاهر می شود. او همچنین توصیه می‌کند که کارفرمایان همیشه به کارمندان بگویند که خدمات نظارتی وجود دارد.

او گفت: «به‌جای ارسال این پیام‌ها از طریق Slack، آن‌ها را برای خود نگه می‌دارند یا فقط زمانی که شخصاً شخص را ببینند به این شکل صحبت می‌کنند». در هر صورت باعث تغییر رفتار در فرد و کاهش ریسک برای شرکت شده است.

برن الیوت، معاون پژوهشی گارتنر که در زمینه هوش مصنوعی و پردازش زبان طبیعی تخصص دارد، گفت: تجزیه و تحلیل احساسات در چند سال گذشته به دلیل افزایش قدرت محاسباتی برای تجزیه و تحلیل مجموعه داده‌های بزرگتر و توانایی داشتن انواع محتوای متعدد، بهبود یافته است.

او گفت: «الگوریتم‌ها اکنون می‌توانند محدوده زمانی و محتوای وسیع‌تری را در بر گیرند و آن را در مقیاس انجام دهند.

مشتریان CommSafe همچنین می توانند ارتباطات آرشیو شده را به عنوان بخشی از تحقیقات آزار و اذیت تجزیه و تحلیل کنند.

او گفت: “اگر زنی به HR مراجعه کند و بگوید که یکی از همکارانش او را شش ماه پیش به خاطر Slack مورد آزار و اذیت قرار داده است، نرم افزار می تواند هر نمونه ای از ارتباط سمی را برای پشتیبانی از اینکه آیا این اتفاق افتاده یا نه، نشان دهد.”

دیدن: شکاف جنسیتی COVID-19: برای بازگرداندن زنان سیاه پوست به سر کار چه چیزی لازم است؟

اسمیت گفت افسران تنوع می توانند از این ردیابی و نظارت در طول زمان برای شناسایی بازیگران بد در شرکت استفاده کنند.

او گفت: “اگر شرکتی قصد دارد یک افسر DEI را استخدام کند و آنها را مسئول این کار کند، آن شخص باید بداند از کجا شروع کند.”

الیوت گفت که نکته کلیدی ناشناس کردن این اطلاعات به طور کلی و دسترسی به تنها چند نفر است که می توانند رفتار مشکل ساز را به صورت خصوصی بررسی کنند.

او گفت: «یک نفر باید بتواند اطلاعات را بی نام کند.

سنجش اعتماد و ایمنی

چالش این است که این بازخورد اصلاحی را برای شرکت‌هایی با 10000 کارمند یا بازی‌های آنلاین با 100000 کاربر و نظارت بر کانال‌های متعدد برای مشکلات متعدد، از جمله نقض IP، هرزنامه، کلاهبرداری، فیشینگ، اطلاعات نادرست و محتوای غیرقانونی، مانند تصاویر صریح جنسی غیرقانونی، افزایش دهیم.

الیوت گفت: «ما ابزار مناسبی برای مدیریت این موضوع ابداع نکرده‌ایم. شرکت‌های واقعاً بزرگ تیم‌های بزرگی از افراد دارند که روی این موضوع کار می‌کنند و هنوز راه‌هایی برای رفتن دارند.»

الیوت گفت که رهبران منابع انسانی لزوماً نمی‌توانند الگوهای رفتاری تکراری را شناسایی یا ردیابی کنند و افرادی که مورد آزار و اذیت قرار می‌گیرند همیشه نمی‌خواهند خودشان مشکل را مطرح کنند.

الیوت گفت: «اگر حفاری کنید، این چیزها از جایی شروع نشده اند. “اینها الگوهای رفتاری هستند و شما می توانید ببینید آیا نشانه هایی از رفتارهایی وجود دارد که فردی از منابع انسانی بخواهد به آنها نگاهی بیندازد.”

دیدن: چرا یک متاورس ایمن ضروری است و چگونه می توان جهان های مجازی خوشایند ساخت

الیوت پیشنهاد کرد که شرکت ها از این نرم افزار نظارتی برای اندازه گیری امنیت اجتماعی گروهی نیز استفاده کنند.

او گفت: «الگوی رفتار می‌تواند در یک گروه یا با یک فرد باشد، و شما می‌توانید با چیزهای دیگر همبستگی داشته باشید. مردم همیشه آن قوانین را زیر پا نمی گذارند. محرک های خاصی وجود دارد که آن را خوب می کند.»

الیوت به شرکت‌ها پیشنهاد کرد که این نوع تحلیل احساسات را فراتر از ارتباطات کارکنان اجرا کنند.

او گفت: «محتوای سمی واقعاً یک مشکل نسبتاً محدود است – بررسی محتوای تولید شده توسط اشخاص ثالث که مسئولیت آن بر عهده شماست، مسئله بزرگ‌تری است.

چالش بزرگ‌تر نظارت بر اعتماد و ایمنی در مکالمات و سایر تعاملات است که شامل متن، صدا، تصاویر و حتی ایموجی‌ها می‌شود.

ساخت مدلی برای شناسایی سخنان نفرت انگیز

اسمیت در سال 2015 یک شرکت ارزیابی ریسک مبتنی بر فناوری را با تمرکز اولیه بر خشونت در محل کار راه اندازی کرد.

او گفت: «وقتی در شرکت ایستادم و با مشتریان بزرگ شروع به کار کردم، متوجه شدم که موقعیت‌های تیراندازی فعال بخش کوچکی از این مشکل هستند.

در اوایل سال 2020، او با این ایده که به جای پاسخ دادن به اتفاقات بدی که قبلاً اتفاق افتاده است، از مشکل جلوتر باشد، تمرکز شرکت را به ارتباطات سمی معطوف کرد.

او با مقامات نظامی و انتظامی که تجربه برخورد با افراد خشن را داشتند، جلسه همفکری برگزار کرد. این گروه به عنوان مقدمه ای برای قلدری در محل کار، تبعیض نژادی و سایر رفتارهای خشونت آمیز به ارتباطات سمی دست یافتند.

اسمیت گفت که تیم CommSafe از مجموعه داده‌های در دسترس عموم برای ساخت این الگوریتم استفاده کرده است، از جمله متن استخراج‌شده از Stormfront، یک انجمن برتری نژاد سفید، و مجموعه داده ایمیل Enron که شامل ایمیل‌های ۱۵۰ مدیر ارشد شرکت شکست خورده است.

پس از فروش نسخه بتای نرم افزار، مهندسان CommSafe داده های مشتری را برای آموزش الگوریتم بر روی زبان خاص تر صنعت ترکیب کردند.

دیدن: Glassdoor: از هر 5 نفر 3 نفر شاهد یا تجربه تبعیض در محل کار بوده اند

او گفت: «معمولاً بین سه تا هشت هفته طول می‌کشد تا هوش مصنوعی در مورد یک سازمان خاص بیاموزد و یک خط پایه از شکل ظاهری فرهنگ تعیین کند.

این شرکت قصد دارد نسخه جدیدی از نرم افزار را در پایان ماه می منتشر کند. در ماه فوریه، این شرکت گواهینامه ای از ServiceNow دریافت کرد که به این معنی است که نرم افزار CommSafe اکنون در فروشگاه ServiceNow در دسترس است.

این الگوریتم در پاسخ به یک ایمیل خاص یا پیام Slack، اقدام خاصی را توصیه نمی کند. اسمیت گفت که مشتریان منابع انسانی نظارت در زمان واقعی را به عنوان مهمترین ویژگی شناسایی می کنند. شرکت ها همچنین می توانند نرم افزار مانیتورینگ را به عنوان بخشی از یکپارچه سازی ServiceNow عرضه کنند.

او گفت: «مشتریان CommSafe AI می‌توانند جریان‌های کاری را در سمت ServiceNow ایجاد کنند تا به آنها اجازه دهد مشکل را در زمان واقعی حل کنند.

CommSafe همچنین در حال کار بر روی فاز یک قرارداد وزارت دفاع برای آزمایش توانایی الگوریتم در تشخیص علائم هشدار دهنده خودکشی و آسیب رساندن به خود است.

او گفت: “ما در حال حاضر با DOD کار می کنیم تا ببینیم آیا می توانیم این مورد استفاده را در بین مخاطبان گسترده تری بررسی کنیم.”