Hiểu về phát hiện bất thường và cách nó có thể mang lại lợi ích cho công ty của bạn

Tính năng phát hiện bất thường có thể giúp bạn xác định các xu hướng sắp tới trước đối thủ cạnh tranh. Nó có thể gắn cờ các giao dịch gian lận bằng cách giám sát lưu lượng truy cập của cửa hàng trực tuyến và phát hiện hành vi bạo lực ở những nơi công cộng, giúp nhóm bảo mật của bạn có cơ hội can thiệp trước khi mọi người bị thương.

Thú vị? Có những công ty phát hiện bất thường chuyên dụng có thể giúp bạn xây dựng và tích hợp phần mềm tùy chỉnh phù hợp để phát hiện hành vi lệch lạc trong lĩnh vực hoạt động của bạn.

Vì vậy, phát hiện bất thường là gì? Làm thế nào nó hoạt động? Và làm thế nào bạn có thể kết hợp nó vào các quy trình và quy trình công việc của công ty bạn?

Tổng quan nội dung

• Phát hiện bất thường là gì?

• Phát hiện bất thường hoạt động như thế nào?

• Các trường hợp sử dụng phát hiện bất thường chính

• Bắt đầu với phát hiện bất thường

• ITRex có thể giúp phát hiện bất thường như thế nào

  
  

Phát hiện bất thường là gì?

Phát hiện bất thường là một loại khai thác dữ liệu phân tích dữ liệu của công ty để phát hiện các điểm dữ liệu khác với đường cơ sở đã thiết lập (ví dụ: hành vi tiêu chuẩn của tập dữ liệu). Những ngoại lệ này thường chỉ ra các sự cố, chẳng hạn như trục trặc kỹ thuật trong thiết bị, thay đổi sở thích của khách hàng và các loại bất thường khác, cho phép các công ty hành động trước khi thiệt hại xảy ra.

Dị thường là gì?

Điểm bất thường là một điểm dữ liệu không nhất quán đi chệch khỏi một khuôn mẫu quen thuộc. Mặc dù nó không phải lúc nào cũng là một mối lo ngại đáng kể, nhưng vẫn đáng để điều tra để ngăn chặn sự leo thang có thể xảy ra. Ví dụ: doanh số bán sản phẩm tăng đột biến có thể là kết quả của một chiến dịch tiếp thị thành công hoặc có thể chỉ ra sự thay đổi trong xu hướng và hành vi của khách hàng mà các công ty sẽ phải thích ứng.

Dữ liệu kinh doanh bất thường rơi vào ba loại ngoại lệ:

• Ngoại lệ toàn cầu là một điểm dữ liệu nằm cách xa phần còn lại của dữ liệu một cách bất thường. Giả sử rằng bạn nhận được 7.000 đô la trong tài khoản ngân hàng của mình mỗi tháng. Nếu bạn đột nhiên nhận được khoản chuyển khoản trị giá 50.000 đô la, đó sẽ là một ngoại lệ toàn cầu.

  
  

• Một ngoại lệ theo ngữ cảnh lệch khỏi phần còn lại của dữ liệu trong cùng một ngữ cảnh. Chẳng hạn, nếu bạn sống ở một quốc gia có tuyết rơi vào mùa đông và thời tiết ấm áp vào mùa hè, thì tuyết rơi dày đặc vào mùa đông là điều bình thường. Nhưng trải qua tuyết rơi trong mùa hè sẽ là một ngoại lệ theo ngữ cảnh.

  
  

• Ngoại lệ tập thể là khi một tập hợp con các điểm dữ liệu khác với toàn bộ tập dữ liệu. Ví dụ: nếu bạn quan sát thấy doanh số bán hàng của một số sản phẩm dường như không liên quan giảm bất thường, nhưng sau đó bạn nhận ra điều này có mối liên hệ nào đó, thì các quan sát của bạn được kết hợp thành một ngoại lệ tập thể.

Tại sao chúng ta cần trí tuệ nhân tạo trong phát hiện bất thường?

Hầu hết các công ty xử lý khối lượng lớn dữ liệu có cấu trúc và phi cấu trúc, trong đó dữ liệu phi cấu trúc bao gồm tới 90% thông tin được tạo trong các bức tường của công ty. Không thể xử lý tất cả thông tin này theo cách thủ công và tạo ra thông tin chi tiết có ý nghĩa — đặc biệt nếu chúng ta nói về dữ liệu phi cấu trúc, được tạo thành từ hình ảnh, giao dịch, văn bản dạng tự do, v.v.

Nghiên cứu cho thấy rằng các kỹ thuật máy học là lựa chọn tốt nhất để xử lý các tập dữ liệu phi cấu trúc lớn. Trường này có rất nhiều thuật toán và bạn có thể chọn thuật toán phù hợp nhất với mình. Bạn cũng có thể kết hợp một số kỹ thuật ML với nhau để có kết quả tối ưu.

Phát hiện bất thường hoạt động như thế nào?

Có ba loại kỹ thuật phát hiện bất thường dựa trên trí tuệ nhân tạo và máy học chính.

• Giám sát phát hiện bất thường . Tại đây, các mô hình ML được đào tạo và thử nghiệm với tập dữ liệu được gắn nhãn đầy đủ có chứa hành vi bình thường và bất thường. Cách tiếp cận hoạt động tốt khi phát hiện các sai lệch là một phần của tập dữ liệu huấn luyện, nhưng công nghệ này gặp khó khăn khi đối mặt với một điểm bất thường mới mà nó chưa từng thấy trong quá trình huấn luyện. Các kỹ thuật được giám sát yêu cầu nỗ lực thủ công và kiến thức chuyên môn về miền vì ai đó cần gắn nhãn dữ liệu.

  
  

• Phát hiện bất thường không giám sát . Phương pháp này không cần ghi nhãn dữ liệu thủ công. Các mô hình giả định rằng chỉ một tỷ lệ phần trăm nhỏ các điểm dữ liệu khác biệt đáng kể so với phần còn lại của dữ liệu tạo nên sự bất thường. Các kỹ thuật không được giám sát vẫn có thể vượt trội trong việc xác định các điểm bất thường mới mà chúng không chứng kiến trong quá trình đào tạo vì chúng phát hiện các điểm bất thường dựa trên đặc điểm của chúng hơn là dựa trên những gì chúng đã học được trong quá trình đào tạo. Tuy nhiên, các thuật toán này khá phức tạp và kiến trúc của chúng là một hộp đen, nghĩa là người dùng sẽ không nhận được lời giải thích về cách công cụ đưa ra quyết định của mình.

  
  

• Phát hiện bất thường bán giám sát . Những kỹ thuật này liên quan đến cả dữ liệu được gắn nhãn và không được gắn nhãn, giúp giảm chi phí chú thích thủ công. Ngoài ra, một mô hình phát hiện bất thường bán giám sát vẫn có thể học hỏi sau khi triển khai và phát hiện những bất thường mà nó chưa thấy trong quá trình đào tạo. Và cũng giống như các kỹ thuật không giám sát, các mô hình này cũng có thể hoạt động với dữ liệu phi cấu trúc.

Các phương pháp phát hiện bất thường dựa trên AI

Phát hiện bất thường dựa trên trí tuệ nhân tạo và các loại phụ của nó, bao gồm cả học máy. Dưới đây là năm kỹ thuật ML thường được triển khai trong ngữ cảnh này.

Bộ mã hóa tự động

Bộ mã hóa tự động là các mạng thần kinh nhân tạo không được giám sát, nén dữ liệu và sau đó tái cấu trúc dữ liệu sao cho giống với dạng ban đầu nhất có thể. Các thuật toán này có thể bỏ qua nhiễu một cách hiệu quả và tái tạo lại văn bản, hình ảnh và các loại dữ liệu khác. Bộ mã hóa tự động có hai phần:

• Bộ mã hóa, nén dữ liệu đầu vào

• Bộ giải mã, giải nén dữ liệu gần với dạng ban đầu của nó

  
  

  

Khi sử dụng bộ mã hóa tự động, hãy chú ý đến kích thước của mã vì nó sẽ xác định tốc độ nén. Một tham số quan trọng khác là số lớp. Với ít lớp hơn, thuật toán sẽ nhanh hơn, nhưng nó có thể hoạt động trên ít tính năng hơn.

mạng Bayes

Kỹ thuật này là một loại mô hình dựa trên biểu đồ xác suất tính toán xác suất dựa trên suy luận Bayesian. Các nút trong biểu đồ tương ứng với các biến ngẫu nhiên, trong khi các cạnh biểu thị các phụ thuộc có điều kiện cho phép mô hình thực hiện các suy luận.

Mạng Bayesian được sử dụng trong chẩn đoán, mô hình nguyên nhân, lập luận, v.v. Trong phát hiện bất thường, phương pháp này đặc biệt hữu ích để phát hiện những sai lệch nhỏ khó phát hiện bằng các kỹ thuật khác. Phương pháp này cũng có thể chấp nhận dữ liệu bị thiếu trong quá trình đào tạo và sẽ vẫn có hiệu suất ổn định nếu được đào tạo trên các tập dữ liệu nhỏ.

Mô hình dựa trên mật độ

Đây là một kỹ thuật phân cụm ML không giám sát, phát hiện các mẫu hoàn toàn dựa vào vị trí không gian và khoảng cách giữa các lân cận. Nó so sánh giá trị mật độ của một điểm dữ liệu với mật độ của các điểm dữ liệu lân cận. Một ngoại lệ (dị thường) sẽ có giá trị mật độ thấp hơn so với các quần thể dữ liệu khác.

Máy vectơ hỗ trợ (SVM)

Đây là một thuật toán ML được giám sát thường được sử dụng để phân loại. Tuy nhiên, phần mở rộng SVM cũng có thể hoạt động trong môi trường không được giám sát. Kỹ thuật này sử dụng các siêu phẳng để chia các điểm dữ liệu thành các lớp.

Mặc dù SVM thường hoạt động với hai hoặc nhiều lớp, nhưng khi phát hiện bất thường, nó có thể phân tích các vấn đề của một lớp. Nó học “chuẩn mực” cho một lớp này và xác định xem một điểm dữ liệu có thể thuộc về lớp này hay liệu nó có phải là một ngoại lệ hay không.

Mô hình hỗn hợp Gaussian (GMM)

GMM là một kỹ thuật phân cụm xác suất. Kỹ thuật này phân loại dữ liệu thành các cụm khác nhau dựa trên phân phối xác suất. Nó giả định rằng các điểm dữ liệu thuộc về sự kết hợp của các bản phân phối Gaussian với các tham số không xác định và nó phát hiện sự bất thường bằng cách phát hiện dữ liệu trong các vùng có mật độ thấp.

Các trường hợp sử dụng phát hiện bất thường chính

Bây giờ bạn đã biết cách hoạt động của tính năng phát hiện bất thường ở hậu trường và các kỹ thuật AI mà tính năng này dựa vào, đã đến lúc nghiên cứu một số ví dụ về phát hiện điều bất thường trong các ngành khác nhau.

Phát hiện bất thường trong chăm sóc sức khỏe

Phát hiện bất thường có thể mang lại lợi ích cho ngành y tế bằng cách giúp bác sĩ xác định bất kỳ vấn đề nào đối với sức khỏe bệnh nhân, phát hiện sự leo thang ở bệnh nhân nội trú và thông báo cho nhân viên y tế trước khi quá muộn, đồng thời hỗ trợ chẩn đoán và lựa chọn phương pháp điều trị. Tất cả điều này làm giảm công việc thủ công và gánh nặng nhận thức mà các bác sĩ gặp phải.

Tuy nhiên, phát hiện bất thường có những thách thức riêng trong chăm sóc sức khỏe.

Một vấn đề là có thể khó thiết lập đường cơ sở (nghĩa là hành vi bình thường) khi nói đến các sơ đồ y tế khác nhau. Ví dụ, điện não đồ của một người khỏe mạnh thay đổi dựa trên các đặc điểm cá nhân. Các nhà nghiên cứu đã xác định được sự khác biệt đáng kể ở trẻ em và có sự khác biệt ở người lớn tùy thuộc vào nhóm tuổi và giới tính.

Một khía cạnh khác là các mô hình ML phải có độ chính xác cao, vì cuộc sống của mọi người sẽ phụ thuộc vào hiệu suất của chúng.

Các thuật toán phát hiện bất thường y tế có thể phân tích các thông tin sau:

• Dấu hiệu sinh tồn và các thông số khác được đo bằng thiết bị IoT y tế
• Hình ảnh y tế, chẳng hạn như chụp X-quang và chụp CT, có thể mang dấu hiệu của khối u lành tính và ác tính, nhiễm trùng và các tình trạng sức khỏe khác
• Yêu cầu bảo hiểm y tế, giúp xác định và chặn bất kỳ hoạt động gian lận nào. Đây có thể là yếu tố thay đổi cuộc chơi trong lĩnh vực bảo hiểm y tế vì có tới 10% chi phí Medicare và Medicaid hàng năm hiện đang hướng tới các yêu cầu bồi thường gian lận

Một ví dụ về phát hiện bất thường đến từ một nhóm nghiên cứu ở Nam Phi. Họ đã kết hợp thành công bộ mã hóa tự động và các kỹ thuật tăng cường độ dốc cực cao để theo dõi các biến số sinh lý của bệnh nhân COVID-19 và phát hiện bất kỳ sự bất thường nào cho thấy tình trạng suy thoái sức khỏe.

Một nhóm khác không chỉ tập trung vào việc phát hiện sự bất thường mà còn giải thích tại sao công cụ lại đánh dấu chúng như vậy . Vì vậy, trước tiên, họ sử dụng các kỹ thuật phát hiện bất thường để phát hiện các sai lệch và sau đó triển khai các thuật toán khai thác khía cạnh để phác thảo một tập hợp các tính năng trong đó một điểm dữ liệu nhất định được coi là ngoại lệ.

Phát hiện bất thường trong giải trí

Môi trường thể thao và giải trí dựa vào giám sát an ninh dựa trên video mở rộng với hàng trăm camera. Do đó, các đội an ninh sẽ không thể phát hiện và phản ứng kịp thời với các vụ tai nạn nếu đoạn phim được xem xét thủ công. Nhờ học máy, các thuật toán có thể phân tích các video phát trực tuyến từ mỗi camera tại cơ sở và phát hiện các vi phạm an ninh.

Khi các mô hình ML tiếp tục học hỏi trong công việc, chúng có thể phát hiện ra các mối đe dọa và vi phạm mà người vận hành con người của bạn không thể nhận thấy. Các thuật toán này có thể phát hiện hành vi phá hoại, tình trạng bất ổn giữa khán giả, khói thuốc, đồ vật khả nghi, v.v. và cảnh báo cho nhân viên an ninh để họ có thời gian hành động và ngăn ngừa trách nhiệm pháp lý cũng như thiệt hại về uy tín.

Một dự án như vậy xuất hiện ngay trong danh mục đầu tư của chúng tôi. Một công ty giải trí có trụ sở tại Hoa Kỳ với các phòng trò chơi nằm trên khắp đất nước đã chuyển sang ITRex để xây dựng một giải pháp phát hiện bất thường dựa trên ML sẽ tích hợp vào hệ thống giám sát video dựa trên đám mây của họ. Ứng dụng này sẽ phát hiện bất kỳ hành vi nguy hiểm và bạo lực nào, chẳng hạn như phá máy đánh bạc. Nó cũng sẽ hợp lý hóa quy trình hành chính bằng cách phát hiện các vật dụng bị bỏ quên và máy móc không hoạt động.

Nhóm của chúng tôi đã xây dựng một mô hình ML tùy chỉnh bằng cách sử dụng bộ mã hóa tự động đa dạng. Chúng tôi đã tổng hợp tập dữ liệu đào tạo gồm 150 video mô tả hành vi bạo lực thể xác và thiệt hại về tài sản, đồng thời xử lý trước các video này bằng khung OpenCV. Sau đó, chúng tôi dựa vào thư viện torchvision để chuẩn hóa và bổ sung dữ liệu, đồng thời sử dụng dữ liệu đó để đào tạo thuật toán ML.

Giải pháp thu được dựa trên xác thực chéo để phát hiện các điểm bất thường. Chẳng hạn, nó có thể xác định các máy đánh bạc bị trục trặc bằng cách “đọc” thông báo lỗi trên màn hình và xác thực nó dựa trên các mẫu màn hình có sẵn. Giải pháp cuối cùng được tích hợp liền mạch vào hệ thống bảo mật dựa trên đám mây của khách hàng, giám sát các máy đánh bạc 24/7 và thông báo cho nhân viên an ninh bất cứ khi nào phát hiện ra điều bất thường.

Phát hiện bất thường trong sản xuất

Khi các quy trình sản xuất ngày càng được tự động hóa, máy móc trở nên phức tạp hơn và các cơ sở ngày càng lớn hơn. Do đó, các phương pháp giám sát truyền thống không còn đủ nữa.

Các kỹ thuật phát hiện bất thường có thể mô tả các sai lệch khác nhau so với định mức tại cơ sở của bạn và thông báo cho bạn trước khi chúng leo thang và thậm chí học cách phân biệt giữa các vấn đề nhỏ và các mối quan tâm cấp bách.

Có rất nhiều lợi ích phát hiện bất thường cho sản xuất. Những công cụ này có thể phát hiện ra các vấn đề sau:

• Thiết bị trục trặc . Phối hợp với các cảm biến Internet of Things (IoT) sản xuất, các thuật toán AI có thể giám sát các thông số khác nhau của thiết bị, như độ rung, nhiệt độ, v.v. và nắm bắt mọi sai lệch so với định mức. Những thay đổi như vậy có thể chỉ ra rằng thiết bị bị quá tải, nhưng nó cũng có thể có nghĩa là bắt đầu sự cố. Thuật toán sẽ gắn cờ thiết bị để kiểm tra thêm. Điều này còn được gọi là bảo trì dự đoán.

  
  

• Thiết bị sử dụng không đúng mức . Các giải pháp phát hiện bất thường dựa trên ML có thể xem thiết bị nào không hoạt động trong thời gian dài và thúc giục người vận hành cân bằng phân bổ tải.

  
  

• Nguy cơ an toàn . Bằng cách giám sát nguồn cấp dữ liệu camera an ninh, phần mềm phát hiện bất thường có thể phát hiện ra những nhân viên không tuân thủ các quy trình an toàn của nhà máy, gây nguy hiểm cho sức khỏe của chính họ. Nếu nhân viên của bạn sử dụng thiết bị đeo để giám sát an toàn, thì công nghệ máy học có thể phân tích dữ liệu cảm biến để phát hiện những nhân viên bị ốm và kiệt sức, đồng thời khuyến khích họ nghỉ ngơi hoặc đăng xuất vào ngày hôm đó.

  
  

• Các vấn đề về cơ sở hạ tầng . Các thuật toán ML có thể phát hiện rò rỉ nước hoặc khí đốt và bất kỳ hư hỏng cơ sở hạ tầng nào khác và thông báo cho người quản lý địa điểm tương ứng.

Một ví dụ về giải pháp phát hiện bất thường trong sản xuất đến từ Hemlock Semiconductor, nhà sản xuất polysilicon siêu tinh khiết có trụ sở tại Hoa Kỳ. Công ty đã triển khai tính năng phát hiện bất thường để có được khả năng hiển thị trong các quy trình của họ và ghi lại mọi sai lệch so với mô hình sản xuất tối ưu. Công ty đã báo cáo tiết kiệm khoảng 300.000 đô la mỗi tháng cho việc tiêu thụ tài nguyên.

Phát hiện bất thường trong bán lẻ

Phát hiện bất thường có thể giúp các nhà bán lẻ xác định các kiểu hành vi bất thường và sử dụng những thông tin chi tiết này để cải thiện hoạt động cũng như bảo vệ doanh nghiệp và khách hàng của họ. Các thuật toán AI có thể bắt kịp nhu cầu thay đổi của khách hàng và cảnh báo các nhà bán lẻ ngừng mua các sản phẩm không bán được trong khi bổ sung các mặt hàng đang có nhu cầu. Ngoài ra, sự bất thường có thể đại diện cho các cơ hội kinh doanh ở giai đoạn đầu, cho phép các nhà bán lẻ tận dụng chúng trước khi cạnh tranh. Trong trường hợp Thương mại điện tử, chủ sở hữu trang web có thể triển khai các mô hình phát hiện bất thường để theo dõi lưu lượng truy cập nhằm phát hiện hành vi bất thường có thể báo hiệu hoạt động gian lận.

Ngoài ra, các nhà bán lẻ có thể sử dụng các kỹ thuật phát hiện bất thường để bảo vệ cơ sở của họ. Tại ITRex, chúng tôi đã tiến hành một loạt PoC để xây dựng một giải pháp có thể phát hiện các biểu hiện bạo lực, chẳng hạn như đánh nhau, trong các video được phát trực tiếp bởi các camera an ninh được đặt trong trung tâm mua sắm và những nơi công cộng khác. Giải pháp này dựa trên phương pháp phát hiện điểm bất thường của mạng thần kinh tích chập 3D, được huấn luyện trên bộ dữ liệu chiến đấu mở rộng. Loại thuật toán ML này được biết là thực hiện tốt các tác vụ phát hiện hành động. Nếu bạn quan tâm đến giải pháp như vậy, chúng tôi có thể hiển thị cho bạn bản trình diễn đầy đủ để bắt đầu. Sau đó, nhóm của chúng tôi sẽ tinh chỉnh thuật toán và điều chỉnh cài đặt của nó để phù hợp với các chi tiết cụ thể về vị trí và doanh nghiệp của bạn, đồng thời chúng tôi sẽ tích hợp thuật toán đó một cách liền mạch vào hệ thống bảo mật hiện có của bạn.

Bắt đầu với phát hiện bất thường

Như bạn có thể thấy, việc đào tạo các mô hình AI tùy chỉnh để phát hiện điểm bất thường có thể là một thách thức kỹ thuật. Đó là lý do tại sao nhóm của chúng tôi đã chuẩn bị một hướng dẫn năm bước dành cho các công ty đang quan tâm đến công nghệ mới này. Cuộn xuống để xem một số mẹo của chuyên gia — và cân nhắc tải xuống hướng dẫn kinh doanh của chúng tôi về trí tuệ nhân tạo nếu bạn chưa quen với AI hoặc tìm kiếm thêm thông tin về các ứng dụng AI và chi phí dự án.

Bước 1: Xác định cách bạn sẽ tiếp cận phát hiện bất thường

Có hai lựa chọn ở đây. Bạn đang tìm kiếm các điểm bất thường cụ thể trong dữ liệu của mình hoặc bạn muốn gắn cờ mọi thứ khác với hành vi tiêu chuẩn. Những gì bạn chọn ở đây sẽ ảnh hưởng đến dữ liệu đào tạo của bạn và hạn chế việc lựa chọn các kỹ thuật AI.

Nếu bạn muốn nắm bắt mọi sự kiện khác với đường cơ sở, thì bạn sẽ đào tạo mô hình trên một tập dữ liệu lớn thể hiện hành vi bình thường. Ví dụ: nếu bạn đang nghiên cứu về lái xe và an toàn giao thông, thì bộ dữ liệu của bạn sẽ bao gồm các video thể hiện việc lái xe an toàn.

Giả sử bạn đang tìm cách phát hiện các điểm bất thường cụ thể — chẳng hạn như các vụ đụng xe, nhưng không phải các vi phạm nhỏ, chẳng hạn như lái xe vượt đèn đỏ. Trong trường hợp này, tập dữ liệu đào tạo của bạn sẽ bao gồm các video hoặc hình ảnh về các vụ tai nạn ô tô.

Bước 2: Tổng hợp và tiền xử lý tập dữ liệu huấn luyện

Kết quả của bước trước sẽ giúp bạn quyết định loại dữ liệu nào bạn cần.

Thu thập dữ liệu từ các nguồn nội bộ của công ty bạn hoặc sử dụng các bộ dữ liệu có sẵn công khai. Sau đó, làm sạch dữ liệu này để loại bỏ các mục trùng lặp và mọi mục nhập không chính xác hoặc không cân bằng. Khi tập dữ liệu được làm sạch, bạn có thể sử dụng các kỹ thuật chia tỷ lệ, chuẩn hóa và chuyển đổi dữ liệu khác để làm cho tập hợp phù hợp với các thuật toán AI. Chia tập dữ liệu của bạn thành ba phần:

• Dữ liệu đào tạo để dạy các mô hình
• Dữ liệu xác thực để đánh giá hiệu suất của mô hình trong quá trình đào tạo
• Kiểm tra dữ liệu để chấm điểm hiệu suất sau khi hoàn thành quá trình đào tạo

Để biết thêm thông tin, hãy xem hướng dẫn chi tiết của chúng tôi về cách chuẩn bị dữ liệu cho máy học .

Bước 3: Chọn kỹ thuật phát hiện bất thường của bạn

Bước này chỉ phù hợp nếu bạn muốn xây dựng một giải pháp tùy chỉnh. Bạn hoặc nhà cung cấp công nghệ của bạn sẽ chọn kỹ thuật trí tuệ nhân tạo phù hợp nhất để giải quyết vấn đề kinh doanh. Có ba yếu tố chính cần xem xét ở đây:

• Nhiệm vụ hiện tại (tham khảo Bước 1 ở trên). Nếu bạn muốn phát hiện các điểm bất thường được xác định cụ thể, thì Variational Autoencoder (VAE) là một lựa chọn tuyệt vời.

  
  

• Các yêu cầu kỹ thuật . Điều này có thể bao gồm mức độ chính xác và chi tiết mà bạn muốn đạt được. Ví dụ: nếu bạn muốn đào tạo một mô hình ML phát hiện ra điểm bất thường trong video, thì việc quyết định tốc độ khung hình tối ưu là điều quan trọng, vì các thuật toán khác nhau sẽ phân tích các khung hình ở các tốc độ khác nhau. Miễn là sự bất thường mà bạn muốn phát hiện có thể xảy ra trong vòng một giây, thì bạn nên nghiên cứu mọi khung hình trong một video clip và việc sử dụng các thuật toán chậm hơn, chẳng hạn như VAE, sẽ trở nên không thực tế. Mặt khác, Phân tách giá trị số ít (SVD) có thể thực hiện công việc nhanh hơn đáng kể.

  
  

• Kích thước của tập dữ liệu đào tạo của bạn . Một số mô hình, chẳng hạn như bộ mã hóa tự động, không thể được đào tạo đúng cách trên các bộ dữ liệu nhỏ.

Bước 4: Xây dựng/mua và đào tạo mô hình

Bạn có thể mua phần mềm phát hiện bất thường được tạo sẵn hoặc triển khai hệ thống tùy chỉnh tương ứng với nhu cầu riêng của bạn và được điều chỉnh cho phù hợp với loại bất thường mà bạn quan tâm.

Bạn có thể chọn hệ thống phát hiện bất thường có sẵn khi bạn có nguồn tài chính hạn chế, không có tập dữ liệu đào tạo tùy chỉnh hoặc không có thời gian để đào tạo mô hình và bạn có thể tìm một nhà cung cấp đã cung cấp giải pháp có thể phát hiện loại bất thường bạn quan tâm đến. Nhưng hãy nhớ rằng các giải pháp này có các giả định tích hợp sẵn liên quan đến đặc điểm dữ liệu và chúng sẽ hoạt động tốt miễn là các giả định này được giữ nguyên. Tuy nhiên, nếu dữ liệu công ty của bạn khác với đường cơ sở đó, thì thuật toán có thể không phát hiện điểm bất thường với cùng độ chính xác.

Nếu có đủ dữ liệu để đào tạo các thuật toán AI, bạn có thể thuê một công ty phát triển máy học để xây dựng và đào tạo một giải pháp phát hiện bất thường tùy chỉnh. Tùy chọn này sẽ được thiết kế để đáp ứng nhu cầu kinh doanh của bạn và phù hợp với các quy trình của bạn. Một lợi ích tuyệt vời khác là bạn vẫn có thể tối ưu hóa giải pháp này ngay cả sau khi triển khai. Bạn có thể điều chỉnh cài đặt của nó để làm cho nó hoạt động nhanh hơn hoặc tập trung vào các thông số khác nhau, tùy thuộc vào yêu cầu kinh doanh thay đổi của bạn.

Bước 5: Triển khai và giám sát giải pháp

Bạn sẽ triển khai giải pháp phát hiện bất thường cục bộ hoặc trên đám mây. Nếu bạn làm việc với ITRex, chúng tôi sẽ có hai tùy chọn để bạn lựa chọn:

• Phát hiện bất thường dựa trên đám mây , nơi chúng tôi tổng hợp dữ liệu từ hệ thống phần mềm, thiết bị và dịch vụ của bên thứ ba, đồng thời truyền dữ liệu đó lên đám mây để lưu trữ và xử lý nhằm giảm tải cho tài nguyên cục bộ của bạn.

  
  

• Phát hiện bất thường ở biên , trong đó các thuật toán ML phân tích dữ liệu của bạn cục bộ và chỉ tải một phần dữ liệu lên đám mây. Cách tiếp cận này phù hợp nhất với các hệ thống quan trọng không chịu được sự chậm trễ, chẳng hạn như xe tự lái và giải pháp IoT y tế.

Các thuật toán ML tiếp tục học hỏi trong công việc, điều này cho phép chúng thích ứng với các loại dữ liệu mới. Nhưng điều này cũng có nghĩa là họ có thể mắc phải thành kiến và những khuynh hướng không mong muốn khác. Để tránh trường hợp này, bạn có thể lên lịch kiểm tra để đánh giá lại hiệu suất của thuật toán và thực hiện các điều chỉnh cần thiết.

ITRex có thể giúp phát hiện bất thường như thế nào

Tại ITRex Group, chúng tôi có nhiều kinh nghiệm với các mô hình máy học, chẳng hạn như Bộ mã hóa tự động biến thể Beta (Beta-VAE) và Mô hình hỗn hợp Gaussian (GMM), IoT, phân tích dữ liệu và trực quan hóa dữ liệu. Chúng tôi đã triển khai những công nghệ này trong các ngành khác nhau, vì vậy chúng tôi biết các chi tiết cụ thể mà các ngành chịu sự quản lý chặt chẽ, chẳng hạn như chăm sóc sức khỏe, mang lại. Chúng tôi sử dụng kết hợp công nghệ nguồn mở và độc quyền, chẳng hạn như công cụ khai thác dữ liệu và khung ML, để phát triển các giải pháp tùy chỉnh và tích hợp chúng vào quy trình kinh doanh của bạn.

Các giải pháp phát hiện bất thường dựa trên AI tùy chỉnh của chúng tôi có thể hoạt động với cả hai tác vụ — phát hiện các điểm bất thường được xác định trước và phát hiện mọi sai lệch so với hành vi tiêu chuẩn đã thiết lập. Bạn có thể chọn sử dụng đám mây để tiết kiệm cơ sở hạ tầng hoặc chúng tôi có thể làm cho hệ thống chạy cục bộ để hỗ trợ các ứng dụng quan trọng không chịu được độ trễ.

Quan tâm đến việc thực hiện một hệ thống phát hiện bất thường? Thả chúng tôi một dòng ! Chúng tôi có thể giúp bạn xây dựng và đào tạo một mô hình ML tùy chỉnh. Ngay cả khi bạn chọn giải pháp làm sẵn, nếu đó là giải pháp mã nguồn mở và có API, thì chúng tôi vẫn có thể đào tạo lại giải pháp đó trên dữ liệu của chính bạn để giải pháp đó phù hợp hơn với hệ thống của bạn!