
 
 
 
 
 
 
 Autorzy : (1) Avi Schwarzschild, University of Maryland, College Park, Maryland, USA i Praca zakończona podczas pracy w Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, Nowy Jork, Nowy Jork, Stany Zjednoczone; (3) Karthik Rao, Arthur, Nowy Jork, Nowy Jork, Stany Zjednoczone; Keegan Hines, Arthur, Nowy Jork, Nowy Jork, Stany Zjednoczone (5) John Dickerson†, Arthur, Nowy Jork, Nowy Jork, Stany Zjednoczone (john@arthur.ai). Authors: (1) Avi Schwarzschild, University of Maryland, College Park, Maryland, USA i Praca zakończona podczas pracy w Arthur (avi1umd.edu); (2) Max Cembalest, Arthur, Nowy Jork, Nowy Jork, Stany Zjednoczone; (3) Karthik Rao, Arthur, Nowy Jork, Nowy Jork, Stany Zjednoczone; Keegan Hines, Arthur, Nowy Jork, Nowy Jork, Stany Zjednoczone (5) John Dickerson†, Arthur, Nowy Jork, Nowy Jork, Stany Zjednoczone (john@arthur.ai). Stół po lewej Abstrakcja i 1 Wprowadzenie 1.1 Post Hoc Wyjaśnienie 1.2 Problem nieporozumień 1.3 Zachęcanie do konsensusu wyjaśniającego 
 
 
 
 
 
 
 Related Work 
 
 Pear: Post HOC Explainer Agreement Regularizer 
 
 
 
 
 
 
 
 The Efficacy of Consensus Training 4.1 Agreement Metrics 4.2 Improving Consensus Metrics 4.3 Consistency At What Cost? 4.4 Are the Explanations Still Valuable? 4.5 Consensus and Linearity 4.6 Two Loss Terms 
 
 
 
 Discussion 5.1 Future Work 5.2 Conclusion, Acknowledgements, and References Załącznik abstrakcyjna Ponieważ sieci neuronowe coraz częściej podejmują krytyczne decyzje w ustawieniach wysokich stawek, monitorowanie i wyjaśnianie ich zachowania w zrozumiały i wiarygodny sposób jest koniecznością. Jednym z powszechnie stosowanych rodzajów wyjaśniaczy jest atrybucja funkcji post hoc, rodzina metod dawania każdej funkcji w wejściu wyniku odpowiadającego jej wpływowi na wydajność modelu. Głównym ograniczeniem tej rodziny wyjaśniaczy w praktyce jest to, że mogą one nie zgadzać się, które funkcje są ważniejsze niż inne. Nasz wkład w niniejszym dokumencie jest metodą szkolenia modeli z tym problemem niezgodności. Robimy to poprzez wprowadzenie terminu utraty Regularyzacji Porozumienia wyjaśniającego Post hoc (PEAR) wraz ze standardowym termin 1 Wprowadzenie Ponieważ uczenie maszynowe staje się nierozerwalne od ważnych sektorów społecznych, takich jak opieka zdrowotna i finanse, zwiększona przejrzystość sposobu, w jaki złożone modele przychodzą do ich decyzji, staje się krytyczna. W niniejszej pracy analizujemy wspólne zadanie wspierania przejrzystości modeli, które powstaje przy wdrażaniu złożonych modeli czarnych skrzynek w warunkach produkcji: wyjaśnianie, które cechy wejścia mają największy wpływ na wyniki modelu. Ta praktyka pozwala naukowcom danych i praktykom w dziedzinie uczenia maszynowego klasyfikować cechy według znaczenia – cechy o dużym wpływie na wyniki modeli są uważane za ważniejsze, a te o małym wpływie na wyniki modeli są uważane za mniej ważne. 1.1 Post Hoc Wyjaśnienie Metody wyjaśnienia modelu, o których mowa w niniejszym artykule, to lokalne wyniki przypisywania cech post hoc. Pole wyjaśnionej sztucznej inteligencji (XAI) szybko wytwarza różne metody tego Każdy z tych metod ma nieco inną formułę i interpretację jego surowego wyjścia, ale ogólnie rzecz biorąc wszystkie wykonują to samo zadanie przypisywania zachowania modelu do jego właściwości wejściowych. Naukowcy używają wyjaśniaczy post-hoc w coraz większym tempie – popularne metody takie jak LIME i SHAP miały ponad 350 tysięcy i 6 milionów pobrań ich pakietów Python w ciągu ostatnich 30 dni, odpowiednio [23]. 1.2 Problem nieporozumień Eksplozja różnych metod wyjaśnienia prowadzi Krishna et al. [15] do obserwacji, że gdy sieci neuronowe są szkolone naturalnie, czyli tylko dla dokładności, często post hoc wyjaśniacze nie zgadzają się, jak wiele różnych cech wpłynęło na wyniki modelu. Istnieje ważna dyskusja wokół lokalnych wyjaśniaczy i ich prawdziwej wartości w osiągnięciu wspólnego celu przejrzystości modelu i interpretowalności [patrz, np., 7, 18, 29]; rzeczywiście, istnieją dyskusje na temat skuteczności współczesnych metod wyjaśnienia w określonych dziedzinach [dla opieki zdrowotnej patrz, np., 8]. szacunki znaczenia funkcji mogą nie uczynić model bardziej przejrzysty, gdy model jest wyjaśniony jest zbyt złożony, aby umożliwić łatwe przypisanie wyniku do wkładu każdej indywidualnej cechy. W niniejszym artykule nie podejmujemy żadnych normatywnych osądów w odniesieniu do tej debaty, ale raczej postrzegamy „wyjaśnienia” jako sygnały, które mają być wykorzystywane wraz z innymi podejściami do debugowania, walidacji i weryfikacji w procesie operacji uczenia maszynowego (MLOps). 1.3 Zachęcanie do konsensusu wyjaśniającego Konsensus między dwoma wyjaśniaczami nie wymaga, aby wyjaśniacze wydawali te same dokładne wyniki dla każdej funkcji. Zamiast tego konsensus między wyjaśniaczami oznacza, że wszelkie nieporozumienia, które wykazują, można pogodzić. Naukowcy danych i praktycy uczenia maszynowego mówią w badaniu, że wyjaśnienia są w podstawowym porozumieniu, jeśli spełniają metryki porozumienia, które są zgodne z ludzką intuicją, co zapewnia ilościowy sposób oceny stopnia, w jakim osiąga się konsensus [15]. W obliczu nieporozumień między wyjaśniaczami, należy dokonać wyboru, co zrobić dalej – jeśli takiego arbitralnego momentu skrzyżowania można uniknąć za pomocą specjalistycznego szkolenia modelowego, uważamy, Proponujemy, jako nasz główny wkład, rutynowe szkolenie, aby pomóc złagodzić wyzwanie wynikające z post-hoc nieporozumień wyjaśniających. Osiągnięcie lepszego konsensusu między wyjaśnieniami nie zapewnia większej interpretowalności modelu wrodzonego. Ale może dać więcej zaufania do wyjaśnień, jeśli różne podejścia do przypisywania zgadzają się częściej na to, które cechy są ważne. To daje konsensusowi praktyczną korzyść z działania jako sprawdzanie zdrowia – jeśli konsensus jest obserwowany, wybór wyjaśniacza, którego praktykujący używa, jest mniej konsekwentny w odniesieniu do wpływu dalszych zainteresowanych stron, czyniąc ich interpretację mniej subiektywną. 2 Powiązane prace Nasza praca koncentruje się na narzędziach wyjaśniających post-hoc. Niektóre wyjaśniacze post-hoc, takie jak LIME [24] i SHAP [21], są modelami proxy przeszkolonymi na podstawie modelu uczenia maszynowego z jedynym zamiarem „wyjaśnienia” tego modelu bazowego. Te wyjaśniacze opierają się tylko na wejściach i wyjściach modelu, aby zidentyfikować charakterystyczne cechy. Inne wyjaśniacze, takie jak Vanilla Gradients (Grad) [32], Gradient Times Input (Grad*Input) [30], Integrated Gradients (IntGrad) [37] i SmoothGrad [34], nie używają modelu proxy, ale zamiast tego obliczają gradienty modelu w odniesieniu do cech Opieramy się bezpośrednio na wcześniejszej pracy, która definiuje i bada problem niezgodności [15]. Niezgodność tutaj odnosi się do różnicy w punktach znaczenia funkcji między dwoma metodami przypisania funkcji, ale można ją zmierzyć na kilka różnych sposobów opisanych przez metryki Krishna et al. [15] zdefiniować i użyć. Metoda, którą proponujemy w tym artykule, odnosi się do wcześniejszej pracy, która szkoli modele z ograniczeniami na wyjaśnienia za pośrednictwem kary na niezgodności między wynikami przypisywania cech i rzemieślniczych wyników podstawowej prawdy [26, 27, 41]. Ponadto, prace zostały wykonane w celu wykorzystania niezgodności między różnymi wyjaśnieniami post-hoc do konstruowania nowych wyników przypisywania cech, które poprawiają metryki, takie jak stabilność i porozumienie pary ranking [2, 16, 25]. 
 
 Niniejszy dokument jest dostępny pod licencją CC BY 4.0 DEED. Ten dokument jest Licencja CC BY 4.0 DEED. Dostępne w Archiwum Dostępne w Archiwum

Part of HackerNoon's growing list of open-source research papers, promoting free access to academic material.

Read My Stories

No technological innovation comes without sacrifice. The pendulum will swing back to the people! Wanna' be 501c3.

Reckoning's Blog

Ten dźwięk jest produkowany w oryginalnym języku historii!

Za długo; Czytać

Make resilience your competitive advantage

Nowe badanie AI rozwiązuje problem przejrzystości w modelach czarnych skrzynek

About Author

UWAGI

ZAWIEŚĆ TAGI

ARTYKUŁ TEN ZOSTAŁ PREZENTOWANY W

Related Stories

HackerNoon - A User Experience Analysis: Part 1

The Noonies 2022 Award Goes to Madalin Muraretiu - Contributor of The Year - Cryptocurrency Edition

Meet the Writer: Hacker Noon's Contributor Elay Romanov of Daiger

Google's Gemini AI: A Thought Experiment in Deception

HackerNoon - A User Experience Analysis: Part 1

The Noonies 2022 Award Goes to Madalin Muraretiu - Contributor of The Year - Cryptocurrency Edition

Meet the Writer: Hacker Noon's Contributor Elay Romanov of Daiger

Google's Gemini AI: A Thought Experiment in Deception

Light-Mode

Classic

Newspaper

Dark-Mode

Neon Noir

Minty

HN StartUps