Eine kritische Bewertung von Deep Learning

Blog

Eine kritische Bewertung von Deep Learning

Einführung

Alle und ihre Großeltern sprechen darüber: Künstliche Intelligenz, Deep Learning (DL), Machine Learning, Robotics, etc… Manchmal all diese Begriffe auf einmal im selben Satz, manchmal als Synonyme. Wenn eines sicher ist, haben diese Themen an Popularität gewonnen, so dass die breite Öffentlichkeit immer mehr Erwartungen hat. Große Fortschritte bei der Gesichtserkennung, Bildklassifikatoren, beim KI-gegen-Human-Gaming (GO, DOTA) oder selbstfahrenden Autos haben einen verständlichen Hype ausgelöst. Der Hype selbst wurde auch durch die übereifrigen Versprechen von CEOs und führenden Forschern angetrieben.

Aber der Hype überlebt nur, wenn konkrete Anträge gestellt werden, und dieser verzögert sich immer noch. Im Laufe der Zeit setzt in einigen Bereichen eine langsame Ernüchterung ein. Chatbots sind ihrem Hype nicht gerecht geworden. Selbstfahrende Autos und neuronale Netze als Ganzes könnten die nächsten sein. In diesem Artikel werde ich Gary Marcus’ kritische Bewertung von Deep Learning¹ überprüfen und mit persönlichen Kommentaren und einigen Ressourcen ergänzen, um weiter zu gehen.

Herausforderungen von Deep Learning-Systemen

In seinem Paper (2018) diskutiert Marcus die offenen Herausforderungen des Deep Learning.

Deep Learning ist datenhungrig

Zum Beispiel braucht der Mensch ein paar Versuche oder Datenbeispiele, um diese in umsetzbare zu verwandeln.

  • Marcus nimmt das Beispiel eines erfundenen Wortes, eines ‘ schmister ’. In unserem Beispiel ist es definiert als „eine Schwester über 10, aber unter 21 Jahren zu haben“. An einem Beispiel können Sie leicht erkennen, ob Sie ein schmister , oder wenn Freunde es tun. Und mehr, durch Abzug können Sie ableiten, dass Ihre Eltern wahrscheinlich keine haben.

Marcus unterstreicht hier das derzeitige Fehlen eines Mechanismus zum Lernen von Abstraktionen durch explizite, verbale Definition. Stattdessen funktioniert es am besten, wenn es Tausende, Millionen oder sogar Milliarden von Trainingsbeispielen gibt, wie bei der Leistung von DeepMind bei Spielen.

Kurz gesagt, bei Problemen mit knappen Daten ist Deep Learning noch keine ideale Lösung. Das Aufkommen von Small Data im Deep Learning könnte jedoch Veränderungen mit sich bringen.

Deep Learning ist oberflächlich und hat eine begrenzte Transferkapazität

Kehren wir zu einem Spielbeispiel zurück und verwenden Ataris Breakout. Falls Sie nicht vertraut sind, verwenden Sie das Pad, um den Ball zu lenken und Steine ​​​​zu zerbrechen. Eine perfekte Technik wäre, einen Tunnel zu bauen, damit der Ball durch die Wand kommt, dann den Ball hin und her springen lassen und Ziegelsteine ​​​​zerstören, während Sie einen Kaffee genießen.

Atari-Ausbruch — Quelle: Wikipedia

  • Marcus erklärt, dass ein Modell in der Lage sein könnte, dieses Spiel zu meistern, genauso wie Sie es gerade getan haben, indem es einen Tunnel baut. Aber es hat kein Verständnis dafür, was ein Tunnel, eine Kugel oder eine Wand sind. Das Modell bildete nur die Eventualitäten für ein bestimmtes Szenario ab, wobei die Lösungen oft oberflächlich waren. Es würden nur geringfügige Änderungen, wie die Position von Balken, Wand usw., das System unbrauchbar machen und seine Oberflächlichkeit zeigen.

Kurz gesagt, durch Deep Learning extrahierte Muster sind oberflächlicher, als sie zunächst erscheinen.

Dies gilt für das mangelnde Verständnis eines Tunnels, einer Wand, aber die Behauptungen über mangelnde Anpassungsfähigkeit (Änderung des Setups im Spiel) wurden im Sommer 2018 von OpenAIs DOTA größtenteils widerlegt.²

Deep Learning ist nicht ausreichend transparent (auch bekannt als Black-Box)

Dies ist eine häufige Bemerkung und Kritik am Deep Learning. Aber wie wichtig ist es? Ich persönlich bin auf verschiedene Meinungen zu diesem Thema gestoßen. Wie der Autor anmerkt, hängt es wirklich von der Branche ab. Vielleicht möchten Sie verstehen, wie eine Entscheidung getroffen wurde, und das Ausmaß der Voreingenommenheit verstehen, insbesondere wenn sie zu wichtigen Entscheidungen über Leben und Tod führen könnte. Zu verstehen, wie es funktioniert, könnte diese Voreingenommenheit aufdecken und uns helfen, es zu verbessern oder besser zu debuggen.

Deep Learning ist nicht gut mit Vorwissen integriert

Marcus argumentiert, dass der vorherrschende Ansatz in sich geschlossen ist und von potenziell nützlichem Wissen isoliert ist. Es besteht kein starkes Interesse daran, bereits etabliertes Wissen zu integrieren, beispielsweise wie ein Turm einstürzt und wie die Regeln der Physik in Deep-Learning-Systemen funktionieren. Ein weiteres Anliegen ist, „wie“ dieses Wissen integriert werden könnte. In DL-Systemen ist Wissen typischerweise das Ergebnis von Korrelationen zwischen Merkmalen. Wie der Autor bemerkte, sind diese Korrelationen oft undurchsichtig, und dieses Wissen steht im Gegensatz zu quantifizierten Aussagen wie „alle Menschen sind sterblich“.

#deep-learning #future #künstliche-intelligenz

zudatascience.com

Eine kritische Bewertung von Deep Learning

In diesem Artikel werde ich Gary Marcus’ kritische Bewertung von Deep Learning¹ überprüfen und mit persönlichen Kommentaren und einigen Ressourcen ergänzen, um weiter zu gehen.