Amazon schafft mit seinem neuen Shop-Konzept Amazon Go den lästigsten Teil beim Einkauf ab: Das Bezahlen an der Kasse. Schlange stehen war gestern. Möglich macht das "Sensor Fusion". Doch was verbirgt sich hinter dem Zauberwort? Amazon macht daraus ein Geheimnis. Mit welcher Technik also revolutioniert Amazon den Einkauf im Supermarkt?
Kombination von innovativer Technik
Doch wie erkennt das System im Laden, welche Waren ein Kunde in dem Mini-Laden (knapp 170 qm) in Seattle einsteckt.
Amazon selbst begnügt sich mit nebulösen Schlagworten, spricht von “computer vision, sensor fusion and deep learning” und lässt lediglich durchblicken, dass man Technologien einsetze, wie man sie von selbstfahrenden Autos kennt.
Kameras und eine Kombination unterschiedlicher Sensoren füttern also einen lernenden Algorithmus, der erkennen soll, welche Produkte Kunden aus dem Regal nehmen – oder wieder zurückstellen.
Amazon dürfte dabei auf eine Technik bauen, die ähnlich der Gesichtserkennung Gegenstände aus unterschiedlichsten Winkeln erkennt und über Modelle, wie wir sie von RFID kennen, die jeweilige Position von Kunde und Produkt bestimmen. Zudem können Sensoren zum Einsatz kommen, die das Gewicht der Produkte im Regal – oder gar das Gewicht oder die Größe des Kunden erkennen.
Amazon Go
Die Daten über den Nutzer spielen nämlich womöglich eine zentrale Rolle für die künstliche Intelligenz des lernenden Algorithmus und die Erkennung der Artikel.
Das muss man sich dann – grob vereinfacht - so vorstellen:
- Der Kunden greift sich eine rote Flasche aus dem Regal.
- Die Kameras erkennen eine rote Flasche und registrieren, dass der Kunde das Produkt behält. Die Kameras erkennen aber nicht genau das Produkt, weil ein anderer Kunde die Sicht verdeckt.
- Der Kunde kauft regelmäßig Ketchup.
- Der Ketchup steht normalweise genau an dieser Stelle.
- Das System fügt Ketchup zum Warenkorb hinzu.
Patentantrag erklärt das System von Amazon Go
Etwas mehr Licht in die nebulöse Technik bringt ein Patentantrag, den ReCode vor einem Jahr ausgegraben hatte.In dem Dokument listet Amazon detailliert einsetzbare Technologien und Szenarien auf.
Beispiel 1:
“The identity of items picked and/or placed into inventory locations within the materials handling facility may be identified based on data received from a variety of input devices. For example, an image capture device (e.g., a camera) may capture a series of images of a user's hand before the hand crosses a plane into the inventory location and also capture a series of images of the user's hand after it exits the inventory location. Based on a comparison of the images, it can be determined whether the user picked an item from the inventory location or placed an item into the inventory location. … Likewise, image analysis can be used to identify if the user is holding an item in their hand before the hand crosses into the inventory location but is not holding an item when the hand is removed from the inventory location (the user placed an item into the inventory location).”
Beispiel 2:
“In addition to cameras, other input devices, such as pressure sensors, infrared sensors, a scale, load cells, a volume displacement sensor, a light curtain, etc., may be utilized with the implementations described herein. For example, a pressure sensor and/or a scale may be used to detect when an item is added and/or picked from inventory locations. Likewise, an infrared sensor may be used to distinguish between a user's hand and inventory items. In another example, load cells may be positioned on a surface of the transition area to detect when a user is passing through the transition area.”
Beispiel 3:
“For example, if it is determined that an item is placed into an inventory location, in addition to image analysis, a weight of the item may be determined based on data received from a scale, pressure sensor, load cell, etc., located at the inventory location. The image analysis may be able to reduce the list of potentially matching items down to a small list. The weight of the placed item may be compared to a stored weight for each of the potentially matching items to identify the item that was actually placed in the inventory location. By combining multiple inputs, a higher confidence score can be generated increasing the probability that the identified item matches the item actually picked from the inventory location and/or placed at the inventory location. In another example, one or more radio frequency identifier ("RFID") readers may collect or detect an RFID tag identifier associated with a RFID tag included in the item.”
Beispiel 4:
“For example, if the inventory management system cannot determine if the picked item is a bottle of ketchup or a bottle of mustard, the inventory management system may consider past purchase history and/or what items the user has already picked from other inventory locations. For example, if the user historically has only picked/purchased ketchup, that information may be used to confirm that the user has likely picked ketchup from the inventory location.”
Damit wird aber auch deutlich, warum sich Amazon hinter einem eher allgemeinen Begriff wie „Sensor Fusion“ versteckt. Die Überwachung im Laden könnte, bis hin zur Nutzung von Audio-Signalen, beispielsweise zur genaueren Standortbestimmung, nahezu umfassend sein.
Das muss sie auch. Denn Amazon will auch prüfen können, ob beispielsweise ein Produkt von einem Kunden an einen weiteren Kunden („John-Boy, gib mir mal die Butter“) weitergereicht wird.
Übersehen sollte man bei der „Just walk out technology“ (Amazon O-Ton) zudem folgende Aspekte nicht:
1. Das Konzept eignet sich nicht nur für Lebensmittel, sondern lässt sich vermutlich auch auf andere Branchen wie Mode, Elektronik, Spielwaren, Kosmetik oder Bücher übertragen.
2. Da der Kunde das Smartphone einsetzen muss, um sich Zugang zum Laden zu verschaffen, ist er auch offener für weitere mobile Informationen (aka Angebote) per App.
3. Durch die Verknüpfung mit der App sammelt Amazon Daten über das Offline-Einkaufsverhalten. Diese Informationen können wiederum für Online-Angebote genutzt werden. Umgekehrt lässt sich analysieren, welche Online-Offerten Einfluss auf das stationäre Einkaufsverhalten haben.
4. Amazon-Pläne in Sache Brick & Mortar, die Rede ist bekanntlich von bis zu 2000 Ladeneröffnungen in den kommenden Jahren rund um Buchgeschäfte, Pick-up-Stores (der erste Laden wird alsbald in Seattle eröffnet), und Amazon fresh-Shops, werden mit der neuen Technik zu einer weitaus gewaltigeren Bedrohung denn je. Amazon könnte die Expansion nämlich mit einem Bruchteil der Personalkosten wuppen.
