ESP32 iPhone Agent

Verwandeln Sie ein sieben-Dollar-ESP32-S3 in ein Gerät, das es einer KI ermöglicht, tatsächlich ein echtes iPhone zu verwenden. Das Board öffnet seinen eigenen Wi-Fi-Hotspot und erscheint in der iOS Screen Mirroring-Liste als ESP32 Agent; Es behält den H.264-Stream ohne ihn auf dem Gerät zu dekodieren und leitet ihn über BLE an eine App weiter, die auf demselben iPhone läuft. Die App dekodiert die Frames, übergibt Screenshots an jedes OpenAI-kompatible Visionsmodell und führt einen Planer sowie einen Aktor aus, der Tipp-, Wischen-, Zeichen-, Tipp-, Tastendruck-, Home- und Finish-Aktionen aussendet. Das gleiche Board ist auch eine Standard-USB-HID-Maus und Tastatur: Mit AssistiveTouch aktiviert macht der relative Zeiger einen Klick mit einem Tipp und einen Ziehen mit einem Streichen, und die App bringt den Zeiger in eine Ecke zurück und winkelt ihn vor präzisen Tipps, um den Drift zu korrigieren, wartend auf den Bildschirm, bevor er sich wieder an das Modell meldet. Kein Computer, kein Jailbreak und kein bezahltes Entwicklerkonto erforderlich (eine kostenlose Apple-ID-Signatur muss alle 7 Tage erneuert werden; ein One-Tap-Hotspot-Beitritt erfordert die Hotspot-Konfigurationsfunktion des bezahlten Kontos, sonst zeigt die App das Passwort zum manuellen Beitritt). Anforderungen und Grenzen: Die AirPlay-Quelle muss ein iPhone sein (macOS-Spiegelung wird nicht unterstützt), iOS 18 oder neuer, BLE trägt etwa 300-500 kbit/s, so dass der Spiegel etwa 480x1040 mit bis zu 5 fps ist, das Sperren des Telefons stoppt das Spiegeln, Passcode-Eingabe, Apple Pay und DRM-Videos werden nicht gespiegelt, der Board-Hotspot hat kein Internet, so dass das Modell über Handy erreicht werden kann, die Tastatureingabe ist nur ASCII und Landschaftsapps werden noch nicht unterstützt. Lizenz: MIT, außer dem AirPlay-Code, der von UxPlay portiert wurde, so dass die Firmware-Binäre, die es verbindet, unter GPL-3.0 geliefert wird.

Projektinformationen

Autor Info

Henry Yuan

Profil ansehen

Verwandte Links

Weiter erkunden