Bolehkah peranti boleh pakai lama menjalankan kecerdasan buatan generatif moden sepenuhnya di luar talian? Walaupun konsensus industri menganggap AI pada peranti memerlukan memori disatukan berbilang gigabait dan pemecut neural, jurutera perisian baru sahaja memecahkan andaian tersebut. Dalam satu pencapaian pengoptimuman yang đột phá, para pembangun di Better Stack telah menunjukkan cara menjalankan model bahasa besar tempatan secara langsung pada Apple Watch Series 6—menjana sehingga 24 token sesaat tanpa iPhone atau sambungan internet.
Menjalankan AI tempatan pada peranti boleh pakai yang mula dilancarkan pada tahun 2020 kelihatan mustahil memandangkan bajet RAM 1GB yang ketat dan kekangan kotak pasir watchOS. Namun dengan menggunakan model ringan 90 juta parameter Falcon H1 dan memindahkan masa jalanan llama.cpp, para jurutera berjaya mengatasi kependaman awan sepenuhnya. Keputusan ini mendedahkan ruang pengiraan yang mengejutkan dalam Apple Silicon legasi.
Menyebarkan LLM ke atas watchOS membawa cabaran perisian yang berat. Rangka kerja Core ML natif Apple tidak dapat menyusun seni bina Falcon H1, yang bergantung pada Model Ruang Keadaan (SSM) Mamba-2 yang canggih dan bukannya blok perhatian transformer standard. Untuk mengatasi masalah ini, pasukan tersebut menyesuaikan kod C++ sumber terbuka llama.cpp untuk dikompilasi di bawah bendera binaan watchOS.
Tambahan pula, seni bina `arm64_32` Apple Watch mengehadkan pengalamatan penuding kepada ruang 32-bit walaupun memiliki daftar pengiraan 64-bit. Melalui kuantisasi pemberat secara agresif dan memperkemas peruntukan memori, Falcon H1 mengekalkan jejak memori yang rata sepenuhnya tanpa mengira kedalaman penjanaan token. Model 90M menjana teks pada kadar 15 hingga 24 token sesaat—hampir 50 kali lebih pantas daripada Raspberry Pi generasi pertama.
Aplikasi prototaip ini bukan sahaja mengeluarkan rentetan teks; ia memproses gesaan audio pertuturan dan melaksanakan panggilan alat tempatan, seperti menanyakan entri Wikipedia yang dicache atau memformat data cuaca tanpa memanggil API awan luaran. Walaupun model parameter 135M yang lebih besar menolak perkakasan melangkaui margin haba yang selesa, konfigurasi 90M berjalan lancar.
Manfaat Dipelihara (Preserved Benefit): Kecerdasan pada peranti yang benar-benar peribadi, sifar kependaman beroperasi dalam mod pesawat sepenuhnya, menghapuskan yuran langganan dan penjejakan awan.
Pertukaran Nyata (Explicit Trade-Off): Inferens neural tempatan yang berterusan menghasilkan pengumpulan haba yang ketara dan mempercepatkan penyusutan bateri pada sel litium-ion kompak.
Berminat untuk mengetahui bagaimana beban kerja latar belakang yang intensif mempengaruhi masa penggunaan harian peranti anda? Uji persediaan anda dengan alat matriks sensor kami atau kira kehabisan bateri harian dengan penganggar bateri Apple Watch kami.