W ostatnich kilkunastu miesiącach korzystanie z chatbotów AI stało się codziennością dla ogromnej części użytkowników internetu. Ma to jednak swoje konsekwencje – użytkownicy muszą polegać na chmurze obliczeniowej i zaakceptować fakt, że ich zapytania są przetwarzane na serwerach wielkich firm technologicznych. Twórcy CrankGPT postanowili sprawdzić, czy sztuczna inteligencja może działać bez internetu i zewnętrznego źródła zasilania.
Tak powstał nietypowy gadżet od Squeez Labs. Chatbot AI zamknięty w niewielkiej skrzynce nie potrzebuje ani dostępu do sieci, ani gniazdka elektrycznego. Zamiast tego wystarczy zakręcić korbką.
Jak to działa?
W środku CrankGPT znajduje się Raspberry Pi (jednopłytkowy komputer wielkości karty kredytowej) wyposażone w 8 GB pamięci RAM. Urządzenie wykorzystuje niewielkie modele AI od Google i Meta, które działają lokalnie. Dzięki temu może rozpoznawać mowę, odpowiadać na pytania czy tłumaczyć teksty bez wysyłania danych do chmury.
Najciekawsze jest to, że według producentów ten gadżet może działać nawet przez 100 lat. Wystarczy przechowywać CrankGPT w suchym miejscu i w stałej temperaturze. Zastrzegają jednak, że od czasu do czasu będzie trzeba wymienić kartę pamięci.
A jak z samym zadawaniem pytań i otrzymywaniem odpowiedzi? Wychodzi na to, że trzeba przez około 30 sekund kręcić korbką, aby naładować urządzenie i uruchomić cały system. Potem Crank działa przez jakieś 20 sekund, w których docelowo ma odpowiedzieć na zadane pytanie, a jak chcemy kontynuować rozmowę, to kręcimy dalej.
Gotowi na koniec świata
Film demonstracyjny pokazuje, że nawet w świecie pozbawionym elektryczności i internetu CrankGPT nadal odpowiada na pytania o kolibry oraz tłumaczy obce języki. Wszystko dzięki sile własnych mięśni.
Na stronie Squeez Labs producenci żartują, że dają też dostęp do mocniejszych wersji gadżetu. Jeśli ręczna korbka okazuje się niewystarczająca, zawsze można przesiąść się na rower treningowy albo zaangażować całą grupę znajomych do wspólnego pedałowania i generowania odpowiedzi od sztucznej inteligencji.
Czy da się zrezygnować z wielkich serwerowni?
Projekt sam w sobie jest oczywiście prowadzony w żartobliwy sposób, ale manifest jest całkiem słuszny. Squeez Labs chce pokazać, że przyszłość sztucznej inteligencji nie musi oznaczać wyłącznie coraz większych serwerowni. Wraz z rozwojem wydajniejszych modeli i mocniejszych urządzeń część zadań może odbywać się lokalnie, z dbałością o prywatność użytkowników i mniejszym wpływem na środowisko.
Co myślimy o CrankGPT? Głupi gadżet czy sarkastyczny komentarz dotyczący przyszłości technologii?
Źródła:
https://www.theverge.com/ai-artificial-intelligence/953083/this-llm-in-a-box-is-powered-by-a-hand-crank
https://tech.yahoo.com/ai/meta-ai/articles/theres-no-reason-thing-won-170023511.html