Bir dil modelini bilgisayarında çalıştırmak, her isteği uzak bir sunucuya göndermeden üretim yapma imkânı sunar. Bunun karşılığında donanım gereksinimleri ve model yönetimi kullanıcıya geçer.
Bellek belirleyici olabilir
Modelin ağırlıkları ve çalışma sırasında oluşturduğu ara veriler bellekte yer kaplar. Sıkıştırma yöntemleri gereksinimi azaltabilir, ancak kalite ve hız üzerindeki etkileri modele göre değişir.
Yerel çalışmak tek başına gizlilik garantisi değil
Kullanılan arayüzün telemetri ayarları ve ek araçların ağ erişimi ayrıca incelenmelidir. Model yerel olsa da eklentiler dış servislere bağlanabilir.
Doğru iş yükünü seç
Kısa taslaklar, sınıflandırma ve çevrimdışı yardımcı görevler iyi başlangıç noktaları olabilir. Üretilen içeriğin doğruluğunu kontrol etme sorumluluğu ortadan kalkmaz.
