freellmpool: ücretsiz LLM uç noktalarını toplayan yerel bir MCP geçidi
freellmpool, 0xzr tarafından geliştirilen, birçok Büyük Dil Modelinin ücretsiz katmanlarını tek bir yerel uç noktada toplayan açık kaynaklı bir Model Bağlam Protokolü (MCP) sunucusu ve API geçididir. Araç, birden fazla barındırılan sağlayıcıyı bir araya getirir, OpenAI ile uyumlu bir arayüz sunar ve yönlendirme, kullanım takibi ve anında test için anahtarsız hızlı başlangıç yolları sağlar. Geliştiricilere ve AI kodlama kullanıcılarına yönelik olarak, ajan geliştirme sırasında birçok sağlayıcı SDK'sını ve anahtarını yönetme çabasını azaltır.
Birçok barındırılan modeli toplar ve ajanlar için MCP yerel araçlarını açığa çıkarır
freellmpool, bir MCP sunucusu olarak çalışır ve 24'ten fazla sağlayıcı ile 400'den fazla sohbet modelini kataloglar, ayrıca AI istemcileri için 'sor', 'savaş' ve 'tarif' gibi özel araçlar sunar. Araç, Codex tarzı ve Anthropic tarzı mesajlaşma için shim'ler içerir ve Claude Desktop ve Cursor gibi MCP uyumlu istemcilerle uyumluluğu listeler.
- Sağlayıcı kataloğu: 24+ sağlayıcı
- Model kataloğu: 400+ sohbet modeli
- Ajan hedefleri: Claude Code, Cursor gibi kodlama ajanları
Yönlendirme ve soğuma mantığı istek akışını korur ancak dış erişilebilirliğe bağlıdır
Otomatik devreye alma ve yönlendirme, istekleri yönlendirir bir sağlayıcı oran sınırı hataları döndürdüğünde veya çevrimdışı olduğunda, ve araç, sınırları aşan sağlayıcıları tekrar eden 429 hatalarını önlemek için bench'leyen akıllı bir soğuma uygular. Kullanım izleme, günlük tüketimi izler, böylece yük dağıtılır; bu nedenle süreklilik, tek sağlayıcı kurulumlarına göre iyileşir, ancak gerçek çalışma süresi ve verim, havuzlanmış ücretsiz katman hizmetlerine bağlı kalır.
Deneyler için düşük kurulum entegrasyonu, sürdürülebilir iş yükleri için pratik sınırlar
Kurulum ve entegrasyon hızlı deneyleri hedefler: araç, Python (pip) aracılığıyla kurulur, masaüstü platformlarında CLI kullanımını destekler ve mevcut yazılımların yerel uç noktayı kod değişiklikleri olmadan kabul etmesi için OpenAI/Anthropic uyumlu bir proxy sağlar. Anahtarsız hızlı başlangıç, belirli sağlayıcılara anında erişim sağlar ve kullanıcılar daha yüksek kotalar için kendi anahtarlarını ekleyebilir. Ücretsiz katmanları topladığı için, araç prototipleme ve ajan testleri için uygundur, garantili yüksek hacimli üretim çalışmaları için değil.
Deneysel kullanım için pratik bir seçim, garantili üretim verimliliğine daha az uygun
freellmpool, birçok barındırılan modele tek bir yerel uç nokta üzerinden hızlı erişim gerektiren geliştiriciler ve AI-kodlama kullanıcıları için pratik bir seçenektir; model davranışı ve kullanılabilirliği yukarı akış sağlayıcılarını yansıtır, bu nedenle bu ücretsiz katmanlarla bağlantılı değişkenlik bekleyin. Çıktıları yukarı akış model yanıtları olarak değerlendirin ve sürdürülebilir kapasite veya daha katı çalışma süreleri garantileri gerekiyorsa sağlayıcı anahtarları ile tamamlayın.
