JSP-AI-palvelin™
Yrityksen oma paikallinen tekoälypalvelin
SaaS-ympäristöOn-premisesHallittu palvelu
ⓘ Mitä tuotemerkinnät tarkoittavat?
SaaS-ympäristö Ratkaisu voidaan asentaa asiakkaan omaan tai asiakkaan hallitsemaan pilvi- tai SaaS-ympäristöön.
On-premises Ratkaisu voidaan asentaa asiakkaan omaan paikalliseen palvelin- tai virtuaaliympäristöön.
Hallittu palvelu Voimme vastata ratkaisun ylläpidosta, päivityksistä ja teknisestä hallinnasta.
Ratkaisu käytännössä
JSP-AI-palvelin™ on yrityksen oma paikallinen tekoälypalvelin, jossa laskentateho, kielimallit ja niitä tukevat palvelut ovat yhdessä hallitussa kokonaisuudessa. Ratkaisu voidaan toteuttaa paikallisesti, asiakkaan pilvi- tai SaaS-ympäristössä tai hybridinä.
Keskeiset hyödyt
Palvelin tarjoaa paikallisten mallien suorittamisen, selainkäyttöliittymän, LiteLLM-rajapinnan ja RAG-tiedonhaun Qdrantilla. n8n-automaatiot, puheentunnistus, puhesynteesi, kuvagenerointi sekä GPU:n, mallien ja palveluiden hallintanäkymä voidaan ottaa käyttöön tarpeen mukaan. Arkaluonteiset tehtävät voidaan käsitellä paikallisesti ja raskaat mallit käyttää sovittujen rajapintojen kautta.
Asennus ja käyttöönotto
JSP-AI-palvelin™ voidaan toimittaa valmiiksi asennettuna palvelinratkaisuna, asentaa asiakkaan nykyiseen GPU-palvelimeen tai Apple Silicon -pohjaiseen Mac mini -ratkaisuun sekä toteuttaa asiakkaan omassa pilvi- tai SaaS-ympäristössä. Käyttöönottoon sisällytetään sovitut mallit, käyttöoikeudet, tietolähteet, varmistukset ja ylläpitotapa.
Kenelle ratkaisu sopii
Organisaatioille ja teknisille tiimeille, jotka tarvitsevat hallitun ympäristön paikallisille malleille, GPU-laskennalle ja tekoälypalveluille.
Jos vertailet vaihtoehtoja: Valitse JSP-Tekoäly™, kun henkilöstö tarvitsee yhteisen työtilan keskusteluille, avustajille ja aineistoille. Valitse JSP-AI-palvelin™, kun tarvitset paikallisten mallien, GPU-laskennan ja AI-palvelujen hallittua infrastruktuuria.
Keskustele JSP-AI-palvelin™:n toteutuksesta
Tutustu myös kategorian Automaatio ja tekoäly muihin tuotteisiin.
Takaisin JSP-Tuote™-pääsivulle.
Ominaisuudet ja tekninen toteutus
Nimi: ODS (Osmantic Deployment System).
Kehitys: ODS on Apache 2.0 -lisensoitu avoimen lähdekoodin alusta paikallisen AI-palvelininfrastruktuurin käyttöönottoon. Projektin vakaa julkaisu on v2.6.0.
Tietoa: ODS kokoaa paikallisen mallipalvelun, Open WebUI -käyttöliittymän, LiteLLM-rajapinnan, Qdrantin, n8n:n, Whisperin, Kokoron, ComfyUI:n ja hallintanäkymän samaan kokonaisuuteen. Se tukee Linuxia, Windowsia ja Apple Siliconia sekä tunnistaa käytettävissä olevan laitteiston mallivalintaa varten.
Toimituksen sisältö: Toimitukseen sisältyvät sovittu palvelin- tai pilviympäristö, ODS-asennus, mallien ja palveluiden perusasetukset, käyttöoikeudet, varmistukset sekä dokumentoitu ylläpitotapa.
Hinta: Veloitamme laitteistosta tai palvelinresursseista, käyttöönotosta, mallien valmistelusta, integraatioista ja ylläpidosta. Mahdolliset ulkoisten mallien ja rajapintojen käyttömaksut veloitetaan erikseen.
Integraatiot ja rajaukset
JSP-AI-palvelin™ tarjoaa tekoälyn infrastruktuurin. Käyttäjien keskustelut, aineistot ja avustajat toteutetaan JSP-Tekoäly™-ratkaisulla. Hallitut agenttityönkulut toteutetaan JSP-Agenteilla™ ja LLM-kutsujen seuranta JSP-Tekoälyvalvonnalla™. Käyttöoikeudet, hyväksynnät ja politiikat voidaan hallita ConfidentialPath™-palvelulla.
