Das ist kein Problem, man braucht dazu eine etwas leistungsfähigere Workstation mit einem Mainboard, auf dem man mehrere große Grafikkarten gleichzeitig installieren kann und ausreichend RAM unterbringt. ENtsprechendes Netzteil natürlich auch.
Von den Eckdaten her so etwas:
- Intel Xeon w9-3475X 36-Kern
- 0,5 bis 1,5 TB RAM
- 10 bis 20 TB M.2 SSDs
- 2 bis 6 KI-Grafikkarten (minimum RTX6000 mit je 48GB, besser A100 mit 80GB)
So eine Kiste sieht aus wie eine etwas breit geratene normael Workstation, passt also untern Schreibtisch. Kostet je nach Ausstattungsvariante zwischen 70.000 und 150.000 Euro. Darauf läuft ein großes Sprachmodell mit recht guter Performance.
Typische Anwendung ist eine unternehmensinterne Wissensdatenbank, die man mit allen Unterlagen/Datenbeständen der Firma füttern kann und die man anschließend nutzen kann, z.B. "Erstelle mir eine 5seitige Präsentation über alle Designentwürfe grüner Akkuschrauber, die unser Unternehmen in den letzten 30 Jahren gemacht hat." Und ein paar Sekunden später hat man die Präsentation.
Baust du so einen Rechner für dein Unternehmen?