China: neuer kalter Krieg im Anmarsch?

    Zitat von tomduly

    Das ist kein Problem, man braucht dazu eine etwas leistungsfähigere Workstation mit einem Mainboard, auf dem man mehrere große Grafikkarten gleichzeitig installieren kann und ausreichend RAM unterbringt. ENtsprechendes Netzteil natürlich auch.


    Von den Eckdaten her so etwas:

    • Intel Xeon w9-3475X 36-Kern
    • 0,5 bis 1,5 TB RAM
    • 10 bis 20 TB M.2 SSDs
    • 2 bis 6 KI-Grafikkarten (minimum RTX6000 mit je 48GB, besser A100 mit 80GB)

    So eine Kiste sieht aus wie eine etwas breit geratene normael Workstation, passt also untern Schreibtisch. Kostet je nach Ausstattungsvariante zwischen 70.000 und 150.000 Euro. Darauf läuft ein großes Sprachmodell mit recht guter Performance.

    Typische Anwendung ist eine unternehmensinterne Wissensdatenbank, die man mit allen Unterlagen/Datenbeständen der Firma füttern kann und die man anschließend nutzen kann, z.B. "Erstelle mir eine 5seitige Präsentation über alle Designentwürfe grüner Akkuschrauber, die unser Unternehmen in den letzten 30 Jahren gemacht hat." Und ein paar Sekunden später hat man die Präsentation.

    Baust du so einen Rechner für dein Unternehmen?

    Nö, wir machen Edge AI, das ist das andere Ende von KI-Anwendungen: möglichst schlank, energiesparend und effizient. Auf einem einzelnen Chip mit wenigen Watt Leistungsbedarf. Damit kann man dann z.B. Sensoren "smart" machen und dafür sorgen, dass sie nicht nur rohe Messdaten liefern (z.B. ein Vibrationssignal eines Mikrofons oder Beschleunigungssensors), sondern die Daten gleich eingeordnet werden können: ein bestimmtes Vibratonsmuster tritt z.B. nur bei Überlast auf, ein anderes bei zu hoher Temperatur, eines bei zu niedrigem Öldruck usw. D.h. der Sensor ersetzt im Idealfall eine ganze Reihe anderer Sensoren und liefert eine Diagnose mit.

    Ben können wir das mit der KI Datensammlung irgendwie in einen neuen Thread exportieren?


    tomduly

    Gibt es die Möglichkeit z.B. über Starlink diese Daten an verschiedenen Orten zugänglich zu machen? Ihne direkte Verbindung zum www? Also wie im Heimnetz?

    Zitat von buchemer

    Gibt es die Möglichkeit z.B. über Starlink diese Daten an verschiedenen Orten zugänglich zu machen?

    Das ist ja nichts anderes als ein Server bzw. eine Datenbank auf die man dann remote zugreift. Ob man das per Richtfunk, Feldkabel oder Starlink macht, ist egal - sofern der Standort mit der KI-Workstation über eine VPN-Verbindung von "außen" erreichbar ist.

    Die Hardware ist ja jetzt nicht so die Herausforderung ehrlich gesagt. Das ist Standard Legacy Hardware in der Beschaffung.


    Für mich spannend wäre eher die Softwareseite. Da wäre ich aktuell überfragt wie das abzubilden ist.


    Grüße

    Panger

    Zitat von Panger

    Das ist Standard Legacy Hardware in der Beschaffung.

    Ganz sicher nicht. Die A100/H100-Chips von NVIDIA oder die DGX-Plattform sind alles andere als Standard Legacy Hardware. Sie sind jetzt schon von den USA exportbeschränkt und im Falle eines Ausfall von Taiwans Chipindustrie sind sie "weg" vom Markt. Und nein, es gibt noch nichts vergleichbares auf dem Markt, das an deren Performance auch nur halbwegs herankommt. Natürlich kann ich mit herkömmlicher CPU/GPU-Hardware die Sprachmodelle laufen lassen, aber halt um den Faktor 100 bis 1.000 langsamer.


    Das kann wird in naher Zukunft kriegsentscheidend sein. Man stelle sich einen mobilen Comand&Control-Unterstand beim Militär vor, in dem die Sensordaten/Bilder/Videos von eigenen Drohnen auflaufen und auch die Radar-Daten über anfliegende feindliche Drohnen. Bei gleichzeitig einigen hundert oder tausend Fluobjekten im Erfassungsbereich kann ich mit menschlichen Systemoperatoren nichts vernünftiges mehr ausrichten. Hier brauche ich ein maschinelles System, das die Objekte erfasst, klassifiziert, ihre nächsten Schritte prognostiziert und Gegenmaßnahmen ergreift. Das kann ein KI-Rechner besser, als ein Mensch. Nur sollte der Rechner das dann relativ fix hinbekommen und nicht 10 Tage dafür benötigen. Muss ich für schnelles automatisches Handeln die Command&Control-Stellen mit einem KI-Rechenzentrum verbinden, habe ich eine Schwachstelle: ein Treffer, der das Rechenzentrum lahmlegt, stoppt meine gesamte Luftabwehr. Taktisch klüger sind dezentrale Systeme, die lokal KI-Fähigkeit besitzen. Und dann sind wir wieder bei den o.g. Chips.

    Zitat von buchemer

    Ich glaube ich muss in nvidia Aktien investieren :thinking_face:

    Die dann brutal abstürzen wenn durch einen Angriff auf Taiwan die Herstellungskapatzitäten zerstört werden...

    Was mir an Fachwissen und Intelligenz fehlt mach ich mit (hier könnte ihr Produkt stehen) wieder weg.

    lutra incognita aus DE B/BB

    Zitat von Cephalotus

    Ist das die Vorbereitung für einen Angriffskrieg?

    Hat der oberste Führer von China nicht mehrfach auf den Parteitagen in seiner Rede erwähnt, was alles "China" ist? Er sprach in dieser Hinsicht von:


    - Nord- und Südkorea

    - Japan

    - Taiwan

    - Bereiche der Philippinen.


    Natürlich rüstet China nicht umsonst und natürlich gibt es irgendwann den großen Showdown. Aber mit sehr viel Bedacht und dann war's das für den "Westen".


    Gruß

    SBB

    -<[ Nunquam-Non-Paratus ]>-

    Zitat von tomduly

    Ganz sicher nicht. Die A100/H100-Chips von NVIDIA oder die DGX-Plattform sind alles andere als Standard Legacy Hardware. Sie sind jetzt schon von den USA exportbeschränkt und im Falle eines Ausfall von Taiwans Chipindustrie sind sie "weg" vom Markt. Und nein, es gibt noch nichts vergleichbares auf dem Markt, das an deren Performance auch nur halbwegs herankommt. Natürlich kann ich mit herkömmlicher CPU/GPU-Hardware die Sprachmodelle laufen lassen, aber halt um den Faktor 100 bis 1.000 langsamer.

    Sorry, war vielleicht nicht ganz klar ausgedrückt, ich hatte mich mit meiner Aussage auf das hier bezogen:

    Zitat

    2 bis 6 KI-Grafikkarten (minimum RTX6000 mit je 48GB, besser A100 mit 80GB)

    Die RTX6000 bekommt man aktuell noch an jeder Straßenecke/in jedem Onlineshop


    Grüße

    Panger