La nova capa d'infraestructura d'IA de vídeo: AWS i Decart lideren la generació en temps real

El repte del temps real

Fins ara, la generació de vídeo amb IA ha significat esperar. Sora 2 triga minuts per generar segons. Fins i tot els models de codi obert ràpids com LTX-Video mesuren el rendiment en segons per fotograma, no fotogrames per segon.

Per a contingut interactiu, jocs, entorns virtuals, comunicacions en directe, aquesta latència és fatal. No pots tenir un joc on l'entrada del jugador triga 30 segons a reflectir-se en pantalla.

L'enfocament de Decart: models de món per a jocs

Decart ha estat treballant silenciosament en generació de vídeo en temps real des de 2024. El seu producte estrella és un motor de jocs impulsant-se completament a través de generació de vídeo amb IA en lloc de pipelines de renderitzat tradicionals.

La simplicitat és convincent. Però obtenir difusió a velocitats de fotograma interactives requereix avenços arquitectònics.

La inversió en infraestructura d'AWS

Aquí és on l'anunci d'AWS de novembre de 2025 es torna important. No estan només oferint més GPUs al núvol, estan construint xips i sistemes específicament per a inferència de vídeo amb IA en temps real.

El missatge és clar: AWS veu la generació de vídeo amb IA en temps real com una càrrega de treball d'infraestructura central, prou valuosa per construir silici personalitzat.

El pipeline tècnic: com funciona 60 FPS

Aconseguir temps real requereix múltiples optimitzacions treballant juntes:

1. Destil·lació de model

# Conceptual: destil·lar model de 50 passos a model de 4 passos
class DistilledDiffusion:
    def __init__(self, teacher_model, num_student_steps=4):
        self.student = StudentNetwork()
        self.num_steps = num_student_steps
 
        # Entrenar estudiant per igualar sortida del professor en menys passos
        self.distill_from(teacher_model)
 
    def generate(self, latent, conditioning):
        # Només 4 passos de dessoroll en lloc de 50
        for t in self.timesteps[:self.num_steps]:
            latent = self.student.denoise_step(latent, t, conditioning)
        return latent

La destil·lació comprimeix el coneixement d'un model de 50 passos a un de 4 passos. Perds una mica de qualitat, però guanyes 10x de velocitat.

2. Memòria cau temporal

Quan generes vídeo, els fotogrames consecutius són similars. La memòria cau intel·ligent reutilitza la computació:

class TemporalCachedDiffusion:
    def __init__(self):
        self.feature_cache = {}
 
    def generate_frame(self, latent, frame_id, conditioning):
        # Reutilitzar característiques de l'atenció espacial del fotograma anterior
        if frame_id > 0:
            spatial_features = self.feature_cache.get(frame_id - 1)
            # Només recalcular el que va canviar
            delta_features = self.compute_delta(latent, spatial_features)
            features = spatial_features + delta_features
        else:
            features = self.compute_full(latent)
 
        self.feature_cache[frame_id] = features
        return self.decode(features)

3. Resolució adaptativa

Les regions estàtiques es renderitzen a resolució més baixa mentre les zones d'alta acció obtenen tots els recursos:

def adaptive_resolution_generate(frame, motion_map):
    # Àrees d'alta velocitat: resolució completa
    # Àrees de baixa velocitat: 1/4 resolució, upscaled
    high_motion_mask = motion_map > threshold
 
    high_res = generate_full(frame, high_motion_mask)
    low_res = generate_quarter(frame, ~high_motion_mask)
 
    return composite(high_res, upsample(low_res), high_motion_mask)

Aplicacions reals

L'economia de la transició

El cronograma

Basant-me en anuncis i trajectòries, aquí està la meva expectativa per a la disponibilitat de vídeo amb IA en temps real:

Implicacions per als desenvolupadors

Si estàs construint qualsevol cosa interactiva amb vídeo, comença a pensar en arquitectures de difusió ara:

• ✓Entén les teves taxes de fotograma i pressupostos de latència
• ✓Investiga models destil·lats i les seves compensacions de qualitat
• ✓Dissenya per a inferència en streaming vs generació per lots
• ✓Considera arquitectures híbrides que barregin renderitzat tradicional i IA

La infraestructura existirà. La pregunta és: estàs llest per utilitzar-la?

El panorama general

Pensa en les implicacions:

• Jocs on cada sessió és en un món únic
• Formació en entorns generats procedimentalment que mai es repeteixen
• Entreteniment que respon visualment a les reaccions del públic
• Comunicació on els fons i entorns s'adapten en temps real

Estem passant d'"IA genera contingut per avançat" a "IA genera realitat en temps real". L'escala d'inversió d'AWS suggereix que això no és recerca especulativa, és planificació d'infraestructura per a una transició que veuen venir.

La pregunta ja no és si el renderitzat de vídeo amb IA en temps real és possible. La pregunta és quan serà més barat que les alternatives, i per a quines aplicacions.

La resposta, cada vegada més, és aviat i moltes.

Fonts

• Anuncis d'AWS re:Invent 2025
• Oasis de Decart: generació de vídeo en temps real