O rápido aumento das necessidades de cache KV dos modelos de inteligência artificial está forçando os limites relacionados à largura de banda da memória e ao consumo de energia nos data centers. Embora as soluções SRAM existentes ofereçam alta velocidade, elas permanecem limitadas devido às restrições de escalabilidade e ao alto custo. Enquanto as memórias HBM oferecem alta capacidade, enfrentam uma barreira de energia muito grande à medida que a largura de banda aumenta. Buscando uma solução para esse problema, a d-Matrix anunciou a tecnologia Raptor 3D DRAM, que remove a camada PHY e integra a memória sob o chip lógico.
A arquitetura Raptor 3D DRAM oferece uma diferença radical em termos de eficiência quando comparada às soluções HBM4 tradicionais. Em cada chiplet, a camada lógica produzida pelo processo de fabricação de 4 nm da TSMC é posicionada sobre a camada especial de 3D DRAM por meio de empilhamento vertical Face-to-Face a 36 micra. Dessa forma, as limitações físicas e as restrições da interface PHY são eliminadas. O sistema, que oferece capacidade de 32 GB em uma única camada empilhada, fornece largura de banda de 100 TB/s com consumo de energia de 0,37 pJ/bit.
Considerando que as memórias HBM4 consomem 2 a 3 pJ/bit de energia para atingir uma largura de banda de 18 TB/s, a arquitetura Raptor oferece 5,6 vezes mais largura de banda consumindo de 5 a 8 vezes menos energia.
A d-Matrix não é a única empresa que atua no campo da integração vertical de memória. A arquitetura zHBM de três estágios da Samsung, que utiliza um método semelhante de empilhamento vertical, também pretende aumentar o desempenho e proporcionar economia de energia ao posicionar as camadas de memória verticalmente, diretamente sobre o processador. Em contrapartida, a d-Matrix posiciona a camada lógica no topo da arquitetura Raptor, facilitando a dissipação do calor por meio de soluções de refrigeração líquida. O sistema opera com uma densidade de potência de 0,5 W/mm² por chiplet e foi projetado para suportar uma temperatura de junção de 105 °C. Para evitar correntes de fuga que ocorrem em altas temperaturas, a taxa de atualização da memória é aumentada em 8 vezes, ajustando o intervalo de atualização para uma vez a cada 4 milissegundos. Esse processo resulta em uma perda de apenas 1,37% na largura de banda total da memória.
Para reduzir a energia consumida durante a transferência de dados, foram aplicadas correspondências específicas em nível de arquitetura.
Os 256 motores tensoriais presentes no chiplet são diretamente correspondidos à largura física dos bancos DRAM. Enquanto os 3 bancos de cada canal fornecem 96 bytes de dados, o fluxo de 128 bytes exigido pelos motores tensoriais é disponibilizado por meio de um mecanismo de agrupamento em 4, sem causar perda de largura de banda. Para aumentar o rendimento da fabricação, são utilizados projetos de microbancos pequenos, com 1.366 linhas e capacidade de 5,33 megabytes. Para lidar com possíveis erros, a camada lógica inclui o código de correção de erros Reed-Solomon T=2 (ECC), capaz de corrigir erros de 2 símbolos em 128 bytes.
Em testes realizados em nível de sistema, a d-Matrix Raptor 3D DRAM fornece 23,4 vezes mais largura de banda por milímetro quadrado, com uma taxa de utilização efetiva da largura de banda de 83% a 85% em comparação com a plataforma NVIDIA Rubin R200 HBM4. Além disso, apresenta uma eficiência energética 13,5 vezes maior na métrica de gigabytes por segundo por miliwatt.
Ao equilibrar alta velocidade de processamento e eficiência energética, essa arquitetura oferece uma alternativa de alto desempenho aos gargalos de memória enfrentados, especialmente, nos processos de inferência de grandes modelos de linguagem e de agentes autônomos de inteligência artificial.