A era da inferência de inteligência artificial está viabilizando aplicações como a análise de dados em tempo real, que acelera as pesquisas na área da saúde, e assistentes que resolvem milhares de solicitações de clientes simultaneamente. Na base desses serviços está uma infraestrutura que sustenta a inteligência em operação contínua e os endpoints inteligentes da IoT e dos dispositivos de consumo. A latência, os gargalos e o desperdício de energia afetam os resultados para as pessoas e os custos operacionais.
O fato de as cargas de trabalho de inferência serem contínuas, geograficamente distribuídas e sensíveis ao tempo de resposta exige que o desempenho, a largura de banda da memória, a taxa de transferência do armazenamento e a rede sejam projetados em conjunto. Segundo Jim McGregor, fundador e analista-chefe da Tirias Research, a inteligência artificial não é uma única carga de trabalho, mas é composta por milhares, milhões e bilhões de cargas de trabalho diferentes. A otimização depende não apenas do poder de processamento, mas também da coordenação entre memória, armazenamento e rede.
Embora adicionar sistemas modernos de inteligência artificial à infraestrutura legada seja insuficiente, são necessárias arquiteturas escaláveis, resilientes e eficientes. A memória e o armazenamento ocupam o centro do sistema; o pipeline de dados precisa receber, limpar, transformar, armazenar, transportar e disponibilizar os dados. As organizações precisam equilibrar o desempenho com o custo, a flexibilidade, a escalabilidade, a eficiência por watt, a pegada ambiental e a preparação para o futuro; e devem eliminar os gargalos sem limitar o crescimento.
Termo: inferência
Inferência é a geração de uma resposta por um modelo treinado a uma nova entrada; diferentemente do treinamento, ela gera um novo custo a cada uso.