Эпоха инференса на базе искусственного интеллекта делает возможными такие приложения, как анализ данных в реальном времени, ускоряющий медицинские исследования, и ассистенты, одновременно обрабатывающие тысячи запросов клиентов. В основе этих сервисов лежит инфраструктура, поддерживающая постоянно работающий интеллект, а также интеллектуальные конечные точки IoT и потребительских устройств. Задержки, узкие места и потери энергии влияют на результаты для людей и операционные расходы бизнеса.
Постоянный, географически распределённый и чувствительный к времени отклика характер инференс-нагрузок требует совместного проектирования производительности, пропускной способности памяти, скорости передачи данных в хранилище и сети. По словам основателя и главного аналитика Tirias Research Jim McGregor, искусственный интеллект — это не одна рабочая нагрузка, а тысячи, миллионы и миллиарды различных рабочих нагрузок. Оптимизация зависит не только от вычислительной мощности, но и от координации памяти, хранения данных и сети.
Добавление современных систем искусственного интеллекта к устаревшей инфраструктуре оказывается недостаточным, поэтому необходимы масштабируемые, отказоустойчивые и эффективные архитектуры. Память и системы хранения данных занимают центральное место в системе; конвейер обработки данных должен принимать, очищать, преобразовывать, хранить, перемещать и предоставлять данные. Организации должны уравновешивать производительность со стоимостью, гибкостью, масштабируемостью, эффективностью на ватт, экологическим следом и готовностью к будущему, устраняя узкие места, не ограничивая рост.
Термин: инференс
Инференс — это генерация обученной моделью ответа на новый входной сигнал; в отличие от обучения, он создаёт новые затраты при каждом использовании.