Рабочая гипотеза о том, что между сетью, облаком и вычислительными ресурсами может появиться новый слой принятия решений.

Это рабочая гипотеза, а не прогноз рынка.

Но чем дольше я на неё смотрю, тем интереснее она мне кажется.

Когда-то задача сети выглядела довольно просто: есть точка A, есть точка B — нужно доставить между ними трафик.

Потом появился SD-WAN, и логика стала сложнее.

Теперь уже недостаточно просто знать, какой путь существует. Нужно понимать, какой именно трафик перед нами, насколько он чувствителен к задержкам, какие каналы доступны, где есть потери, где канал перегружен, какие правила безопасности действуют.

То есть сеть перестала быть просто «дорогой».

Она стала системой, которая постоянно принимает решения.

И с AI-инфраструктурой, похоже, происходит нечто похожее.

Только теперь вопрос возникает ещё раньше.

Не только:

«Как доставить запрос?»

А сначала:

«Где вообще этот запрос лучше выполнить?»

Представим простую ситуацию

У компании есть несколько вариантов, где можно выполнять AI-задачи.

·       собственный центр обработки данных;

·       публичное облако;

·       отдельная облачная среда для чувствительных данных;

·       площадка ближе к пользователю;

·       внешний провайдер с мощными графическими ускорителями — GPU.

Пользователь задаёт вопрос AI-системе.

Что происходит дальше?

На первый взгляд кажется, что задача проста: отправить запрос туда, где работает нужная модель.

Но если модель доступна сразу в нескольких местах, начинается самое интересное.

На одной площадке сейчас есть свободные вычислительные мощности.

На другой — очередь.

Третья ближе к пользователю.

Четвёртая дешевле.

Пятую нельзя использовать, потому что данные не должны покидать определённую страну или регион.

А шестая подходит по всем правилам, но её вычислительные ресурсы сейчас перегружены.

Получается, прежде чем выбрать сетевой маршрут, нужно сначала решить:

куда вообще имеет смысл отправлять запрос.

Именно здесь у меня и возникла аналогия с маршрутизацией.

Но, возможно, сеть здесь вообще не главное

И тут возникает вполне разумное возражение.

А не слишком ли мы вообще переоцениваем роль сети?

Представим, что передача запроса между двумя дата-центрами занимает 30–40 миллисекунд.

Но на одной площадке AI-модель занята, и запрос ждёт в очереди секунду.

В такой ситуации экономить 20 миллисекунд на сети практически бессмысленно.

Гораздо важнее выбрать свободную вычислительную площадку.

Поэтому сеть далеко не всегда будет главным фактором.

Но есть сценарии, где она снова становится важной.

Например, голосовой AI-помощник.

Если человек разговаривает с системой в реальном времени, даже небольшая дополнительная задержка уже начинает ощущаться.

Или AI работает рядом с производственной площадкой, камерой, автомобилем или другим устройством.

Тогда расстояние до места выполнения задачи становится критичным.

Есть и экономический пример.

Допустим, вычисления в другом регионе дешевле на 15%.

Но чтобы использовать эту площадку, нужно постоянно передавать большие объёмы данных через дорогой межрегиональный канал.

В результате «дешёвые вычисления» внезапно оказываются дороже.

То есть задача начинает выглядеть не как:

найди самый дешёвый вычислительный ресурс.

А скорее как:

найди лучший вариант с учётом вычислений, сети, стоимости, правил и ограничений одновременно.

И здесь SD-WAN уже недостаточно

SD-WAN хорошо понимает сеть.

Он видит задержки, потери, доступную полосу, состояние каналов, правила маршрутизации и политики безопасности.

Но если нам нужно решить, где выполнять AI-задачу, этого мало.

Нужно знать ещё и то, что происходит с вычислительными ресурсами.

·       есть ли на площадке нужная модель;

·       загружена ли она уже в память;

·       есть ли свободные ускорители;

·       велика ли очередь;

·       сколько примерно будет стоить выполнение;

·       можно ли вообще отправлять туда эти данные;

·       разрешено ли это требованиями компании или регулятора;

·       нет ли ограничений по энергопотреблению.

То есть системе нужно видеть уже не только сеть.

Ей нужно видеть всю картину целиком.

И отсюда возникает основная гипотеза.

В распределённой AI-инфраструктуре может понадобиться отдельный слой принятия решений, который смотрит сразу на несколько вещей:

вычислительные ресурсы + сеть + стоимость + безопасность + ограничения по данным.

И тут я вспомнил про VMware

В какой-то момент, перечитывая эту логику, я поймал себя на мысли: мы ведь уже проходили нечто похожее.

Только не с AI.

Когда появилась виртуализация серверов, приложение постепенно перестало быть жёстко привязано к конкретной физической машине.

Для него появился виртуальный сервер.

Под ним — гипервизор.

А уже гипервизор разбирался, как сопоставить виртуальные процессор, память и диски с реальным оборудованием.

То есть между приложением и физической инфраструктурой появился слой абстракции.

приложение → виртуальная машина → гипервизор → физический сервер

Похожая история произошла потом с сетью.

NSX позволил работать уже не столько с конкретными коммутаторами и физической топологией, сколько с логической сетью поверх них.

То есть вместо:

«подключи эту машину вот к этому физическому сегменту»

можно было мыслить на другом уровне:

«этому приложению нужна такая-то связность и такие-то правила»,

а нижележащий слой уже должен был воплотить это на реальной инфраструктуре.

И вот здесь аналогия с распределённым AI становится, на мой взгляд, даже интереснее, чем аналогия только с SD-WAN.

SD-WAN дал нам идею динамического выбора.

VMware — идею абстракции физической инфраструктуры.

А что, если следующей абстракцией станет само место исполнения вычисления?

Что если виртуализировать не GPU, а понятие «где выполнить задачу»?

Важно: речь не о виртуализации GPU.

Она уже существует.

И не о новом гипервизоре в привычном смысле слова.

Представим другой уровень.

Сегодня приложение фактически должно где-то знать:

«эта модель находится в таком-то облаке»;

«эта — в нашем ЦОД»;

«этот GPU доступен у такого-то провайдера»;

«эта площадка находится в таком-то регионе».

А что если для приложения всё это станет одной логической сущностью?

«мне нужна среда для выполнения этой AI-задачи с такими требованиями».

Например:

·       данные нельзя выводить из страны;

·       ответ нужен быстрее чем за определённое время;

·       разрешены только две версии модели;

·       стоимость запроса не должна превышать заданный предел;

·       чувствительные данные нельзя передавать внешнему провайдеру.

Приложение сообщает что ему нужно.

А уже следующий слой решает где это лучше выполнить сейчас.

Это получается уже не просто маршрутизация.

Это своего рода виртуализация места исполнения.

Физически задача может выполниться в собственном ЦОД, в публичном облаке, у внешнего GPU-провайдера или на площадке рядом с пользователем.

Но для приложения все эти варианты скрыты за одной логической абстракцией.

Почти так же, как виртуальная машина когда-то скрыла от приложения конкретный физический сервер.

Только здесь одной абстракции недостаточно.

Нужен ещё и постоянный выбор.

Абстракция плюс динамическое решение

И вот это отличие кажется мне принципиальным.

Классический гипервизор прежде всего абстрагирует физический ресурс.

Наш предполагаемый слой должен делать две вещи одновременно:

скрывать сложность инфраструктуры + динамически выбирать лучший вариант исполнения.

То есть логика может выглядеть так:

задача → требования и ограничения → логическая вычислительная среда → выбор конкретной площадки → выбор сетевого пути → исполнение

И вот тут начинают соединяться обе исходные аналогии.

От VMware мы берём идею:

приложению не обязательно знать физическую инфраструктуру.

От SD-WAN:

из нескольких допустимых вариантов можно динамически выбирать лучший прямо сейчас.

Вместе получается уже гораздо более интересная конструкция.

Сначала — что разрешено. Потом — что выгоднее

Здесь есть одна важная вещь, которую легко смешать.

Есть ограничения.

А есть критерии выбора.

Это не одно и то же.

Представим компанию, которая работает с персональными данными европейских клиентов.

Первое правило может быть простым:

данные нельзя обрабатывать за пределами разрешённой территории.

Это жёсткое ограничение.

Если площадка не проходит это правило, она вообще не участвует в выборе.

А вот среди разрешённых площадок уже можно выбирать:

·       где быстрее;

·       где дешевле;

·       где меньше очередь;

·       где больше свободных ресурсов.

Получается такая логика:

что хочет сделать система → что ей вообще разрешено → какие варианты остаются → какой из них лучше сейчас → выполнить задачу

Это очень похоже на то, что происходило и в виртуализированной инфраструктуре, и в программно определяемых сетях.

Сначала верхний уровень задаёт желаемое состояние и ограничения.

А нижний решает, как воплотить их на конкретной инфраструктуре.

Только теперь объектом выбора становится ещё и само место выполнения вычисления.

Важно не смешивать разные процессы

Здесь легко запутаться, поэтому я бы разделил три разные задачи.

Первая — где вообще заранее держать копии AI-модели.

Например, компания понимает, что в Северной Европе много пользователей, и заранее размещает там вычислительную мощность.

Это сравнительно медленное решение.

Оно может пересматриваться раз в несколько часов или даже дней.

Вторая задача — куда отправить конкретный запрос прямо сейчас.

Вот здесь решение должно приниматься быстро.

Если одна площадка перегружена, запрос можно отправить на другую.

Третья задача — где запускать длинные вычислительные процессы.

Например, большой пакетный расчёт или дообучение модели.

Это уже совсем другой режим работы.

Именно поэтому мне кажется, что эта идея шире обычного балансировщика нагрузки или планировщика Kubernetes.

Речь может идти о более высоком уровне.

Не о системе, которая сама делает всю работу.

А о системе, которая решает:

кто именно должен её сделать.

Дальше речь в основном о первых двух процессах — где заранее держать модель и куда направлять конкретный запрос прямо сейчас.

Длительные вычисления, скорее всего, живут по своим правилам: там нужно одновременно выделять группы вычислительных ресурсов, учитывать перенос больших объёмов данных и работать с совсем другими временными горизонтами.

Возможно, тот же слой однажды научится работать и с такими задачами. Но это отдельный вопрос, который я сознательно оставляю за скобками.

И вот здесь появляется самый интересный слой

Представим, что у компании уже есть всё необходимое.

Kubernetes умеет запускать контейнеры.

Облачная платформа умеет предоставлять вычислительные ресурсы.

SD-WAN умеет выбирать сетевой путь.

Планировщик графических ускорителей умеет распределять задачи между GPU.

Система управления ЦОД знает состояние инфраструктуры.

То есть исполнителей уже много.

Но кто принимает решение между ними?

Кто говорит:

«Этот запрос нельзя отправлять за пределы определённого региона. Из трёх оставшихся площадок одна перегружена. На второй дорого передавать данные. Третья немного дороже по вычислениям, но быстрее и ближе к пользователю. Значит, сейчас отправляем туда».

Вот такой слой и выглядит потенциально интересным.

Не ещё один оркестратор.

Не ещё одна сеть.

И, пожалуй, даже не «гипервизор для AI» — это было бы слишком буквальным сравнением.

Скорее это слой абстракции и принятия решений над существующей инфраструктурой.

Для приложения он скрывает вопрос «где именно».

Для инфраструктуры — превращает требования приложения в конкретное решение.

Но важно не выдавать старые идеи за новые

Разумеется, пространство уже далеко не пустое.

·       Уже есть системы, которые выбирают между разными AI-моделями и провайдерами. В индустрии их часто называют AI-шлюзами.

·       Есть инструменты, которые распределяют нагрузку между несколькими Kubernetes-кластерами.

·       Есть системы, которые ищут свободные GPU.

·       Есть платформы, которые учитывают стоимость вычислений.

·       Есть решения, которые оптимизируют размещение с учётом энергии.

Поэтому вполне разумный скептик может сказать:

«Вы просто собрали в одну схему несколько уже существующих технологий».

И это будет справедливое замечание.

Поэтому возможная новизна здесь не в каждом отдельном компоненте.

Она может быть в другом.

В том, чтобы принимать одно решение сразу по нескольким измерениям.

Не отдельно:

·       сеть,

·       вычисления,

·       безопасность,

·       стоимость,

·       энергия.

А одновременно.

Именно это, возможно, и есть ключевая граница между набором отдельных инструментов и новым уровнем управления.

Пока каждая система оптимизирует только свой участок, локально правильные решения вовсе не обязаны складываться в лучший результат для всей системы.

Сеть может выбрать отличный маршрут.

Планировщик — свободный GPU.

Облако — дешёвый регион.

Но если смотреть на всё вместе, итоговый вариант может оказаться не самым быстрым, не самым дешёвым и даже недопустимым с точки зрения правил работы с данными.

Именно поэтому интерес представляет не только качество каждого отдельного механизма, но и качество общего решения над ними.

На этом месте гипотеза могла бы и закончиться: почти всё уже кем-то делается.

Но остаются как минимум две проблемы, которые пока плохо складываются в единую систему.

Первая проблема: вычислительные площадки не полностью взаимозаменяемы

В обычной сети один и тот же пакет можно отправить по разным каналам.

Например, через MPLS, обычный интернет или мобильную сеть.

Путь изменится.

Но сам смысл обработки обычно останется тем же.

С AI всё сложнее.

Одна и та же задача, выполненная в разных средах, не всегда полностью эквивалентна.

На одной площадке может использоваться другое поколение GPU.

Другая версия модели.

Другой способ её оптимизации.

Другая точность вычислений.

И в некоторых случаях это может влиять уже не только на скорость, но и на результат.

То есть вычислительная площадка — это не просто «ещё один маршрут».

И именно здесь аналогия и с SD-WAN, и с классической виртуализацией начинает ломаться.

Гипервизор мог предоставить виртуальной машине достаточно стабильную абстракцию физического сервера.

Для AI добиться такой же взаимозаменяемости разных мест исполнения может оказаться намного сложнее.

Это важное ограничение всей идеи.

Вторая проблема: как узнать реальное состояние площадок

На бумаге всё выглядит красиво.

Но для того чтобы принимать разумные решения, системе нужны данные о текущем состоянии инфраструктуры — телеметрия.

Она должна понимать:

·       сколько свободных вычислительных ресурсов есть прямо сейчас;

·       какова очередь;

·       загружена ли нужная модель;

·       сколько займёт выполнение;

·       есть ли проблемы на площадке;

·       сколько будет стоить запрос именно в этот момент.

И здесь начинается реальность.

Разные облака и провайдеры вовсе не обязаны раскрывать эти данные наружу.

Причём каждый может делать это по-своему.

Единого универсального способа посмотреть на состояние всех вычислительных площадок пока нет.

А значит, появляется очень простое ограничение:

Нельзя хорошо выбирать между тем, состояние чего ты не видишь.

И, возможно, именно телеметрия станет одним из главных препятствий для появления действительно нейтрального слоя управления.

Здесь аналогия с VMware тоже становится интересной.

Виртуализация хорошо работает тогда, когда слой абстракции действительно видит и контролирует нижележащие ресурсы.

А наш предполагаемый слой может оказаться над инфраструктурой нескольких независимых владельцев.

И это намного сложнее.

И ещё один неожиданный поворот — безопасность

Если AI-запросы проходят через общую точку принятия решений, эта точка почти неизбежно становится ещё и точкой контроля.

В ней можно проверять:

·       кто имеет право обращаться к конкретной модели;

·       какие данные уходят наружу;

·       нет ли в запросе чувствительной информации;

·       можно ли использовать внешний AI-сервис;

·       нужно ли записать действие в журнал;

·       какие ответы разрешено возвращать пользователю.

Получается любопытная цепочка:

увидеть ситуацию → принять решение → применить правила → выполнить

В сетевой инфраструктуре мы уже видели похожее сближение.

Механизмы выбора пути, контроля доступа и безопасности постепенно начали объединяться в общих точках управления и применения политик.

С AI может происходить нечто похожее.

Поэтому сетевые вендоры и компании из области информационной безопасности потенциально находятся в интересной позиции.

У них уже есть две важные вещи:

видимость и возможность применять правила.

Им остаётся научиться понимать ещё и контекст вычислений.

А может быть, никакой новой категории вообще не появится

Это тоже вполне возможный сценарий.

Возможно, все описанные функции просто постепенно появятся внутри уже существующих продуктов.

Облака станут лучше распределять AI-нагрузку.

Kubernetes — лучше понимать распределённые вычисления.

AI-шлюзы — учитывать всё больше факторов.

Сетевые платформы — видеть состояние вычислительных площадок.

Платформы виртуализации — постепенно подниматься ещё на один уровень абстракции.

И отдельного рынка просто не возникнет.

Но есть и второй сценарий.

Если корпоративный AI действительно станет одновременно:

·       мультиоблачным;

·       распределённым между собственными и внешними площадками;

·       зависимым от требований к размещению данных;

·       привязанным к разным GPU-провайдерам;

·       частично работающим рядом с источниками данных и пользователями;

то количество вариантов и ограничений начнёт быстро расти.

И тогда может появиться потребность в нейтральном слое, который будет принимать решение поверх всей этой инфраструктуры.

Как понять, что гипотеза начинает становиться реальностью

Здесь не нужно пытаться угадывать будущее.

Можно просто наблюдать.

Например:

·       начнут ли компании реально использовать сразу несколько AI-провайдеров для одной и той же производственной нагрузки;

·       появятся ли стандартные способы получать данные о загрузке GPU и очередях;

·       начнут ли AI-шлюзы направлять запросы не только между моделями, но и между разными облаками и вычислительными площадками;

·       начнут ли сетевые платформы учитывать состояние вычислительных ресурсов;

·       появится ли у крупных компаний потребность в едином наборе правил поверх разных AI-инфраструктур;

·       появится ли абстракция, за которой приложение вообще перестанет знать, в каком именно облаке, ЦОД или на каком GPU выполняется его AI-запрос.

Последний признак мне теперь кажется особенно интересным.

Потому что он будет означать: речь идёт уже не просто об улучшенной балансировке.

Место исполнения действительно стало виртуализированным ресурсом.

Если несколько таких сигналов начнут появляться одновременно, тогда можно будет говорить уже не просто об интересной аналогии.

Тогда начнёт формироваться реальная архитектурная проблема.

И всё же сама логика остаётся любопытной

Сначала виртуализация научила нас отделять приложение от конкретного физического сервера.

Потом программно определяемые сети позволили всё меньше зависеть от конкретной физической топологии.

SD-WAN научил инфраструктуру динамически выбирать лучший путь между несколькими доступными маршрутами.

Распределённый AI ставит следующий вопрос:

можно ли абстрагировать ещё и само место исполнения — а затем динамически выбирать его под конкретную задачу?

Если да, то выбор места исполнения постепенно начинает приобретать свойства маршрутизации.

Только теперь маршрутизируется не пакет.

Маршрутизируется вычисление.