Сэм Альтман в подкасте Cheeky Pint у Джона Коллисона 29 октября сказал, что локальные модели плохо расходуют дефицитную память.

По его словам, многие хотят локальный инференс и думают, что проблема решена: открытые модели можно будет запускать у себя, и дата-центры не понадобятся.

«С точки зрения глобального распределения ресурсов это на самом деле ужасно, когда у каждого есть кусок ограниченных мировых запасов DRAM, который лежит в его компьютере и используется пять процентов времени», — сказал Альтман. При дефиците поставок «нужна максимальная загрузка в облаке».

Корпорации мечтают захватить всё в свои руки, и это уже выглядит как какое-то безумие. Будущее за локальными моделями, чего бы это ни стоило.

Следующий шаг

Если захотите обсудить, как это применить у себя или в команде — пишите в Telegram @pimenov