Почему LLM любят экспертов больше, чем новичков

Замечали, что одни люди выжимают из ChatGPT результаты космического уровня, а другие получают average-текст уровня «напиши мне письмо»? Секрет в том, что LLM лучше всего работают с теми, кто уже что-то понимает в теме.

Llm делают всех дженералистами

Вспомните 2010-е. Если вы не умели писать CSS, у вас было два пути: найти коллегу, который шарит, или надеяться, что где-то на StackOverflow есть ответ на вашу конкретную проблему.

Сейчас любой может сказать «напиши мне красивый сайт» и получить работающий результат. LLM превратили всех в дженералистов — людей, которые кое-что понимают во всём, но ничего не знают глубоко. Поэтому многим кажется, что в работе с нейросетями нет никакого навыка.

Но если попросить ту же модель написать математику уровня PhD или код для серьёзного проекта, результат часто получается вроде бы неплохим, но безвкусным. И «промпт-инженеры» нередко получают почти то же самое, что и человек, впервые открывший ChatGPT.

Кейс теренса тао

Автор статьи приводит крутой пример. Теренс Тао — один из самых известных математиков современности — использовал ChatGPT для работы над контрпримером к гипотезе Якоби.

Это не тот ChatGPT, который доступен большинству людей. Дело не в количестве токенов, а в том, как именно Тао ведёт диалог:

• он пишет коротко и по делу;
• он сигнализирует о своей экспертизе;
• он не спорит напрямую, если ответ выглядит странно, а аккуратно указывает на проблему;
• он делает самостоятельные выводы и не следует советам модели вслепую.

Но главное: вы не можете общаться как Тао в математике, следуя только этим советам. Ключ к его технике — понимание математики. Нужно уметь вытащить нужную идею из многословного ответа, предложить альтернативный путь и заметить, где ответ выглядит подозрительно.

Это работает не только в математике

Идея та же и в программировании, и в дизайне, и в продакт-менеджменте.

Если у вас хорошее понимание кодовой базы, вы можете толкать LLM гораздо сильнее, чем если вы впервые открыли проект. У вас есть собственное чутьё на хорошее решение. Вы можете сказать: «нет, здесь можно проще», «мы же уже делаем X?» или «можем выразить проблему в привычных терминах?».

Если вы понимаете контекст, вы задаёте правильные вопросы. Если не понимаете — принимаете первый, и часто не лучший, ответ.

Ценность LLM для разных уровней экспертизы
───────────────────────────────────────────
Эксперт:     ████████████████████████  Высокая
             Задаёт точные вопросы
             Быстро замечает ошибки
             Комбинирует ответы с опытом

Новичок:     ████████                  Средняя
             Получает базовые ответы
             Не может проверить качество
             Принимает первое решение
───────────────────────────────────────────
Барьер:      Без экспертизы LLM
             выдаёт "средний" результат

Практический вывод

Без экспертизы вы можете опираться на LLM и хотя бы получить что-то. Это неплохо. Но если у вас есть знания в предметной области, вы выжмете из той же модели гораздо больше.

Для многих задач человек — узкое место, а не модель. Сложная часть не в том, чтобы получить ответ, а в том, чтобы объяснить нейросети, какой именно результат нужен.

Большинство из нас работает в смешанном режиме: где-то мы эксперты, где-то — новички. И это нормально. Просто стоит понимать: в зонах нашей экспертизы LLM работают как умножитель сил, а в зонах незнания — как генератор посредственных ответов.

Процесс работы с LLM: эксперт vs новичок
───────────────────────────────────────────
ЭКСПЕРТ                              НОВИЧОК
─────────                            ─────────
Промпт: "проверь гипотезу X,        Промпт: "расскажи про X"
с учётом Y и Z"
        │                                    │
        ▼                                    ▼
Понимает ответ,                       Не понимает контекста,
выбирает нужное,                      принимает за факт всё
проверяет ошибки                      что сказал ChatGPT
        │                                    │
        ▼                                    ▼
Уточняет вопросы,                    Задаёт общие вопросы,
идёт глубже                           получает общие ответы
        │                                    │
        ▼                                    ▼
Результат: ценный инсайт             Результат: базовое знание
───────────────────────────────────────────
Ключ: LLM — это инструмент для усиления
       уже существующих навыков

Моя оценка

Sean Goedecke — LLMs reward expertise попала в точку. Я сам замечал этот эффект, но не формулировал его так чётко.

Когда я работаю с LLM над задачами в областях, где разбираюсь, я получаю гораздо более полезные ответы, чем когда пытаюсь быстро разобраться в чём-то новом. В новой теме я не могу отличить хороший ответ от посредственного — я просто принимаю то, что дали.

Это не значит, что LLM бесполезны для обучения. Но важно понимать: пока вы учитесь, нейросеть скорее генератор текста, чем учитель. Она может дать факты, но не может заменить понимание.

Главный вывод: не пытайтесь стать экспертами в промптинге — станьте экспертами в своей области. Промпт-инженерия — это вторичный навык. Первичный — глубокое знание того, над чем вы работаете.

Ссылки

• LLMs reward expertise — статья о том, почему LLM лучше работают с экспертами