Карьерный коучинг · Лондон
Компаниям, которые выпускают AI, нужны люди, способные доказать, что он работает. Тестирование AI-приложений и агентов — быстрорастущая специализация.
Сильный QA-опыт, но непонятно, чем тестирование недетерминированного AI отличается от обычного ПО
Путаница в названиях ролей: AI QA Engineer, LLM Evaluation Engineer, AI Test Engineer, Model Evaluation
Нет портфолио по тестированию AI — только классическая автоматизация
Непонятно, какие инструменты и методы оценки реально ждут работодатели
Экспертиза в своей области (финансы, право, поддержка) могла бы пригодиться в human evaluation, но непонятно, как её подать
Страх, что AI заменит тестировщиков, — вместо того чтобы увидеть новую работу, которую он создаёт
Автоматические тесты для AI: evaluation-наборы в CI с проверками кодом и порогами, которые останавливают релиз
Evaluation-датасеты из реальных задач пользователей с чётким критерием «готово»
LLM-as-judge — и его калибровка по оценкам людей
Human-in-the-loop: рубрики, процессы разметки, согласованность оценщиков, ручное подтверждение рискованных действий агента
Тестирование агентов: успешность задачи, траектория, вызовы инструментов (включая MCP), стоимость и задержка
Оценка agent skills: выбирает ли агент нужный skill, сравнение с ним и без него, стабильность между запусками
Безопасность: prompt injection, утечки данных, red-teaming (OWASP Top 10 for LLM Applications)
Python и инструменты вроде DeepEval, Ragas, Promptfoo, LangSmith или LangFuse
Практический путь из QA или из вашей предметной области:
Junior
£45–60k (переход из QA-автоматизации)
Middle
£60–85k
Senior
£85–120k+ (lead / evaluation engineer)
Ориентировочно: роль новая, данных по UK мало. Медиана Automation QA в UK — £60k (IT Jobs Watch, окт. 2026); senior-роли в оценке AI ближе к зарплатам LLM-инженеров, в Лондоне выше
Я построила evaluation-фреймворк и стратегию тестирования GenAI и agentic AI продуктов, ставшие стандартом моей компании, и нанимаю специалистов в AI — и помогаю QA-инженерам и другим специалистам перейти в тестирование и оценку AI. Сессии на русском или английском.