К содержимому
L-SYSTEM

рекомендовансредний

Generative AI в тестировании: практический курс

Практический курс о том, как применять большие языковые модели на всём тест-процессе: промпты для анализа требований и дизайна тестов, оценка того, что модель вернула, сдерживание её рисков и внедрение в организации, которая работает с клиентскими данными. Курс построен вокруг проекта консалтинговой фирмы, где конфиденциальность и документированная проверка не обсуждаются. Каждый приём вводится вместе с его ценой. Материал курса на английском. Предполагается рабочее знание тест-дизайна, уровней тестирования и работы с дефектами; опыт работы с языковыми моделями не требуется.

Занятие — на вашем языке: его ведёт ассистент.

  • Материал: английский
  • Экзамен: английский — сдаётся на сайте, без перевода
Как это устроено

Ассистент берёт материал курса с нашего сервера и ведёт занятие на вашем языке.

Экзамен сдаётся на сайте, без ассистента. Вопросы экзамена не переводятся: так решено для всех курсов.

Как подключить ассистента

Путь по курсу

· юнитов: 21

сверху вниз · юнит открывается, когда выполнены его условияВид: карта · ступени

  1. Ступень 1

    ~0,8 ч

  2. Ступень 2

    ~0,7 ч

    • 2 · закрыт · откроется после «Тот же промпт — другой набор тестов»

      Выбранная модель обходится вам дважды

      ~0,7 ч

  3. Ступень 3

    ~0,7 ч

    • 3 · закрыт · откроется после «Выбранная модель обходится вам дважды»

      Скриншот, который ваша модель не может прочитать

      ~0,7 ч

  4. Ступень 4

    ~1,1 ч

    • 4 · закрыт · откроется после «Скриншот, который ваша модель не может прочитать»

      «Сделай мне какие-нибудь тест-кейсы»

      ~1,1 ч

  5. Ступень 5

    ~1,1 ч

    • 5 · закрыт · откроется после ««Сделай мне какие-нибудь тест-кейсы»»

      Три техники и где каждая ломается

      ~1,1 ч

  6. Ступень 6

    ~1 ч

    • 6 · закрыт · откроется после «Три техники и где каждая ломается»

      Ищем дыры в требовании

      ~1 ч

  7. Ступень 7

    ~1 ч

    • 7 · закрыт · откроется после «Ищем дыры в требовании»

      От критериев приёмки к тест-кейсам

      ~1 ч

  8. Ступень 8

    ~0,9 ч

    • 8 · закрыт · откроется после «От критериев приёмки к тест-кейсам»

      Gherkin в масштабе

      ~0,9 ч

  9. Ступень 9

    ~0,9 ч

    • 9 · закрыт · откроется после «Gherkin в масштабе»

      Регрессионный набор, который лечит себя сам

      ~0,9 ч

  10. Ступень 10

    ~0,8 ч

    • 10 · закрыт · откроется после «Регрессионный набор, который лечит себя сам»

      Читаем упавший ночной прогон

      ~0,8 ч

  11. Ступень 11

    ~0,7 ч

    • 11 · закрыт · откроется после «Читаем упавший ночной прогон»

      Цифры, которые прочитает партнёр

      ~0,7 ч

  12. Ступень 12

    ~0,8 ч

    • 12 · закрыт · откроется после «Цифры, которые прочитает партнёр»

      Выберите технику, прежде чем писать

      ~0,8 ч

  13. Ступень 13

    ~0,9 ч

    • 13 · закрыт · откроется после «Выберите технику, прежде чем писать»

      Доказать, что вывод достаточно хорош

      ~0,9 ч

  14. Ступень 14

    ~0,9 ч

    • 14 · закрыт · откроется после «Доказать, что вывод достаточно хорош»

      Звучало правильно — и было неверно

      ~0,9 ч

  15. Ступень 15

    ~0,7 ч

    • 15 · закрыт · откроется после «Звучало правильно — и было неверно»

      Убавляем температуру

      ~0,7 ч

  16. Ступень 16

    ~1 ч

    • 16 · закрыт · откроется после «Убавляем температуру»

      Данные клиента не покидают фирму

      ~1 ч

  17. Ступень 17

    ~0,9 ч

    • 17 · закрыт · откроется после «Данные клиента не покидают фирму»

      Кто подтвердит, что это было законно

      ~0,9 ч

  18. Ступень 18

    ~1,1 ч

    • 18 · закрыт · откроется после «Кто подтвердит, что это было законно»

      Модель никогда не видела ваших тест-кейсов

      ~1,1 ч

  19. Ступень 19

    ~0,8 ч

    • 19 · закрыт · откроется после «Модель никогда не видела ваших тест-кейсов»

      Агент, который завёл сорок плохих дефектов

      ~0,8 ч

  20. Ступень 20

    ~0,9 ч

    • 20 · закрыт · откроется после «Агент, который завёл сорок плохих дефектов»

      Когда промптинга недостаточно

      ~0,9 ч

  21. Ступень 21

    ~0,9 ч

    • 21 · закрыт · откроется после «Когда промптинга недостаточно»

      Теневой ИИ в аудиторской фирме

      ~0,9 ч

  22. Экзамен

    закрыт · записаться на курс

    • финал · в браузере, без ассистента

      Экзамен

Путь по курсу словами
  • Ступень 1 · Тот же промпт — другой набор тестов — можно начать; ~0,8 ч
  • Ступень 2 · Выбранная модель обходится вам дважды — закрыт; откроется после «Тот же промпт — другой набор тестов»; ~0,7 ч
  • Ступень 3 · Скриншот, который ваша модель не может прочитать — закрыт; откроется после «Выбранная модель обходится вам дважды»; ~0,7 ч
  • Ступень 4 · «Сделай мне какие-нибудь тест-кейсы» — закрыт; откроется после «Скриншот, который ваша модель не может прочитать»; ~1,1 ч
  • Ступень 5 · Три техники и где каждая ломается — закрыт; откроется после ««Сделай мне какие-нибудь тест-кейсы»»; ~1,1 ч
  • Ступень 6 · Ищем дыры в требовании — закрыт; откроется после «Три техники и где каждая ломается»; ~1 ч
  • Ступень 7 · От критериев приёмки к тест-кейсам — закрыт; откроется после «Ищем дыры в требовании»; ~1 ч
  • Ступень 8 · Gherkin в масштабе — закрыт; откроется после «От критериев приёмки к тест-кейсам»; ~0,9 ч
  • Ступень 9 · Регрессионный набор, который лечит себя сам — закрыт; откроется после «Gherkin в масштабе»; ~0,9 ч
  • Ступень 10 · Читаем упавший ночной прогон — закрыт; откроется после «Регрессионный набор, который лечит себя сам»; ~0,8 ч
  • Ступень 11 · Цифры, которые прочитает партнёр — закрыт; откроется после «Читаем упавший ночной прогон»; ~0,7 ч
  • Ступень 12 · Выберите технику, прежде чем писать — закрыт; откроется после «Цифры, которые прочитает партнёр»; ~0,8 ч
  • Ступень 13 · Доказать, что вывод достаточно хорош — закрыт; откроется после «Выберите технику, прежде чем писать»; ~0,9 ч
  • Ступень 14 · Звучало правильно — и было неверно — закрыт; откроется после «Доказать, что вывод достаточно хорош»; ~0,9 ч
  • Ступень 15 · Убавляем температуру — закрыт; откроется после «Звучало правильно — и было неверно»; ~0,7 ч
  • Ступень 16 · Данные клиента не покидают фирму — закрыт; откроется после «Убавляем температуру»; ~1 ч
  • Ступень 17 · Кто подтвердит, что это было законно — закрыт; откроется после «Данные клиента не покидают фирму»; ~0,9 ч
  • Ступень 18 · Модель никогда не видела ваших тест-кейсов — закрыт; откроется после «Кто подтвердит, что это было законно»; ~1,1 ч
  • Ступень 19 · Агент, который завёл сорок плохих дефектов — закрыт; откроется после «Модель никогда не видела ваших тест-кейсов»; ~0,8 ч
  • Ступень 20 · Когда промптинга недостаточно — закрыт; откроется после «Агент, который завёл сорок плохих дефектов»; ~0,9 ч
  • Ступень 21 · Теневой ИИ в аудиторской фирме — закрыт; откроется после «Когда промптинга недостаточно»; ~0,9 ч

Программа · 21 юнит

1Тот же промпт — другой набор тестов

Объяснить, почему LLM возвращает разный результат на одинаковый ввод

~0,8 чможно начать
2Выбранная модель обходится вам дважды

Различать базовый, инструктивный и рассуждающий этапы обучения LLM

~0,7 чзакрыт
3Скриншот, который ваша модель не может прочитать

Написать и выполнить промпт, объединяющий вайрфрейм и пользовательскую историю, для тестовой задачи

~0,7 чзакрыт
4«Сделай мне какие-нибудь тест-кейсы»

Привести примеры шести компонентов структурированного промпта для тестовой задачи

~1,1 чзакрыт
5Три техники и где каждая ломается

Различать цепочку промптов, few-shot-промптинг и мета-промптинг

~1,1 чзакрыт
6Ищем дыры в требовании

Применить генеративный ИИ для выявления дефектов в тестовом базисе

~1 чзакрыт
7От критериев приёмки к тест-кейсам

Применить генеративный ИИ для генерации тест-кейсов по критериям приёмки

~1 чзакрыт
8Gherkin в масштабе

Использовать few-shot-промптинг, чтобы получать вывод в фиксированном внутреннем формате

~0,9 чзакрыт
9Регрессионный набор, который лечит себя сам

Применить few-shot-промптинг для генерации тестовых скриптов, управляемых ключевыми словами

~0,9 чзакрыт
10Читаем упавший ночной прогон

Применить структурированные промпты для анализа отчёта о регрессионном тестировании

~0,8 чзакрыт
11Цифры, которые прочитает партнёр

Применить генеративный ИИ к задачам мониторинга и контроля тестирования

~0,7 чзакрыт
12Выберите технику, прежде чем писать

Выбрать подходящую технику промптинга для заданного контекста и тестовой задачи

~0,8 чзакрыт
13Доказать, что вывод достаточно хорош

Понимать метрики оценки результатов генеративного ИИ на тестовых задачах

~0,9 чзакрыт
14Звучало правильно — и было неверно

Вспомнить определения галлюцинации, ошибки рассуждения и предвзятости

~0,9 чзакрыт
15Убавляем температуру

Вспомнить техники смягчения недетерминированного поведения LLM

~0,7 чзакрыт
16Данные клиента не покидают фирму

Объяснить ключевые риски для конфиденциальности данных и безопасности при использовании генеративного ИИ в тестировании

~1 чзакрыт
17Кто подтвердит, что это было законно

Вспомнить регуляторные нормы, стандарты и фреймворки лучших практик в области ИИ, относящиеся к тестированию

~0,9 чзакрыт
18Модель никогда не видела ваших тест-кейсов

Объяснить архитектурные компоненты тестовой инфраструктуры на основе LLM

~1,1 чзакрыт
19Агент, который завёл сорок плохих дефектов

Объяснить роль агентов на основе LLM в автоматизации задач тест-процесса

~0,8 чзакрыт
20Когда промптинга недостаточно

Объяснить файн-тюнинг языковых моделей для тестовых задач и то, когда он оправдан

~0,9 чзакрыт
21Теневой ИИ в аудиторской фирме

Вспомнить риски теневого ИИ в организации, работающей с данными клиентов

~0,9 чзакрыт