RoB 2 и AMSTAR 2: как оценить риск ошибок и качество систематического обзора

Короткий ответ: RoB 2 применяют к конкретному результату рандомизированного исследования и оценивают риск систематической ошибки. AMSTAR 2 применяют к систематическому обзору медицинских вмешательств и оценивают, насколько надёжно он спланирован и выполнен. Эти инструменты нельзя заменять друг другом или превращать в сумму баллов.

RoB 2 и AMSTAR 2: главное различие

Различие важно для систематического обзора. Сначала автор оценивает риск ошибки в отдельных включённых исследованиях подходящим инструментом. Затем качество выполнения самого обзора можно оценить AMSTAR 2.

Когда нужен RoB 2

RoB 2 разработан для рандомизированных исследований. Оценка относится не просто к публикации, а к выбранному результату: конкретному исходу, моменту измерения, сравнению и способу оценки эффекта.

Например, в одном РКИ объективный исход может иметь низкий риск ошибки, а субъективный исход без ослепления — высокий. Поэтому запись «исследование имеет низкий риск» без указания оцениваемого результата недостаточна.

Пять доменов RoB 2

1. Процесс рандомизации. Была ли последовательность действительно случайной, скрывалось ли распределение и нет ли исходного дисбаланса, указывающего на проблему рандомизации.
2. Отклонения от назначенных вмешательств. Возникли ли отклонения из-за знания группы, соответствовал ли анализ выбранному эффекту вмешательства.
3. Пропущенные данные об исходе. Достаточно ли данных и может ли отсутствие результатов зависеть от их истинного значения.
4. Измерение исхода. Подходил ли метод измерения, применялся ли он одинаково и могло ли знание вмешательства повлиять на оценку.
5. Выбор сообщаемого результата. Не выбран ли результат из нескольких измерений или анализов после просмотра данных.

Подробная карточка с областью применения и первоисточниками находится в справочнике RoB 2.

Как проводить оценку RoB 2 по шагам

1. Зафиксируйте результат до ответов на вопросы

Запишите исход, момент времени, сравниваемые группы, численную оценку и эффект, который вы интерпретируете: эффект назначения вмешательства или эффект соблюдения вмешательства. Без этого два оценщика могут незаметно оценивать разные результаты.

2. Соберите все источники информации

Одной статьи часто недостаточно. Используйте:

• публикацию результатов;
• протокол исследования;
• запись в реестре испытаний;
• план статистического анализа;
• приложения и дополнительные таблицы;
• сообщения авторов, если существенные сведения не опубликованы.

3. Отвечайте на сигнальные вопросы с обоснованием

Варианты ответа — «да», «скорее да», «скорее нет», «нет» и «нет информации». Для каждого ответа сохраняйте точный фрагмент источника и место, где он найден. Отсутствие описания процедуры нельзя автоматически трактовать как её правильное выполнение.

4. Проверьте алгоритмическое предложение, а не копируйте его вслепую

Алгоритм помогает получить суждение по домену, но оценщик обязан проверить, соответствует ли оно фактам и руководству. Отклонение от предложенного результата должно быть явно объяснено.

5. Сформируйте общий итог

Низкий риск возможен, когда все домены имеют низкий риск. «Некоторые опасения» возникают, если есть проблема, но нет основания для высокого риска. Высокий риск ставят при высоком риске хотя бы в одном домене или при сочетании нескольких опасений, существенно снижающих доверие к результату.

Авторы обновлённого инструмента подчёркивают оценку риска ошибки именно в результате исследования, а не неопределённого «качества статьи» (Sterne et al., BMJ, 2019).

Когда нужен AMSTAR 2

AMSTAR 2 предназначен для критической оценки систематических обзоров исследований медицинских вмешательств, включающих рандомизированные или нерандомизированные исследования либо оба типа. Это не универсальный чек-лист для любого обзора и не инструмент оценки отдельного РКИ.

Инструмент содержит 16 пунктов. В оригинальной публикации выделены семь доменов, способных критически повлиять на достоверность обзора:

1. протокол подготовлен до начала обзора и существенные отклонения объяснены;
2. поиск литературы достаточно полный;
3. исключённые полнотекстовые исследования перечислены и причины исключения обоснованы;
4. риск систематической ошибки включённых исследований оценён подходящим методом;
5. методы метаанализа уместны;
6. риск ошибки учтён при интерпретации результатов;
7. оценены наличие и вероятное влияние публикационного смещения.

Разработчики рекомендуют заранее определить, какие домены будут считаться критическими для конкретного вопроса. Подробная область применения и ссылки доступны в карточке AMSTAR 2.

Как интерпретировать AMSTAR 2

Это не арифметическая шкала. В оригинальном описании AMSTAR 2 прямо указано, что ответы по пунктам не следует складывать в общий балл (Shea et al., BMJ, 2017). Один критический недостаток может иметь большее значение, чем несколько второстепенных.

RoB 2 и AMSTAR 2 в одном систематическом обзоре

Представим обзор эффективности телемониторинга при хронической сердечной недостаточности.

1. Для каждого включённого РКИ автор выбирает результат — например, госпитализацию за 12 месяцев — и проводит RoB 2.
2. Результаты по доменам используются при синтезе и обсуждении уверенности в доказательствах.
3. После завершения обзора внешний оценщик может применить AMSTAR 2: проверить протокол, поиск, отбор, список исключений, методы метаанализа, работу с риском ошибки и публикационным смещением.

Хороший результат RoB 2 у отдельных исследований не спасает обзор с неполным поиском или скрытыми исключениями. И наоборот, методологически аккуратный обзор не превращает исследования с высоким риском ошибки в надёжные.

Частые ошибки

Складывать «да» в общий балл

Так теряется разный вес недостатков. И RoB 2, и AMSTAR 2 используют структурированное суждение, а не соревнование по количеству положительных ответов.

Оценивать RoB 2 один раз на всю статью

Оценка может различаться между исходами, временными точками и вариантами анализа.

Работать только с аннотацией

Скрытие распределения, обработка пропущенных данных, заранее заданные анализы и причины исключений обычно требуют полного текста, протокола и приложений.

Подменять отсутствие данных положительным ответом

Если нужная информация не опубликована, следует фиксировать «нет информации», а не предполагать правильное выполнение процедуры.

Использовать инструмент не по назначению

RoB 2 не предназначен для нерандомизированных исследований. AMSTAR 2 не заменяет оценку риска ошибки включённых работ и не является проверкой качества литературного текста.

Не сохранять основание суждения

Итог без цитаты или ссылки на конкретное место невозможно воспроизвести. Для совместной работы полезно хранить ответ, обоснование, дословный фрагмент и источник рядом.

Как выполнять оценку в Sciente

В проекте Sciente можно хранить полный текст, протоколы, оценки и цитаты рядом с корпусом статей. Система помогает определить дизайн и подобрать подходящий инструмент, но итоговое суждение подтверждает исследователь.

Практический порядок:

1. добавить публикацию и полный текст в проект;
2. подтвердить дизайн исследования;
3. выбрать результат для RoB 2 или обзор для AMSTAR 2;
4. пройти вопросы, проверяя обоснование и цитату;
5. исправить ответы, если источник интерпретирован неверно;
6. использовать итог при синтезе, а не как декоративную метку.

Посмотрите также маршрут систематического обзора от PICO до текста, методологический справочник и принципы доказательности и ограничения ИИ Sciente.

Первоисточники

• Официальный сайт инструмента RoB 2 — актуальные версии, руководства и шаблоны для разных дизайнов РКИ.
• Sterne JAC et al. RoB 2: a revised tool for assessing risk of bias in randomised trials, BMJ 2019;366:l4898.
• Shea BJ et al. AMSTAR 2: a critical appraisal tool for systematic reviews, BMJ 2017;358:j4008.
• Официальные материалы AMSTAR 2 — форма и руководство по применению.

Дата актуализации: 10 октября 2026 года.

Как перенести оценку качества в рукопись

Результаты RoB 2 и AMSTAR 2 должны влиять на синтез, ограничения и уверенность выводов. Общий порядок подготовки текста описан в руководстве как написать медицинскую научную статью.