Интерпретация результатов статистического контроля качества (SQC)

01.01.1970

Джеймс О. Вестгард, PhD

Нетехнический пример: когда моя дочь Кристин была молода и все еще жила дома, ей нравилось веселиться. Однажды, когда она сказала мне, что она снова собирается задержаться у друзей, я почувствовал, что должен проконтролировать время ее развлечений. Поэтому я сказал ей, что если она вернется один раз после трех часов, два раза после двух или четыре раза после часа, то у нее будут большие неприятности. Это многоуровневый контроль.

Кристин ненавидит, когда я рассказываю эту историю, на самом же деле эта история полезная и делает многоуровневый контроль качества (QC) понятным для всех. Между прочим, она оказалась умницей: окончила юридическую школу, будучи первой в своем классе, и я очень горжусь ей. К тому же, у нее интеллект ее матери, который вместе с моей настойчивостью или упрямством, как известно вокруг, - делают довольно выгодную комбинацию.

Я также должен признать, что в пределах нашего дома действуют правила миссис Вестгард. Моя жена Джоан ненавидит, когда я так говорю, но она мирилась со мной на протяжении пятидесяти лет, и теперь я нахожусь в состоянии стабильного контроля, поэтому потребуется более значительные отклонения, чтобы я попал в большую неприятность.

Теперь о техническом применении. Многократный QC использует комбинацию критериев принятия решения или правил управления, чтобы решить, не является ли аналитический прогон неконтролируемым. В хорошо известной процедуре многократного контроля QC Вестгарда используются 5 различных правил управления, чтобы судить о приемлемости аналитического прогона. Для сравнения, процедура QC с одним правилом использует только один набор контрольных пределов, таких как график Леви-Дженнингса с контрольными пределами, установленными либо как среднее +/-2 стандартных отклонения (2s), либо среднее +/-3s.

Наиболее часто применяемые «правила Вестгарда» обычно используются с 2 или 4 контрольными измерениями за один прогон (когда два разных контрольных материала измеряются 1 или 2 раза - типичный для химического применения). Другие альтернативные контрольные правила более подходят к ситуации, когда анализируются три контрольных материала, что является общим для применения в гематологии, коагулологии и иммунологических анализах.

Подробная информация о «Правилах Вестгарда»

На приведенной ниже диаграмме показано, как применить «традиционную» многократную процедуру Вестгарда. Начнем с проверки контрольных данных, чтобы увидеть, все ли значения находятся в рамках контрольных пределов в 2s, и в этом случае прогон оценивается на контроле, и результаты теста пациента могут быть использованы. Если какое-либо одно важное значение превышает 2s, то есть нарушает правило 1/2s, это является предупреждением о возможных проблемах. Это можно сравнить с дорожными знаками на перекрестке. Знак подсказывает вам действовать осторожно и внимательно следить за тем, что происходит. То как внимательно Вы следите за результатами, можно проверить с помощью других правил контроля.

Учитывая предупреждение, Вы просматриваете контрольные данные, используя правила 1/3s, 2/2s, R/4s, 4/1s и 10/x, обычно в таком порядке, сначала для больших ошибок, а затем для меньших погрешностей. Если какое-либо правило нарушено, это подтверждает наличие проблемы. Пробег выходит из-под контроля и должен быть отклонен, что означает, что результаты пациента не могут быть представлены. Если ни одно из этих дополнительных правил не нарушено, тогда прогон является контрольным, и результаты пациента могут быть использованы.

Для удобства мы предлагаем сокращенное обозначение для сокращения различных критериев принятия решений или правил контроля, например 1/2s, чтобы указать 1 контрольное измерение, превышающее 2s контрольных пределов. Мы предпочитаем использовать индексы для указания контрольных пределов, но в других текстах и документах могут использоваться различные обозначения (например, 1:2, а не 1/2s). Комбинации правил обычно обозначаются с помощью метки «/» (слэш) между правилами управления, например 1/3s/2/2s.

Отдельные правила показаны ниже:

1/2s относится к контролю, используемому с диаграммой Леви-Дженнингса, где пределы контроля задаются как среднее +/-2s. В исходной многократной процедуре контроля качества это используется в качестве правила предупреждения для запуска тщательного контроля данных управления с помощью следующих правил отклонения:

1/3s ссылается на правило контроля, которое используется с графиком Леви-Дженнингса, когда контрольные пределы установлены как среднее +/-3s. Прогон отклоняется, когда одно контрольное измерение превышает средний контрольный предел +/-3s:

2/2s отклоняются, когда 2 последовательных контрольных измерения превышают одинаковое среднее +2s или такое же контрольное значение -2s:

R/4s отклоняются, когда 1 контрольное измерение в группе превышает среднее +2s, а другое превышает среднее -2s. Примечание: это правило применяется только в рамках одного прогона. В этом примере элементы управления 5 и 6 представляют собой один данные одного прогона:

4/1s отклоняются, когда 4 последовательных контрольных измерения превышают одно и то же среднее +1s или одно и то же среднее значение -1s контрольного предела:

10x отклоняются, когда 10 последовательных контрольных измерений падают с одной стороны от среднего:

Кроме того, вы иногда увидите некоторые модификации этого последнего правила, чтобы сделать его более удобным для Ns, равным 4. Следующие правила контроля обычно используются с Ns 2 или 4 (это означает, что они подходят, когда измеряются два различных контрольных значения 1 или 2 раза на материал): 

8x отклоняются, когда 8 последовательных контрольных измерений падают с одной стороны от среднего:

12x отклоняются, когда 12 последовательных контрольных измерений падают с одной стороны от среднего:

Какие существуют другие общие коэффициенты?

В ситуациях, когда анализируются 3 контрольных материала, другие правила контроля подходят лучше, и их легче применять, например:

2 из 3/2s отклоняются, когда 2 из 3 контрольных измереня превышают одно и то же среднее + 2s или среднее -2s контрольное ограничение:

3/ 1s отклоняются, когда 3 последовательных контрольных измерения превышают одинаковое среднее + 1s или такое же контрольное значение -1s:

6x отклоняются, когда 6 последовательных контрольных измерений падают с одной стороны от среднего:

Кроме того, иногда вы видите некоторые изменения этого последнего правила, чтобы включить большее количество контрольных измерений, которые по-прежнему соответствуют N из 3:

9x отклоняются, когда 9 последовательных контрольных измерений падают с одной стороны от среднего:

Связанное правило управления, которое когда-то было популярным в Европе, ищет «тенденцию» в ситуации, когда несколько контрольных измерений в ряду увеличиваются или уменьшаются: 7x отклоняются, когда семь контрольных измерений движутся в одном направлении, т.е. становятся все более высокими или постепенно понижаются.

Как вы выполняете многоуровневый QC?

Вы собираете контрольные измерения таким же образом, как для обычной контрольной диаграммы Леви-Дженнингса. Точно так же вы устанавливаете средства и стандартные отклонения контрольных материалов. Все, что изменилось, - это контрольные пределы и интерпретация данных. Многофункциональный QC на самом деле не такой уж сложный! Для наглядного примера нарисуйте линии на графике Леви-Дженнингс в среднем +/-3s, +/-2s и +/-1s. Более подробную информацию см. в предыдущей главе о контрольных диаграммах Леви-Дженнингса.

В ручных приложениях правило 1/2s должно быть предупреждающее правило, которое запускает применение других правил. Таким образом, каждый раз, когда одно измерение превышает контрольный предел в 2s, вы проверяете управляющие данные, используя другие правила. Помните, это похоже на дорожные знаки: это не означает, что надо остановиться, это указывает, что нужно внимательно посмотреть, прежде чем продолжить.

Внимательно ли Вы наблюдаете? Используйте другие правила для проверки данных контроля. Остановитесь, если одна точка превышает 3s. Остановитесь, если две точки подряд превышают один и тот же предел 2s. Остановить, если одна точка в группе превышает + 2s, а другая превышает предел -2s. Поскольку N должно быть не менее 2 для удовлетворения требований US CLIA QC, все правила могут быть применены в ходе прогона. Часто во всех прогонах должны использоваться 4/1s и 10x, чтобы получить число контрольных измерений, необходимых для применения правил. Нарушение 4/1s происходит, когда 4 последовательных точки превышают один и тот же предел 1s. Эти 4 точки могут быть из одного контрольного материала, или они также могут быть последними 2 точками из контрольного материала высокого уровня и последние 2 точки из нормального материала контрольного уровня, таким образом, правило может также применяться к материалам. Правило 10x обычно должно применяется во время выполнения и зачастую используется с разными материалами.

Компьютерным приложениям не требуется правило предупреждения 1/2s. Они могут непрерывно оценивать данные по всем правилам отклонения. Кроме того, программное обеспечение должно позволять вам выбирать правила отклонения по каждому критерию для оптимизации производительности. Каждая процедура контроля качества должна быть разработана на основе точности и аккуратности, наблюдаемых для каждого аналитического метода и качества, требуемого тестом.

Зачем использовать процедуру многоуровнего контроля качества?

Очевидно, что процедуры многоуровнего контроля качества сложнее, чем процедуры с одним правилом, что в некотором роде является недостатком. Тем не менее, они часто обеспечивают более высокую производительность, чем процедуры контроля качества с одним правилом 1/2s и 1/3s. Существует ложная тревога с правилом 1/2s (график Леви-Дженнингса с 2-мя контрольными пределами): при N=2 ожидается, что 9% хороших прогонов будут ложно отвергнуты; с N=3, это еще выше, около 14%; с N=4, это почти 18%. Это означает, что почти 10-20% хороших прогонов будут выброшены, а это трата большого времени и сил в лаборатории. В то время как диаграмма Леви-Дженнингса с контрольным пределом 3s имеет очень низкий коэффициент ложных отказов, только 1% или около того, при Ns 2-4, ее ошибка обнаружения (истинные тревоги) также будет ниже, поэтому проблема с 1/3s правила контроля состоит в том, что важные с медицинской точки зрения ошибки могут быть не обнаружены (см. Главу 11 для получения дополнительной информации о вероятностях обнаружения ошибок и ложного отказа).

Преимущества многоуровневых процедур QC заключаются в том, что ложное отклонение может сохраняться низким и в то же время поддерживать высокое обнаружение ошибок. Это делается путем выбора индивидуальных правил, которые имеют очень низкий уровень ложного отказа, а затем наращивают обнаружение ошибок, используя эти правила вместе. Это похоже на два функциональных теста на печень и диагностику промежности, если один из них положительный. Процедура многократного контроля качества (QC) использует два или более статистических теста (правила управления) для оценки данных QC, затем отклоняет прогон, если какой-либо из этих статистических тестов является положительным.

Аналогичны ли стратегии для тестирования QC и диагностическое тестирование?

Да, тест QS похож на диагностический тест! Тест QC пытается идентифицировать проблемы с нормальной работой процесса аналитического тестирования, тогда как диагностический тест пытается идентифицировать проблемы с нормальной работой организма человека. Соответствующее действие или лечение зависит от правильного определения проблемы.

Как на тест QC, так и на диагностический тест влияют нормальные колебания, которые ожидаются, когда проблем нет, т. е. тест QC пытается идентифицировать изменения, происходящие за пределами ожидаемых из-за неточности метода, тогда как попытки диагностического теста для выявления изменений, превышающих ожидаемые из-за изменения популяции (контрольный диапазон или контрольный интервал для теста) или изменение индивидуума (внутривидовая биологическая вариация). Наличие этого заднего отклонения ограничивает производительность как теста QC, так и диагностического теста.

Имеются ли эксплуатационные характеристики для контроля качества, сравнимые с диагностикой?

Это фоновое изменение вызывает ложные тревоги, которые тратят время и силы. Эти ложные тревоги более правильно называют ложными срабатываниями для диагностического теста и ложных отклонений для теста QC, но оба они связаны с общей характеристикой, называемой «специфичность теста». Истинные аварийные сигналы называются истинными положительными для диагностического теста и сообщаются как обнаружение ошибок для QC-теста, и оба связаны с общей характеристикой, называемой «чувствительность теста». Таким образом, чувствительность и специфичность являются общими характеристиками, которые могут быть применены к тесту, который классифицирует результаты как положительные или отрицательные (как для диагностического теста) или принимать или отклонять (для теста контроля качества).

Диагностические тесты редко бывают очень чувствительными и специфичными! Поэтому врачи разработали подходы и стратегии для повышения эффективности диагностических тестов. Один из подходов заключается в корректировке предельного уровня отсечки или уровня принятия решения для классификации результата теста как положительного или отрицательного. Как чувствительность, так и специфичность изменяются по мере изменения этого предела, и улучшение чувствительности обычно происходит с потерей специфичности, и наоборот.

Процедуры контроля качества также редко применяются с идеальным обнаружением ошибок и нулевой ложной отбраковкой. Лаборатории могут использовать аналогичные подходы для оптимизации качества QC. Изменение контрольного лимита аналогично изменению предела отсечки, но повышение чувствительности обычно сопряжено с определенными расходами (примером является правило 1/2s). Более широкие контрольные пределы, такие как 2.5s, 3s и 3.5s, приводят к более низкому обнаружению ошибок и более низкому ложному отказу.

Как использовать несколько тестов для оптимизации производительности?

Другим подходом к оптимизации диагностической производительности является использование нескольких тестов. Для повышения чувствительности два или более теста используются вместе, и выявляется проблема, если какой-либо из тестов положительный - это параллельное тестирование. Чтобы улучшить спецификацию, положительный результат теста на чувствительный скрининг можно проследить со вторым более специфическим тестом для подтверждения проблемы - это последовательное тестирование. И чувствительность, и специфичность могут быть оптимизированы с помощью подхода множественного тестирования, но опять же эти изменения обычно влияют на характеристики.

Стратегии с несколькими испытаниями также могут использоваться для оптимизации производительности процедуры контроля качества. Универсальный QC - это общий подход. Задачи состоят в том, чтобы уменьшить проблемы с ложными тревогами ложных отклонений, которые вызваны использованием 2-х контрольных пределов, и в то же время улучшить обнаружение ошибок по сравнению с доступными при использовании контрольного предела 3s. Множественные тесты - это разные статистические тесты или разные статистические правила контроля, и стратегии основаные на последовательном и параллельном тестировании.

Ложные сигналы сведены к минимуму, используя правило 1/2s только как правило предупреждения, а затем подтверждая любые проблемы путем применения более конкретных правил, которые имеют низкую вероятность ложного отклонения (последовательное тестирование).

Истинные сигналы тревоги или обнаружение ошибок максимизируются путем выбора комбинации правил, наиболее чувствительных к обнаружению случайных и систематических ошибок, а затем отклонение прогона, если какое-либо из этих правил нарушается (параллельное тестирование).

Когда следует использовать процедуру многократного контроля качества?

Не всегда! Иногда процедура QC с одним правилом дает вам все необходимое обнаружение ошибок, в то же время поддерживая низкое ложное отклонение. В принципе, Вы можете исключить использование правила 1/2s в качестве правила отклонения из-за его высокого ложного отклонения - рассмотрите альтернативы, такие как 1/2.5s, 1/3s и 1/3.5s, которые имеют приемлемо низкий уровень ложных отказов. Остающаяся проблема заключается в том, может ли адекватное обнаружение ошибок быть обеспечено этими другими процедурами контроля качества с одним правилом. Если важные по медицинским показаниям ошибки могут быть обнаружены по меньшей мере в 90% случаев (то есть вероятность обнаружения ошибок 0,90 или выше), то процедура QC с одним правилом является адекватной. Если 90%-ое обнаружение ошибки не может быть обеспечено процедурой контроля качества с одним правилом, тогда следует рассмотреть процедуру многократного контроля качества. В целом, вы обнаружите, что процедуры контроля качества с одним правилом подходят для высокоавтоматизированных и очень точных анализаторов химического состава и гематологии, и вам следует избегать использования контрольных пределов 2s или правила управления 1/2s для сведения к минимуму отходов и снижения затрат. Приборы, технология которых менее совершенна, а также ручные методы, получат преимущества от улучшенного обнаружения ошибок многократных процедур контроля качества.

Чтобы точно определить, когда использовать процедуры однократного или многократного контроля качества, необходимо определить качество, необходимое для каждого теста, выяснить точность и аккуратность вашего метода, затем оценить вероятности ложного отказа (P/fr) и обнаружения ошибок (P/ed) различных процедур QC кандидата. Стремитесь к 90% обнаружению ошибок (P/ed 0.90 или выше) и 5% или менее ложной отбраковке (P/fr 0.05 или меньше). С очень стабильными аналитическими системами, которые редко имеют проблемы, вы можете рассчитывать на более низкое обнаружение ошибок, скажем, 50%.

См. Главу 11 для руководства по выбору правильных правил управления.

Есть ли новые «правила Вестгарда»?

Когда оригинальная многотиражная статья была опубликована, она была предназначена только в качестве примера того, как можно комбинировать правила. Это не было целью выбить определенную комбинацию правил на камне. Однако, после того, как статья была опубликована, примерная комбинация была принята многими лабораториями и стала инструментом контроля качества у многих. Стало очевидным, что многократный метод должен использоваться в этой конкретной комбинации, которая стала широко известна как «Правила Вестгард».

Учитывая современные технологии, в частности вычислительную мощность, доступную для автоматизации контроля качества, использование правила предупреждения 2s больше не рекомендуется. Это предупреждающее правило было всего лишь способом уменьшить нагрузку на технологов; им нужно будет проверить все правила отклонения, только когда вышло предупреждение 2s. Теперь, когда компьютеры могут выполнять все проверки, так же просто позволить компьютеру постоянно проверять все правила отклонения.

Таким образом, мы представляем некоторые «современные» адаптации многоуровнего подхода для двух разных ситуаций: двух элементов или трех элементов контроля.

Вы можете загрузить эти цифры в виде таблиц из раздела «Дополнительная информация о книгах QC» на портале курсов Westgard.

Еще более поздняя адаптация - это «Правила Сигмы Вестгард», которые сочетают аналитическую Сигма-метрику с руководством по реализации «Правил Вестгард». По мере улучшения аналитической работы требуется меньшее количество правил и элементов управления. Эти правила будут подробно описаны в главе 11.

 

References

1. Shewhart WA. Economic Control of Quality of Manufactured Product. New York; D. Van Hostrand Company, Inc., 1931.

2. Levey S, Jennings ER. The use of control charts in the clinical laboratory. Am J Clin Pathol 1950;20:1059-66.

3. Henry RJ, Segalove M. The running of standards in clinical chemistry and the use of the control chart. J Clin Pathol 1952;27:493-501.

4. Westgard JO, Groth T, Aronsson T, Falk H, deVerdier C-H. Performance characteristics of rules for internal quality control: 

probability for false rejection and error detection. Clin Chem 1977;23:1857-67.

5. Westgard JO, Barry PL, Hunt MR, Groth T. A multi-rule Shewhart chart for quality control in clinical chemistry.

Clin Chem 1981;27:493-501.

6. Westgard JO, Barry PL. Cost-Effective Quality Control: Managing the quality and productivity of analytical processes.

Washington DC:AACC Press, 1986.

7. CLSI C24-A3. Statistical Quality Control for Quantitative Measurement Procedures. Clinical Laboratory Standards

Institute, Wayne, PA 2006.

8. CLSI EP23A. Laboratory Quality Control Based on Risk Management. Clinical Laboratory Standardis Institute, Wayne,

PA 2011.