Выбор правильных процедур SQC

14.08.2017

Джеймс О. Вестгард, Стэн А. Вестгард

Мы выступаем за то, чтобы процедуры SQC были выбраны на основе качества, необходимого для предполагаемого использования теста, а также точности и смещений, наблюдаемых для метода. Со временем мы разработали множество инструментов для разработки QC - выбор процедур SQC, которые подходят для конкретного предполагаемого клинического применения и характеристик метода, наблюдаемых в лаборатории.

Эта работа началась более четырех десятилетий назад с разработки компьютерной программы моделирования, которая определяла характеристики отказа по различным правилам контроля и различного количества контрольных измерений. Следующие инструменты включают графики функций мощности, графики критической ошибки, сетки выбора QC, диаграммы рабочих спецификаций (диаграмма OPSpecs) и программное обеспечение QC и EZ правила. Мы продолжаем искать более быстрые и простые инструменты, которые помогут лабораториям выбрать правильный SQC для своих программ, и эта глава включает новый инструмент, известный как «Правила Westgard Sigma».

Поведение детектора

Различные правила статистического контроля имеют различные возможности обнаружения ошибок. Обычно, когда пределы контроля являются широкими, например, 3SD, изменяются вероятности обнаружения ошибок. Однако, когда ограничения контроля узкие, например 2SD, вероятность обнаружения ошибок или вероятность ложных отказов увеличивается. Эти две характеристики, называемые вероятностью обнаружения ошибок (P/ed) и вероятности ложного отклонения (P/fr), важны для оптимизации процедур SQC для обеспечения требуемого обнаружения ошибок при сохранении приемлемо низкого уровня ложных отказов.

Вы можете понять это поведение по аналогии с пожарной сигнализацией. В комнате или здании, в котором вы, скорее всего, есть пожарная сигнализация. Какова вероятность того, что система пожарной сигнализации обнаружит пожар, если источником огня является:

• Одна искра?

• Целая спичечная коробка?

• Мусорная корзина с бумагой?

• Весь ваш стол?

Целая спичечная коробка будет более выраженным огнем и будет иметь более высокую вероятность вызова сигнала тревоги, хотя вы все еще не знаете, будет ли этот огонь достаточно большим, чтобы его можно было обнаружить. Горение в корзине для мусора наверняка увеличит вероятность обнаружения, и если бы мы подожгли все бумаги, загромождающие наши столы, огонь, безусловно, был бы достаточно большим, чтобы вызвать тревогу.

Мы все хотим верить в то, что система сигнализации выполнит свою работу, и мы успеем спастись, но это предполагает, что установка системы сигнализации была тщательно спланирована. Фактическая вероятность обнаружения зависит от того, сколько детекторов было установлено, где находятся эти детекторы, и насколько они чувствительны. Если бы это был серьезный пожар (например, ваш стол), вы бы наверняка хотели быть уверенным, что он будет обнаружен своевременно, до того, как он выйдет из-под контроля, т.е. вы хотите 100% -ую уверенность в вашей системе пожарной сигнализации. С другой стороны, если нет серьезного пожара (т.е. незначительный дымок), вы явно не захотите, чтобы сигнализация прервала вашу работу, таким образом вы хотите 0-ую вероятность ложной пожарной тревоги.

Более подробное описание характеристик пожарной тревоги можно рассмотреть на примере «кривой», которая описывает «чувствительность» сигнала тревоги к размеру огня, например, как показано на рисунке 11-1. По мере того, как огонь становится больше, вероятность обнаружения увеличивается. Характеристики обнаружения вашей системы сигнализации должны быть известны, чтобы можно было спроектировать систему сигнализации.

Сигнал ошибки SQC

«Огонь», который мы хотим обнаружить в процессе лабораторных испытаний, представляет собой любую аналитическую ошибку, которая «сожгла» врача или пациента, потому что результаты теста имели медицинскую важную ошибку. Подобно пожарной тревоге, процедура контроля качества является аналитическим детектором ошибок, который выдает сигнал тревоги, когда что-то происходит с процессом или методом тестирования (так сказать истинная тревога). Тревога должна обнаруживать ситуации с нестабильной эффективностью метода со 100%-ой достоверностью (или с вероятностью 1,00), и в идеале не должна давать ложных тревог (вероятность 0% или вероятность 0,00), когда производительность стабильна и метод работает правильно. Интуитивно мы ожидаем, что вероятность обнаружения аналитической проблемы зависит от размера ошибки, количества элементов контроля, используемых для мониторинга производительности метода, и чувствительности применяемых статистических правил. Мы желаем получить высокую вероятность истинных аварийных сигналов или высокую вероятность обнаружения важных с медицинской точки зрения ошибок, но при этом мы не хотим прерывать ложные тревоги, когда метод работает приемлемо.

Характеристики отказа SQC

Никакой детектор не идеален! Несомненно, мы рассмотрели пример столкновения с пожарной сигнализацией, когда не было огня. Возможно, вы слышали о трагических ситуациях, когда пожар начался и уже вышел из-под контроля, прежде чем он был обнаружен. То же самое может произойти с системами контроля, которые используются для контроля производительности лабораторных испытаний. Поэтому важно выбрать соответствующие правила контроля и соответствующее количество контрольных измерений. Процедура SQC должна быть тщательно спланирована для обеспечения обнаружения опасных с медицинской точки зрения ошибок, чтобы гарантировать, что качество наших отчетов о работе - будет приемлемым. Нам также необходимо минимизировать ложные тревоги для повышения эффективности и производительности нашей работы.

Каждая процедура SQC, т.е. каждая комбинация правил контроля и количество контрольных измерений (N), имеет свои собственные характеристики отбраковки, которые характеризуют его вероятность обнаружения ошибок в производительности метода, а также вероятность подачи ложного сигнала отклонения даже тогда, когда метод работает нормально. Эти ложные отклонения можно свести к минимуму, избегая определенных правил контроля и N/s, которые имеют высокий уровень ложных отказов. Обнаружение ошибок может быть оптимизировано путем выбора конфиденциальных правил контроля, построения многопроцессорных процедур и увеличения количества контрольных измерений.

К счастью, вероятности отклонения процедур SQC известны, они были определены десятилетиями назад компьютерными симуляционными исследованиями [1] и документированы в виде «графиков энергетических функций» [2]. Пример показан на рисунке 11-2 для разных правил контроля, имеющих 2 контрольных измерения за один проход. Ось Y масштабируется от 0,00 до 1,00. Вероятность 1,00 соответствует 100% вероятности отклонения и вероятности 0.00 до 0% вероятности отклонения. Размер аналитических ошибок показан на оси Х. Этот пример предназначен для систематических сдвигов или изменения точности метода, которые варьируются от 0,0 до 4,0 от стандартного отклонения метода. Аналогичный график можно использовать для описания обнаружения случайных ошибок или увеличения неточности метода.

Каждая строка или кривая мощности описывает вероятность отклонения для определенного правила контроля или комбинации правил и количества контрольных измерений (N), как указано в ключе в правой части графика. Вероятность ложного отклонения определяется Y-перехватом кривой мощности. Обратите внимание на правильный Pfr 0,09 или 9% для правила 1/2s с N из 2, поэтому мы рекомендуем избегать использования пределов 2s. Вероятность обнаружения ошибок зависит от размера ошибки и чувствительности, различных правил контроля. Влияние ширины контрольных пределов показано сравнением самой низкой кривой (1/3,5s, N=2) со следующей снизу (1/3s, N=2) и рядом с верхней (1/2,5s, N=2). Эффект использования нескольких правил контроля показан средней кривой (1/3s, 2/2s, R/4s) по сравнению со следующей нижней кривой (1/3s N=2). Сравнение кривых мощности дает общую информацию об относительной производительности различных процедур SQC, помогает нам распознавать определенные правила контроля, которые следует исключить из использования из-за их высоких ложных отказов (например, ограничение 2s или правило 1/2s), но не определяет, какие процедуры SQC имеют необходимое обнаружение ошибок.

Критерии выбора процедур SQC

Чтобы выбрать процедуру SQC, которая имеет необходимый уровень обнаружения ошибок, размер математически важной ошибки должен быть рассчитан, тогда конкретные вероятности обнаружения ошибок и ложного отклонения можно оценить, чтобы выбрать правильные правила контроля и правильное количество контрольных измерений.

Медико-важная систематическая ошибка. Также является критической и систематической- ΔSE/crit, её можно рассчитать следующим образом:

∆SE/crit=[(TEa-bias/mean)/s/mean]-1.65

В тех случаях, когда TE/a является требованием к качеству теста в виде допустимой общей ошибки, смещение, означает наблюдаемую неточность метода, s, означает наблюдаемую неточность метода, а 1.65 - значение z, которое позволяет от ожидаемого распределения ошибок только на 5% превышать заданное требование качества, т.е. указывает на 5%-ный риск ошибочного результата.

• TE/a (допустимая общая ошибка, также известная как ATE). Отправной точкой является просмотр критериев CLIA для приемлемой производительности при тестировании. Например, критерий для глюкозы определяется как «Целевая ценность +/- 6 мг/дл или +/- 10% (больше)». Это означает, что следует использовать больший из 2 пределов в зависимости от целевого значения или концентрации материала съемки PT. Например, если TV опробованного образца составляет 50 мг/дл, то критерий приемлемой эффективности составляет 50 +/- 6 мг/дл или составляет от 44 до 56 мг/дл. Если бы TV составляло 125 мг/дл, приемлемая производительность составляла бы 125 мг/дл +/- 10%, или 125 +/- 12,5 мг/дл, что составляет от 112,5 до 137,5 мг/дл.

CLIA предоставляет критерии приемлемой производительности для более, чем 80 тестов, которые называются «регулируемыми аналитами», для которых оценка PT оценивается по 5 образцам на одно исследование и 3 обследованиям в год. Нерегулируемые аналиты также требуют наблюдения со стороны PT, но только 2 обследования в год и всего лишь 2 образца на одно исследование. Критерии приемлемой производительности для нерегулируемых аналитов устанавливаются поставщиком PT и могут основываться на разных целевых моделях, таких как предполагаемое клиническое использование, биологические вариации и рекомендации группы экспертов. Например, HbA1c является нерегулируемым аналитом, колледж американских патологов (CAP) и Национальная программа стандартизации гемоглобина (NGSP) установили TEa в размере 6,0% в 2014 году.

• Смещение/средство. Неточность или систематическая ошибка, как правило, определяются во время исследований валидации методов из сравнения экспериментов методов. Производители проводят такие исследования для документирования своих требований к исполнению. Лаборатории должны проводить аналогичные эксперименты, чтобы убедиться, что претензии изготовителя были достигнуты после установки новых тестовых систем. После этой первоначальной проверки лаборатории должны контролировать точность путем периодического анализа проб тестирования на квалификацию, результаты которых сравниваются с целевыми значениями, установленными справочными методами, средними значениями группы опроса или иногда средним подгруппой обследования для конкретной методологии. Отдельные лабораторные результаты обычно сообщаются в терминах отклонения от цели и выражаются как кратные наблюдаемому изменению группы, то есть значение z, которое описывает отклонение от цели как кратное стандартным отклонениям группы. Для расчета сигма-метрики %Bias рассчитывается как наблюдаемое смещение, деленное на целевое значение, а затем умноженное на 100 [% Bias = (Bias / TV) * 100].

Важное примечание о предвзятости: вначале при определении качества сигмы может быть трудно получить хорошую оценку смещения, и в этом случае допустимо считать смещение равным нулю и рассчитать сигма просто как отношение TEa/SD или %TEa/%CV. Это даст сигма-метрику, то есть оптимистическую оценку качества. Тем не менее, если сигма-метрика мала, менее 3 (когда предполагается, что смещение считается нулевым), будет достаточно указать, что новая тестовая система представляет собой высокий риск! Если эта сигма-метрика больше 3, то по-прежнему важно получить данные для оценки смещения и более надежного определения сигмы.

• SD/среднее. Неточность или случайная ошибка, как правило, определяется из эксперимента репликации во время исследований валидации методов или данных SQC, собранных во время работы. Производители проводят такие исследования для подтверждения своих претензий на точность. Лаборатории также проводят эксперименты по репликации для проверки точности работы новых тестовых систем, а затем контролируют текущую производительность статистических данных QC, собранных в условиях обычной работы. %CV рассчитывается как наблюдаемая SD, деленная на среднее значение, затем умножается на 100 [%CV=(SD/среднее значение)*100].

• Пример расчета. Предполагается, что холестериновый метод будет правильным в пределах +/- 10% в соответствии с критерием CLIA для приемлемой эффективности при проверке квалификации. Учитывая метод с погрешностью 0,0% и CV2,0%, ΔSE/crit будет 3,35[((10-0,0)/2,0-1,65].

Сигма-метрика. Сигма-метрика может быть рассчитана, как показано на рисунке 11-3, часть A:

Sigma = (TEa-|Bias|)/SD

Где все члены выражены в единицах концентрации. Могут также использоваться единицы процента, и в этом случае уравнение обычно записывается следующим образом:

   Sigma = (%TEa-|%Bias|)/%CV

Sigma может использоваться как альтернатива ΔSE/crit, как показано следующей заменой и перестановкой уравнения для вычисления медицинской значимой систематической ошибки:

ΔSE/crit = Sigma-metric-1.65 или

Сигма-метрика = ΔSE/crit + 1,65

Качество на сигма-шкале описывается как «уровень мирового класса», когда сигма 6 или выше и «не подходит для производства», когда сигма составляет 3 или менее, разница показана на рис. 11-3, части B и C, соответственно. Для SQC в лаборатории методы с высоким уровнем сигмы могут контролироваться с помощью более простых правил и меньшего количества контрольных измерений. Методы с низкими сигмами требуют больше правил контроля и более контрольных измерений и, в конечном счете, не могут контролироваться доступным SQC.

 

Инструкции по использованию:

1. Вычислить сигма-метрику.

2. Найдите это значение в шкале Sigma на оси X в верхней части графика.

3. Удалите вертикальную линию из этого места с помощью кривых мощности.

4. Оцените возможность обнаружения ошибок, прочитав вероятности отклонения на пересечении вертикальной линии и кривых мощности.

5. Определите эти кандидатные процедуры SQC, которые обеспечат требуемое обнаружение ошибок (P/ed 0,90 или выше).

6. Сравните вероятности ложного отклонения этих кандидатских процедур SQC от Y-перехватов кривых мощности.

7. Выберите правила контроля и количество контрольных измерений, которые обеспечивают наивысшее обнаружение ошибок, низкое ложное отклонение, минимальное количество контрольных измерений и простейшие правила контроля.

Этот подход прост и практичен во многих медицинских лабораториях. Он обеспечивает количественную оценку вероятностей обнаружения ошибок и ложного отклонения и, следовательно, обеспечивает объективный выбор соответствующих процедур SQC. С опытом и практикой выделяются определенные «эмпирические правила»:

• Для 6-сигма, почти любой SQC подходит. Используйте одно правило, такое как 1/3s, и держите N как можно ниже, т.е. N=2, как того требует регламент CLIA.

• Для 5-сигмы будет выполнено одно правило, такое как 1/2, 5s N = 2, или простой мульти прогон, такой как 1/3s / 2/2s / R/4s с N=2.

• Для 4-сигма удвойте количество элементов контроля для N=4 и используйте многопроцессорную процедуру, такую как 1/3s / 2/2s / R/4s / 4/1s.

• Ниже 4-сигма используйте все правила контроля и столько контрольных измерений, сколько вы можете себе позволить, например, 1/3s / 2/2s / R/4s / 4/1s / 8/x с N=8 или с N=4 и правила над 2 последовательными прогонами (R = 2).

Правила Westgard Sigma

Эти эмпирические правила были формализованы в новом инструменте под названием «Правила Westgard Sigma», который был представлен в нашей книге «Системы управления базовым качеством» [8]. На рис. 11.6 показаны правила Сигмы Вестгард для 2 уровней контрольных материалов.

На первый взгляд эта цифра выглядит так же, как и обычные «Правила Вестгард». Но здесь нет правила предупреждения 2SD. Это важное различие, но самое важное изменение - в нижней части диаграммы, где есть сигма-масштаб. Эта шкала обеспечивает руководство, для которого правила должны применяться на основе качества сигмы, определенного в вашей лаборатории.

Вот как это работает. Пунктирные вертикальные линии, которые происходят в масштабе Сигмы, показывают степень правил, которые должны применяться на основе качества сигмы, определенного в вашей лаборатории. Например:

• Для качества 6-Sigma требуется только одно правило контроля 1/3s двумя контрольными измерениями в каждом прогоне на каждом уровне контроля). Обозначение N=2 R=1 указывает, что для одного прогона требуется 2 контрольных измерения.

• Качество 5-Sigma требует 3 правила, 1/3s / 2/2s / R/4s, с двумя контрольными измерениями в каждом прогоне (N=2, R=1). См. Рисунок 11-7 для иллюстрации этого приложения.

• Качество 4-Sigma требует добавления 4-го правила и реализации мульти селектора 1/3s / 2/2s / R/4s 4/1s, предпочтительно с 4 контрольными измерениями в каждом прогоне (N=4, R=1) или альтернативно, 2 контрольных измерения в каждом из двух прогонов (N=2, R=2), используя правило 4/1s для проверки правил контроля для обоих прогонов. Этот второй вариант предполагает разделение дневной работы на 2 пробега и контроль каждого из двух элементов контроля.

•Качество <4-Sigma требует многопроцессорной процедуры, которая включает правило 8x, которое может быть реализовано с помощью 4 контрольных измерений в каждом из двух прогонов (N=4, R=2) или, альтернативно, с двумя контрольными измерениями в каждом из четырех прогонов (N=2, N=4). Первый вариант предполагает разделение дня на 2 пробега с 4 контрольными измерениями за ход, тогда как второй вариант предполагает разделение дня на 4 прогона с двумя элементами контроля каждый.

Аналогичная диаграмма на рис. 11-8 описывает правила Sigma для Westgard для 3 уровней контроля.

• Качество 6-Sigma требует только 1/3s и 1 измерения на каждом из 3 уровней контроля.

• Качество 5-Sigma требует добавления правил 2of3/2s и R/4s для использования с 1 измерением на каждом из 3 уровней контроля.

• Качество 4-Sigma требует добавления 3/1s, правила для использования с 1 измерением на каждом из 3 элементов контроля.

• Качество <4-Sigma требует многоуровневой процедуры, которая включает правило 6x и удвоение контрольных измерений в общей сложности 6, что предполагает, что три уровня контроля анализируются в двух экземплярах за один проход (N=6, R=1 ) или дневная работа, разделенная на 2 пробега с тремя контрольными измерениями за ход (N=3, R=2). Если вместо правила 6x было заменено на правило 9x, то дневную работу можно разделить на 3 прогона с 3 элементами контроля за один проход (N=3, R=3).

В чем смысл?

Лабораториям необходимо определить сигма-качество своих тестов и методов, если они хотят контролировать процесс тестирования. SQC является важным инструментом для управления аналитическим качеством, поэтому правила и количество контрольных измерений должны быть оптимизированы для обеспечения качества и эффективности. Очень легко выбрать правильный SQC с помощью правил Westgard Sigma! Трудной частью является определить правильность теста для его предполагаемого клинического использования (например, допустимая общая ошибка, TEa), определения точности (SD, CV) из эксперимента по репликации или из обычных данных SQC и определения точности (смещение) от результатов периодического тестирования. После расчета качества сигмы диаграмма правил Westgard Sigma позволяет легко выбрать необходимые правила контроля и правильное количество контрольных измерений.

Эти и другие рабочие листы доступны для загрузки в разделе Basic QC Exstras на портале ресурса Westgard.