diff --git a/src/sna/kgem.c b/src/sna/kgem.c
index a55086a8..8d2295af 100644
--- a/src/sna/kgem.c
+++ b/src/sna/kgem.c
@@ -737,6 +737,7 @@ bool kgem_retire(struct kgem *kgem)
 	kgem->need_retire = !list_is_empty(&kgem->requests);
 	if (!kgem->need_retire && kgem->ring)
 		kgem->ring = kgem->mode;
+	kgem->busy &= kgem->need_retire;
 
 	return retired;
 }