Но у Бонифация была большая проблема, которую звали Пьетро дель Морроне, бывший папа Целестин V. Пьетро хотел только одного: вернуться в уединение своего скита. Сумев ускользнуть от своего эскорта в январе 1295 года, он отправился в Сульмону, где люди Бонифация нашли его 20 января. Теоретически, Папе Римскому нечего было бояться восьмидесятипятилетнего отшельника. Но когда этот отшельник стал бывшим Папой, очень популярным, известным везде, где бы он ни был, и когда начали распространяться слухи об условиях его отречения, подразумевая, что Бонифаций был узурпатором, в его интересах было взять своего предшественника под охрану. Он приказал привести Пьетро обратно. Отшельнику снова удалось бежать в Апулию и подготовиться к переправе в Грецию. Задержавшись из-за плохой погоды, он был арестован людьми Карла II Хромого, которые передали его Папе в Ананьи в середине июня. В августе Бонифаций заточил его в камеру в замке Кастель Фумоне, недалеко от Ананьи. Поскольку Пьетро дель Морроне стремился к уединенной и аскетичной жизни отшельника, это не должно было его сильно беспокоить, тем более что, как пишет хронист Варфоломей из Лукки, условия его содержания были "почетными". Это не помешало ему умереть в мае 1296 года, что в возрасте восьмидесяти семи лет не было чем-то экстраординарным.

Однако для Папы это дело было очень неприятным, поскольку его многочисленные противники не преминули воспользоваться этим, подняв вопрос о законности отречения Целестина V, что в то же время поставило под сомнение легитимность избрания Бонифация VIII. Начались бесконечные дебаты по каноническому праву и теологии вокруг этого вопроса: может ли Папа отречься от престола? Среди францисканцев большинство представителей "духовного" течения ответили отрицательно: когда человек избран Святым Духом, как можно отказаться от должности? Папа привязан к Церкви, как муж к жене; если он отрекается от престола и его заменяет другой, то Церковь становится двоеженцем, как разведенный, вступивший в новый брак: "Как Дева Мария породила только одного сына, так и святая Церковь может духовно породить только одного Папу […]". И по этой причине как они говорили, "Папа Бонифаций не является Папой и что все те, кто считает его таковым и подчиняется ему, являются синагогой сатаны, находящейся вне единой истинной Церкви Иисуса Христа", — писал 14 сентября 1295 года францисканец Пьер Жан Оливи, который не разделял эту точку зрения. В начале года он написал трактат на тему "может ли Папа отречься от папства", на который ответил утвердительно, потому что в противном случае, по его словам, "из этой доктрины следовало бы, что ни один Папа, даже если бы он был публичным еретиком, не может быть свергнут с папства, и не может быть при жизни заменен другим, что прямо противоречит постановлениям святых отцов и римских понтификов". Папа, который не справляется с этой работой, может отказаться от нее ради блага Церкви.

Такого же мнения придерживался ряд докторов Парижского университета, в том числе Пьер д'Овернь и Жоффруа де Фонтен, которые писали, что если Папа "чувствует себя настолько невежественным и неосмотрительным, что его обманывают и стесняют, и сознает себя настолько мягким и легкомысленным, что не может помыслить о том, чтобы быть твердым в чем-либо, и если у него нет сил исправить то, что должно быть исправлено". В этих условиях такой прелат обязан уйти в отставку, не будучи полезным для управления ни себе, ни другим, он обязан сделать это для спасения народа и для своего собственного спасения. Аллюзия прозрачна: Целестин V был "невежественным и неосмотрительным", "мягким и легкомысленным"; он должен был освободить место для кого-то компетентного и авторитетного. Неудивительно, что в письме от 16 ноября 1295 года Бонифаций VIII похвалил Парижский университет, который он оскорбил и разгромил своим презрением пятью годами ранее. Роль парижских магистров, по его словам, должна возрастать "день ото дня", они были естественными советниками короля, и "правительство должно управляться не только советом мудрых людей, но и силой".

Подобные высказывания не понравились королевскому Совету. Поэтому, когда легат Симон де Болье сообщил ему о росте протестов в Риме против Бонифация, Совет решил установить контакт с личными врагами Папы, семьей Колонна, отправив к ним неприметного дипломата, монаха Пьера де Парэ. В конце 1295 года отношения между Филиппом и Бонифацием были отмечены взаимным недоверием, которое переросло в открытую вражду в начале 1296 года.

Булла Clericis laicos (февраль 1296 года)