Некорректно работает TeleBot

import telebot
import time
BOT_TOKEN = "token"
bot = telebot.TeleBot(BOT_TOKEN)
 
#Список не написавших
unreplied_users = [] 
 
#Чтение сообщения пользователя и удаление его из списка не написавших
@bot.message_handler(chat_types="group")
def echo_all(message):
    global unreplied_users
    if message.from_user.id in unreplied_users:
        unreplied_users.remove(message.from_user.id)
 
#Приветствие пользователя и начало отсчёта
@bot.message_handler(content_types=["new_chat_members"])
def handler_new_member(message):
    user_name = message.new_chat_members[0].first_name
    user_id = message.new_chat_members[0].id
    bot.send_message(message.chat.id, text=f"Добро пожаловать в братство, {user_name} !")
 
    unreplied_users.append(user_id)#Здесь добавляется пользователь в список не написавших
 
#Здесь происходит отсчёт времени по истечению которого пользователь банится
    reply_time = 0
    while reply_time <= 5:
        if user_id not in unreplied_users: #Если же он ответил, то таймер прекращает работу и оставляет пользователя
            break
        time.sleep(1)
        reply_time += 1
    if user_id in unreplied_users:
        bot.reply_to(message, "You're banned")
    else:
        bot.reply_to(message, "You can stay!")
 
bot.infinity_polling()