Ошибка удаления файла cannot access the file because it is being used by another process

private Bitmap GetBitmap(string name)
        {
            using (FileStream fs = new FileStream(FileName, FileMode.Open))
            {
                Image image = Image.FromStream(fs);                 
                Bitmap bmp = new Bitmap(image);
                image.Dispose();
                fs.Close();
                return bmp;
            }
        }

File.Delete(FileName);

fs.Dispose();

GC.Collect

        private void button1_Click(object sender, EventArgs e)
        {
            CreateGraphics().DrawImage(GetBitmap(@"F:\234.bmp"), 0, 0);
            File.Delete(@"F:\234.bmp");
        }
 
        private Bitmap GetBitmap(string name) 
        {
            using (FileStream fs = new FileStream(name, FileMode.Open)) // вот здесь лишь изменен.
            {
                Image image = Image.FromStream(fs);
                Bitmap bmp = new Bitmap(image);
                image.Dispose();
                fs.Close();
                return bmp;
            }
        }

private Bitmap GetBitmap(string fileName) {
  return new Bitmap(fileName);
}