Массив: Найти среднее арифметическое элементов в окрашенной области без дополнительных массивов.

using System;
namespace ConsoleApplication1
{
    class Program
    {
        static void Main(string[] args)
        {
            Random rand = new Random();
            Console.WriteLine("Введите N :");
            int N = int.Parse(Console.ReadLine());
            int[,] matrix = new int[N, N];
            int i, j;
            double sum = 0, kol = 0;
 
            for (i = 0; i < N; i++)
            {
                for (j = 0; j < N; j++)
                {
                    matrix[i, j] = rand.Next(-50, 50);
                    Console.Write(matrix[i, j] + "    ");
                }
                Console.WriteLine();
                Console.WriteLine("------------------------------------------");
            }
            Console.WriteLine();
 
            for (i = 0; i < N / 2; i++) //1
            {
                for (j = 0; j < N / 2; j++)
                {
                    if (i > j)
                    {
                        sum += matrix[i, j];
                        kol++;
                    }
                }
            }
 
            for (i = 0; i < N / 2; i++) //2
            {
                for (j = N / 2; j < N; j++)
                {
                    if (i + j > N - 1)
                    {
                        sum += matrix[i, j];
                        kol++;
                    }
                }
            }
            for (i = N / 2; i < N; i++)//3
            {
                for (j = 0; j < N / 2; j++)
                {
                    if (i + j < N - 1)
                    {
                        sum += matrix[i, j];
                        kol++;
                    }
                }
            }
 
            for (i = N / 2; i < N; i++)//4
            {
                for (j = i + 1; j < N; j++)
                {
                    sum += matrix[i, j];
                    kol++;
                }
            }
            Console.WriteLine("Sr: {0}", sum/kol);
            Console.ReadKey();
        }
    }
}