Как хранить большой числовой массив для быстрого доступа и сортировки

        //картинка подгружается на Open
        Bitmap pic;
        int x1, y1, a1, r1 ,g1 ,b1;
 
        private void button3_Click(object sender, EventArgs e)
        {
            StreamWriter fp = new StreamWriter("D:\\MyProg\\cvetoprof\\RGB_0.prfs");
            pic = new Bitmap(pictureBox1.Image);
            byte[,][] Arr = new byte[4096,4096][];
            r1 = g1 = b1 = 0;
            y1 = 0;
            x1 = 0;
 
            for (x1 = 0; x1 < 4096; x1++)
            {
                for (y1 = 0; y1 < 4096; y1++)
                {
                    Color color = pic.GetPixel(y1, x1);
 
                    Arr[x1, y1] = new byte[3];
                    Arr[x1, y1][0] = color.R;
                    Arr[x1, y1][1] = color.G;
                    Arr[x1, y1][2] = color.B;
                    fp.Write(Arr[x1, y1][0] + " " + Arr[x1, y1][1] + " " + Arr[x1, y1][2] + "\n");
                }
            }
            fp.Close();
        }

 private void button4_Click(object sender, EventArgs e)
        {
            byte[,][] Arr1 = new byte[4096, 4096][];
            byte n;
 
            //прочитать весь файл по пути и создать на его основе массив строк
            var str = File.ReadAllText("D:\\MyProg\\cvetoprof\\RGB_0.prfs").
                Split(new string[] { " " }, StringSplitOptions.RemoveEmptyEntries);
 
            //закинуть в байтовый массив
            for (int m = 0; m < str.Length; m++)
            {
                n = Byte.Parse(str[m]);
                for (int i = 0; i < 4096; i++)
                {
                    for (int j = 0; j < 4096; j++)
                    {
                        Arr1[i, j] = new byte[3];
 
                        for (int q = 0; q < 3; q++)
                        {
                            Arr1[i, j][q] = n;
                        }
                    }
                }
            }
            //вывод контрольного значения.
            StreamWriter fpp = new StreamWriter("D:\\MyProg\\Test\\Test.prfs");
            fpp.WriteLine(Arr1[2, 1][0]);
            fpp.Close();
        }

        Bitmap pic;
        int x1, y1, a1, r1 ,g1 ,b1;
        byte[,][] Arr = new byte[4096, 4096][];
        private void button3_Click(object sender, EventArgs e)
        {
            pic = (Bitmap)Image.FromFile("D:\\MyProg\\cvetoprof\\RGB_0.tif");
            
            r1 = g1 = b1 = 0;
            y1 = 0;
            x1 = 0;
 
            FileStream FileRec = new FileStream("D:\\MyProg\\Test\\DlyaTestov.prfs", FileMode.Create, FileAccess.Write);
            BinaryWriter bw = new BinaryWriter(FileRec);
 
            for (x1 = 0; x1 < 4096; x1++)
            {
                for (y1 = 0; y1 < 4096; y1++)
                {
                    //Чтение пикселя
                    Color color = pic.GetPixel(y1, x1);
                    //Массив данных
                    Arr[x1, y1] = new byte[3];
                    Arr[x1, y1][0] = color.R;
                    Arr[x1, y1][1] = color.G;
                    Arr[x1, y1][2] = color.B;
                    //запись массива в файл для дальнейшего использования
                    for (int i = 0; i < 3; i++)
                    {
                        bw.Write(Arr[x1, y1][i]);
                    }
                }
            }
            bw.Close();
            FileRec.Close();
        }

 private void button4_Click(object sender, EventArgs e)
        {
            FileStream FileRead = new FileStream("D:\\MyProg\\Test\\DlyaTestov.prfs", FileMode.Open, FileAccess.Read);
            BinaryReader br = new BinaryReader(FileRead);
 
            for (int i = 0; i <= 4096-1; i++)
            {
                for (int j = 0; j <= 4096-1; j++)
                {
                    Arr[i, j] = new byte[3];
                    for (int q = 0; q < 3; q++)
                    {
                        //Чтение из файла
                        (Arr[i, j][q]) = br.ReadByte();
                    }
                }
            }
            FileRead.Close();
            br.Close();
        }