Parallel.For: Зачастую t1 не равно t2 и соответственно не равны Sum1 и Sum2

   int Min = 0,
       Max = 1000,
       t1 = 0, 
       t2 = 0;
 
   double Sum1 = 0,
          Sum2 = 0;
 
   for (int i = Max + 1; --i > Min - 1; )
   {
       for (int j = Max + 1; --j > Min - 1; t1++)
           Sum1 += Math.Atan(i * j) / (i + 1)
                 * Math.Atan(i * j) / (j + 1);
                    
   }
 
   Parallel.For(Min, Max + 1, i =>
   {
        for (int j = Max + 1; --j > Min - 1; t2++)
            Sum2 += Math.Atan(i * j) / (i + 1)
                  * Math.Atan(i * j) / (j + 1);
   });

     double nextResult = Math.Atan(i * j) / (i + 1)
                       * Math.Atan(i * j) / (j + 1);
     double initialValue, computedValue;
     do {
         initialValue = Sum2;
         computedValue = initialValue + nextResult;
     } while (initialValue != Interlocked.CompareExchange(ref Sum2, computedValue, initialValue));

//предложенный вариант
Parallel.For(Min, Max + 1, i =>
                {
                    for (int j = Max + 1; --j > Min - 1; t3++)
                    {
                        double nextResult = Math.Atan(i * j) / (i + 1)
                      * Math.Atan(i * j) / (j + 1);
                        double initialValue, computedValue;
                        do
                        {
                            initialValue = Sum3;
                            computedValue = initialValue + nextResult;
                        } while (initialValue != Interlocked.CompareExchange(ref Sum3, computedValue, initialValue));
                    }
                });
 
//модифицированный мной вариант
Parallel.For(Min, Max + 1, i =>
                {
                    double nextResult = 0;
 
                    for (int j = Max + 1; --j > Min - 1; t2++)
                    {
                        nextResult += Math.Atan(i * j) / (i + 1) * Math.Atan(i * j) / (j + 1);
                    }
 
                    double initialValue,
                           computedValue;
                    do
                    {
                        initialValue = Sum2;
                        computedValue = initialValue + nextResult;
                    } while (initialValue != Interlocked.CompareExchange(ref Sum2, computedValue, initialValue));
                });

private void textBox1_MouseClick(object sender, MouseEventArgs e)
        {
            int Min = 0,
                Max = 125,
                t1 = 0,
                t2 = 0;
 
            double Sum1 = 0,
                   Sum2 = 0;
 
            for (int i = Max + 1; --i > Min - 1; )
            {
                for (int j = Max + 1; --j > Min - 1; t1++)
                    Sum1 += Math.Atan(i * j) / (i + 1) * Math.Atan(i * j) / (j + 1);
 
            }
 
            Parallel.For(Min, Max + 1, i =>
            {
                double nextResult = 0;
 
                for (int j = Max + 1; --j > Min - 1; t2++)
                {
                    nextResult += Math.Atan(i * j) / (i + 1) * Math.Atan(i * j) / (j + 1);
                }
 
                double initialValue = 0,
                       computedValue = 0;
                do
                {
                    initialValue = Sum2;
                    computedValue = initialValue + nextResult;
                } while (initialValue != Interlocked.CompareExchange(ref Sum2, computedValue, initialValue));
            });
 
            t1 = t2 = 0;//здесь ставлю точку останова
        }

 private void textBox1_MouseClick(object sender, MouseEventArgs e)
        {
            int Min = 0,
                Max = 10000,
                t1 = 0,
                t2 = 0;
 
            long Time1,
                 Time2;
            
            Stopwatch sWatch = new Stopwatch();
 
            double[] S;
            
            double Sum1 = 0,
                   Sum2 = 0;
            
            sWatch.Start();
            for (int i = Max + 1; --i > Min - 1; )
            {
                for (int j = Max + 1; --j > Min - 1; t1++)
                    Sum1 += Math.Atan(i * j) / (i + 1) * Math.Atan(i * j) / (j + 1);
 
            }
            Time1 = sWatch.ElapsedMilliseconds;
 
            sWatch.Restart();
            S = new double[Max - Min + 1];
 
            Parallel.For(Min, Max + 1, i =>
            {
                for (int j = Max + 1; --j > Min - 1; t2++)
                {
                    S[i-Min] += Math.Atan(i * j) / (i + 1) * Math.Atan(i * j) / (j + 1);
                }
                
            });
 
            for (int i = S.Length; --i > -1; )
                Sum2 += S[i];
            Time2 = sWatch.ElapsedMilliseconds;
 
            t1 = t2 = 0;
        }
    }