Stack overflow.

Или может функцию лучше разбить на несколько?(

SetThreadStackGuarantee Function

Sets the minimum size of the stack associated with the calling thread or fiber that will be available during any stack overflow exceptions. This is useful for handling stack overflow exceptions; the application can safely use the specified number of bytes during exception handling.


BOOL WINAPI SetThreadStackGuarantee(
__in_out PULONG StackSizeInBytes
);

Parameters
StackSizeInBytes
The size of the stack, in bytes. On return, this value is set to the size of the previous stack, in bytes.

If this parameter is 0 (zero), the function succeeds and the parameter contains the size of the current stack.

If the specified size is less than the current size, the function succeeds but ignores this request. Therefore, you cannot use this function to reduce the size of the stack.

This value cannot be larger than the reserved stack size.

Return Value
If the function succeeds, the return value is nonzero.

If the function fails, the return value is 0 (zero). To get extended error information, call GetLastError.

а под линухов вроде бы как нельзя для процесса размер стека указать программно

не понял...
процесс может работать без потока?

Но когда внутри a.out ты создаёшь поток, то при создании потока можно указать для него (потока) размер стека

т.е., изменить размер своего стека под линухом нельзя?