Управление сторонней программой

import java.awt.AWTException;
import java.awt.Color;
import java.awt.Rectangle;
import java.awt.Robot;
import java.awt.event.InputEvent;
import java.awt.image.BufferedImage;
 
public class Detector {
 
    // Координаты левой верхней точки окна
    private static final int leftTopX = 0;
    private static final int leftTopY = 0;
 
    // Размеры окна
    private static final int width = 600;
    private static final int height = 500;
 
    // Размеры прямоугольника, уменьшенные на единицу
    private static final int offsetX = 4;
    private static final int offsetY = 4;
 
    // Цвет фона, например серый
    private static final Color background = new Color(133, 133, 133);
 
    private static final Color green = new Color(0, 255, 0);
 
    // Координаты внутри конки "Зеленый" - вписать нужные значения
    // Остальные кнопки добавить по аналогии
    private static final int greenBtnX = 100;
    private static final int greenBtnY = 650;
 
    public static void main(String[] args) throws InterruptedException, AWTException {
 
        while (true) {
            Robot robot = new Robot();
            Rectangle rect = new Rectangle(leftTopX, leftTopY, width, height);
            BufferedImage image = robot.createScreenCapture(rect);
            Color color = null;
 
            outer:
            for (int y = leftTopY; y < leftTopY + height; y += offsetY) {
                for (int x = leftTopX; x < leftTopX + width; x += offsetX) {
                    color = new Color(image.getRGB(x, y));
                    if (!color.equals(background)) {        // Цвет точки не совпадает с цветом фона - это и есть цвет искомого прямоугольника
                        break outer;
                    }
                }
            }
 
            if (green.equals(color)) {      // Если цвет найденного прямоугольника зеленый - жмем кнопку "Зеленый" 
                robot.mouseMove(greenBtnX, greenBtnY);
                robot.mousePress(InputEvent.BUTTON1_MASK);
                robot.mouseRelease(InputEvent.BUTTON1_MASK);
            }
 
            // ... далее обработка остальных цветов и кнопок
            
            Thread.sleep(3000);     // задержка 3 секунды перед следующим поиском прямоугольника
        }
 
    }
 
}