Попробуйте Squish (http://www.froglogic.com/). Тулза много чего умеет, но немного сыровата для некоторых вещей. Автоматизировать можно как для винды, так и для мака.
В девелоперских инструментах Mac OS X есть UI Recorder ("This template records the user interface events of a process launched from Instruments. This recording may then be played back to drive the user interface of the target process while other instruments record new data. To use, switch to 'Capture' mode to record the events or to 'Drive' mode to replay the events in order to drive the target application's user interface from Instruments.").
А UIAutomation используется исключительно для iOS-приложений.