Finalmente, tengo una solución. Muchísimas gracias a Monomeeth por la versión de VBA que me puso en el camino correcto. (Y también es posible hacer esto en Windows)

Funciona de manera similar a la versión de Monomeeth. Tiene un rango considerado por razones de rendimiento. Configúralo cambiando esta línea en consecuencia:

set range_considered to range "A1:Z100" of active sheet

Aquí está:

-- use "intersect" to test whether the considered area overlaps with the selected area
-- use union to append non-selected cells to a new range

tell application "Microsoft Excel"
    set screen updating to false -- optimize performance
    --tell active sheet of active workbook
    set range_considered to range "A1:Z100" of active sheet
    set range_selected to selection
    set range_new_selection to "Nothing"

    -- setup ref vars for selection
    tell selection to set {range_selected_row_index, range_selected_column_index, range_selected_row_count, range_selected_column_count} to {get first row index of selection, get first column index of selection, get count rows of selection, get count columns of selection}
    -- setup ref vars for considered
    tell selection to set {range_considered_row_index, range_considered_column_index, range_considered_row_count, range_considered_column_count} to {get first row index of range_considered, get first column index of range_considered, get count rows of range_considered, get count columns of range_considered}

    -- go column by column and iterate each row in each column
    repeat with considered_col_step from range_considered_column_index to range_considered_column_count
        repeat with considered_row_step from range_considered_row_index to range_considered_row_count
            set range_this_cell to range (get address row considered_row_step of column considered_col_step of active sheet) of active sheet
            log range_selected
            try
                set range_test to intersect range1 range_this_cell range2 range_selected -- test for intersection with selected
                (*use try to detect error. Will fail if cell is within selection*)
                log "TRUE Intersected"
            on error
                (*Create or append to range_new_selection*)
                log "FALSE intersected"
                if range_new_selection is "Nothing" then
                    set range_new_selection to range_this_cell
                else
                    set range_new_selection to union range1 range_new_selection range2 range_this_cell
                end if
            end try
        end repeat
    end repeat
    try
        select range_new_selection
    on error
        log "Could not select new range."
    end try
    set screen updating to true -- optimize performance
end tell

He estado trabajando en esta pregunta por un tiempo y, golpeando una pared de ladrillos, decidí intentar que funcionara usando Visual Basic en su lugar. Mi esperanza es que al hacer esto sea más fácil obtener el código correcto dentro de AppleScript, así que estoy compartiendo el código de Visual Basic en caso de que ayude a otra persona a que funcione una versión de AppleScript, no es que yo haya renunciado a esto. ¡todavía! :)

Sub InvertSheet()

Set s1 = Selection
Set s2 = Range("A1:Z100")
Set sinv = Nothing

For Each s In s2
If Intersect(s, s1) Is Nothing Then
If sinv Is Nothing Then
Set sinv = s
Else
Set sinv = Union(sinv, s)
End If
End If
Next

If sinv Is Nothing Then
Else
sinv.Select
End If
End Sub

NOTAS:

• Me encontré con un problema, a saber, que no podía encontrar una forma de aplicar esto a toda la hoja sin que esto causara que Excel se bloqueara por períodos de tiempo extremadamente largos (probablemente porque tiene que revisar 1,048,576 filas y 16,384 columnas) para hacerlo.
• Para solucionar este problema, utilicé Set s2 = Range("A1:Z100") para limitar el área de la hoja en la que se aplica el código al rango de A1: Z100. Sin embargo, esto se puede cambiar para adaptarse a un área más grande si es necesario.
• Me imagino que tratar de cubrir toda la hoja también será un problema dentro de AppleSCript.