Что это
sim-use — кроссплатформный CLI на Swift, который позволяет ИИ-агенту наблюдать за экраном iOS Simulator или Android-эмулятора/устройства и взаимодействовать с ним. Команда observe превращает экран в компактный текстовый outline для LLM (примерно в 16 раз компактнее JSON-дерева accessibility), а команды act (tap, swipe, type, button и другие) позволяют агенту нажимать на элементы по стабильным идентификаторам без вычисления координат. Один и тот же набор команд и флаг --json работают одинаково для iOS и Android, так что один agent loop можно переиспользовать на обеих платформах.
Для участников клуба, которые собирают агентов для тестирования и автоматизации мобильных приложений (в связке с Claude, вайб-кодинг мобильных MVP, автоматическая проверка UI после изменений кода), sim-use закрывает типичный пробел: агент, написавший код, может сам открыть симулятор, потыкать по экрану и увидеть результат, а не полагаться на пересказ человека. Инструмент из коробки поддерживает установку агентского скилла (sim-use init --client claude) и работает как фоновый daemon с задержкой около 300 мс на цикл observe-act, что делает его пригодным для встраивания в автономные агентские циклы.
Возможности
- Команда observe/ui превращает экран в текстовый outline с id элементов (@N, #id) вместо громоздкого accessibility-дерева
- Команда tap работает по кэшированным идентификаторам @N, #id или по координатам, без ручного вычисления позиций
- Единый набор команд (tap, swipe, type, paste, button, gesture, screenshot, record-video) одинаково работает на iOS Simulator и Android
- Поддержка аппаратных кнопок (home, lock, siri) и IME-безопасного ввода текста через paste
- Запись и потоковая передача видео экрана (record-video, stream-video для iOS)
- Встроенный веб-Viewer для визуализации accessibility-дерева и ручного тестирования из браузера
- Готовый скилл для интеграции с Claude через команду sim-use init --client claude
- Фоновый per-device daemon с циклом observe-act около 300 мс после инициализации
Цена: Открытый исходный код под Apache License 2.0, распространяется бесплатно через Homebrew или сборку из исходников; платных тарифов нет
