個人向けAIエージェントは、API、シェル、ウェブインターフェース、デスクトップGUIなど複数のプラットフォームにわたって動作する必要があります。しかし既存システムの多くは単一のインターフェースに特化しており、ユーザーが自分の操作方法を教えたり、エージェントの動作を監査したりする機能に限界があります。こうした課題に対し、研究チームがSyllというオープンソースの自己ホスト型マルチモーダルエージェント環境を開発しました。 Syllの最大の特徴は、MCP/APIツール、CLI実行、ビジュアルGUI操作を統一的なモジュラーランタイムで統合し、複雑なインターフェースを跨いだコンピュータ操作を調整できることです。そしてユーザーとエージェント間の双方向インタラクション機能を備えており、ユーザーが直接デモンストレーションで操作方法を示すと、Syllがそれを再利用可能なスキルに自動コンパイルします。逆にエージェント実行時には、ログ、キーフレーム、承認チェックポイントなどのマルチモーダル証拠を生成し、ユーザーが動作を検査・制御できるようになっています。 Syllではメモリ、スキル、ルーチン、ガバナンスをローカル環境に編集可能なアーティファクトとして外部化します。これにより、ユーザーが簡単に検査、拡張、さらに下流の開発に利用することが可能です。研究チームはAdobe PhotoshopやAdobe Audition、Stardew Valley、macOS Finderなど複数の本番環境デスクトップアプリケーションで検証を行い、マルチモーダルルーティング、教可能なGUIリプレイ、永続的なローカルアーティファクト機能の有効性を確認しました。開発者らは、Syllがユーザーが教え、検査し、継続的に拡張できる個人用自動化のための実用的なオープンソース基盤となることを期待しています。