我把最近用 AI 写出来的一个远程桌面项目开源到了 GitHub:TaoScreen(涛子远程桌面),采用 Apache-2.0 协议。

写这篇文章之前,我想先把一个最现实的评价放在前面:单看目前的实际使用体验和完成度,TaoScreen 可能连 UU 远程的免费版都比不上,而且现阶段只支持 Mac 连 Mac(macOS 14+)。

但它对我来说有一层很不一样的意义——这个项目从客户端到服务端,全部都是靠 AI 编程完成的。 远程桌面这种牵涉音视频采集与硬件编解码、WebRTC 传输、加密认证、虚拟显示器、系统底层权限和双向端口映射的软件,以前作为个人开发者根本不敢想;现在借助 AI,不仅真的手搓了出来,还能直接跑进自己的日常工作流里。之前我在《当个人也能用 AI 写软件:像 Tailscale 这样的内网工具为什么会迎来爆发》里聊过“为自己写软件”的趋势,TaoScreen 算是我在桌面工具上的一次真实验证。

先说实话:现在未必比得上商业免费版,但掌控感完全不同

拿现在的 TaoScreen 和 UU 远程这类成熟商业软件横向比,差距其实很明显:商业软件背后有专职团队长期打磨,有遍布各地的中转加速节点,弱网抗丢包策略很成熟,Windows、macOS、手机端也早就全部打通,装上就能直接用。TaoScreen 目前没有现成的公网中转集群,也没有多平台安装包,整体细节肯定还有差距。

即便如此,我依然觉得把它做出来并且开源很值得,主要有两个原因:

  1. 它直观证明了 AI 编程把个人能触达的项目边界推到了哪里。 TaoScreen 不是一个拼界面壳子的小玩具:macOS 客户端基于 SwiftUI、Apple ScreenCaptureKit、原生 WebRTC(stasel/WebRTC 154.0.0)和 Sparkle 2.10.0 实现,包含 44 个 Swift 源码文件;自托管服务端基于 Go、PostgreSQL 18 和 Redis 7.4 实现,包含 25 个 Go 源码文件,同时带了管理后台、下载页、单元测试与真实依赖集成测试。以前这些模块单拎出来一个都够折腾很久,现在只要自己把需求边界、安全模型和交互逻辑理清楚,就能一点点借 AI 写出来并跑通。
  2. 所有代码都握在自己手里,功能完全按自己的需求长。 用商业软件时,你只能接受它提供的免费额度、网络模式和功能排期;而自己的开源项目,想要零服务器直连 Tailscale、想要不用开画面就能单独做双向端口映射、想要用控制端 Touch ID 解锁远端锁屏 Mac、想要虚拟扩展屏和隐私屏——觉得顺手需要什么,就可以随时加进去。

两种使用方式:零服务器直连,也可以自托管服务端

TaoScreen 针对不同的使用场景提供了两种独立互补的连接方式,在客户端窗口顶部可以随时切换 「免登录直连」 和 「账号连接」:

对比维度方式一:免登录直连(仅客户端 + 局域网 / Tailscale)方式二:账号连接(自托管信令服务端)
是否需要自建服务器不需要(纯客户端即可工作)需要(Docker Compose 自托管 Go 服务端)
适用网络同一局域网(Bonjour 自动发现)或 Tailscale 内网任意公网 / 跨复杂 NAT(支持配置 STUN / coturn TURN 中继)
身份与连接方式• 6 位临时密码(TCP 45871,逐次确认)
• Tailscale 固定密码(TCP 45873,免确认)
• Tailscale 可信设备(TCP 45872,密钥对免密)
邮箱密码、Google / GitHub PKCE 登录,同账号在线设备自动列表展示、点击即连
无人值守(含锁屏直连)支持(Tailscale 固定密码或已配对可信设备,仅限 Tailnet)支持(按账号与设备配置的同账号无人值守)
核心能力屏幕共享(含虚拟屏)、键鼠控制、系统声音;逐次确认直连另支持文件传输与剪贴板同步同账号设备列表、多标签并发控制、独立双向 TCP/UDP 端口映射、本机钥匙串 Touch ID 一键解锁、断连自动锁屏

方式一:免登录直连(纯客户端 + 局域网 / Tailscale)

如果你平时就在家里、办公室同一个局域网,或者机器之间本来就连通了 Tailscale,其实连服务端都不需要部署。

免登录直连与 Tailscale 无人值守界面

打开客户端切换到「免登录直连」后,本机卡片会自动探测并列出当前的 Tailscale IP、MagicDNS 和 局域网 IP——除了官网版和 Homebrew 版 Tailscale CLI,针对没有 CLI 的 Mac App Store 版也做了 utun 隧道接口回落检测。同一局域网下打开本地网络权限后,还会通过 Bonjour 自动发现附近设备。

  • 6 位临时密码直连(TCP 45871):适合临时协助。被控端打开开关后会生成 6 位临时密码(也支持 taoscreen-direct:// 链接和 TS1- 连接码)。握手没有采用明文校验,而是做了通道绑定 PAKE(Curve25519 Elligator2) 双向验证密码并绑定当前 TLS 证书指纹(连续输错 5 次锁定 60 秒),再由被控端逐次弹窗确认允许共享屏幕、键鼠或系统声音。
  • Tailscale 无人值守:仅接受来自 Tailnet 内网的请求,被控 Mac 登录会话后即使处于锁屏或熄屏状态也能直连。支持两种免人工确认方式:一种是 8 位以上固定密码免确认(TCP 45873,本机钥匙串只保存 100,000 轮加盐 PBKDF2-HMAC-SHA256 摘要,不存明文);另一种是 可信设备配对免密(TCP 45872,先在一次直连时勾选「记为可信设备」,双方本机钥匙串保存 P-256 设备公钥,之后每次连入都做双向 TLS 公钥校验)。

方式二:自托管 Go 信令服务端 + 同账号设备管理

如果设备分布在不同公网环境下,或者想要把多台常用 Mac 统一挂在同一个账号下管理,可以用仓库里的 Docker Compose 配置把服务端拉起来(Go + PostgreSQL 18 + Redis 7.4)。

自托管账号连接与同账号设备列表

登录后,同一账号下开启了远程桌面的设备会自动出现在列表里,支持多标签并发控制、WebSocket 心跳租约与 60 秒断线无缝恢复;遇到复杂 NAT 无法直连时,也可以配合自建 coturn 服务签发两小时有效的短期 TURN 中继凭据。

服务端本身也把配套的运维和分发流程补齐了:内置本地管理员后台(/admin,支持 TOTP 动态码或 Cloudflare Access 鉴权)用于创建和管理用户,以及公开下载页(/download)配合 Sparkle 2.10 的 Ed25519 签名验证实现桌面端应用内自动更新。

以前不敢想,现在手搓出来的核心功能

写这个项目的过程中最爽的地方,就是那些以前觉得只有大厂客户端才有的细节功能,现在真能一个一个做出来。

1. 原生高画质采集、五档画质切换与虚拟扩展屏

画面传输底层直接调用 Apple ScreenCaptureKit 和原生 WebRTC(优先走 H.264 硬件编解码,不支持时回落 VP8)。

会话连接设置与五档画质实时切换

实际使用里重点补齐了这些细节:

  • 五档画质实时无感切换:会话进行中可以直接在右上角切换 节省流量 (720p/15fps)、标准 (1080p/30fps)、流畅优先 (1080p/60fps)、高清 (1440p/30fps) 和 超清默认 (4K/30fps),不需要断开重连,偏好会按服务器、账号和被控设备分别记住。
  • 贴近 macOS 习惯的操作细节:支持系统声音实时采集与静音;支持在顶部切换「远端输入法」和「本机输入法」(切到本机输入法时可直接用当前 Mac 的输入法和语音听写);支持切换快捷键接收端(⌃⌥Esc 随时把焦点释放回本机),并在顶部保留了调度中心(⌃↑)、显示 Dock(⌃F3)、当前应用窗口(⌃↓)、显示桌面(F11)、切换全屏(⌃⌘F)等常用快捷操作。悬停窗口标签上的信号图标,还能看到控制端与被控端真实建立连接的 IPv4/IPv6 地址、是否走中继以及实时 RTT 延迟。
  • 按连接创建的虚拟扩展屏:发起连接时可以选择在被控端动态创建一块 1920×1080、2560×1440 或 3840×2160 (HiDPI) 的 60 Hz 虚拟扩展显示器,把需要远程操作的窗口拖到这块屏幕里,结束共享或退出应用后自动移除。需要说明的是,虚拟屏创建依赖 macOS 非公开接口,在锁屏或无实体显示器环境下的表现取决于具体系统版本与显示状态。

2. 剪贴板、文件传输与隐私安全保护

远程控制自己的主力电脑,除了画面和延迟,顺手与安全边界往往更影响日常体验。

隐私屏设置支持预设样式与自定义图片

  • 剪贴板与文件传输:支持双向文本剪贴板同步、⌘V 智能粘贴与本地文件上传;也可以直接把文件或文件夹拖拽到远程窗口的指定位置投放(暂存 7 天并支持复制路径),或统一发送到 下载/TaoScreen,走独立可靠数据通道并做 SHA-256 校验。
  • 隐私屏:内置 3 款预设遮罩,也支持导入最多 20 张自定义图片,可以设置被连接时自动启用,遮住被控端实体显示器内容,本地需要接管时随时按 ⌃⌥⇧Esc 紧急退出。
  • 本机钥匙串解锁与断连自动锁屏(账号模式):远程 Mac 的登录密码只保存在控制端本机钥匙串(关闭 iCloud 同步,支持 Secure Enclave 硬件私钥保护)。遇到锁屏界面时,在控制端通过 Touch ID 或本机登录密码验证后,直接经当前加密控制通道完成解锁,密码不经过服务器,也不走剪贴板;此外还可以开启「断开连接后锁定被控电脑」,手动断开或网络异常失联且恢复失败时,被控端会自动执行 ⌃⌘Q 锁屏。
  • 传输加密与数据边界:音视频、键鼠事件、文件和端口转发数据全部走 WebRTC DTLS-SRTP 加密通道,自托管服务端只处理账号鉴权、在线设备状态和信令协商,不保存画面、输入内容、登录密码或传输文件。

3. 独立双向 TCP / UDP 端口映射

这一块在交互上参考了 UU 远程顺手的设计(按设备进入、清晰的映射列表和四字段规则弹窗),但底层走的是独立的 WebRTC desktop-ports.v1 数据通道。

独立双向 TCP 与 UDP 端口映射管理界面

使用的时候不需要先打开远程桌面画面,被控端也不需要授予屏幕录制和辅助功能权限,只要开启端口服务就能独立运行。支持正向映射(本机端口映射到远端 Mac 或它能访问的局域网设备)和反向映射(远端监听映射回本机服务),支持 TCP 与 UDP、127.0.0.1 本机或 0.0.0.0 局域网监听、单条启停、创建副本、离线编辑规则以及断线重连后自动恢复。

当前的局限与后续规划

把现状摆在台面上说清楚,现阶段的 TaoScreen 还有几个明显的局限:

  • 目前只支持 Mac 连 Mac:客户端只实现了 macOS 14+(Apple Silicon / Intel),跨平台互连还没有开始。
  • 上手门槛比商业软件高:目前需要自己用 Xcode 和 XcodeGen 从源码构建,仓库里还没有补齐 CI 自动构建和开箱即用的预编译 Release 安装包。
  • 跨公网复杂网络仍依赖基础设施:没有庞大的商业中转节点集群,跨复杂 NAT 时要么走 Tailscale 组网,要么自己搭配一台公网服务器部署 coturn 中继。

但换个角度看,正因为这是一个完全由自己掌控的开源底座,后面的路线可以完全顺着真实需要往下长:

  1. 按日常需求随时加功能:实际用下来哪里不顺手、缺什么小功能,直接让 AI 一起改、一起测。
  2. 开发移动端(iOS / iPadOS 与 Android):补齐手机和平板客户端,适配触控手势、虚拟鼠标与移动端快捷键盘,出门在外也能随时连回桌面干活。
  3. 开发 Windows 平台客户端:同时支持作为控制端和被控端,把 macOS、Windows 和移动设备之间的远程桌面与端口映射打通。
  4. 完善开源发行流程:补充 CI 自动构建、签名产物分发和多语言文档。

如何自己编译或自托管试试

如果你想自己拉源码看一看,或者在两台 Mac 上实际跑起来试试,目前有两条路径。

构建 macOS 客户端需要安装 Xcode、Swift 工具链和 XcodeGen(brew install xcodegen):

cd macos
./scripts/build-app.sh
open dist/TaoScreen.app

首次作为被控端共享屏幕或接受控制时,需要按应用引导在「系统设置 → 隐私与安全性」里授予 录屏与系统录音 和 辅助功能 权限。

  • 只想纯客户端直连:两台 Mac 都打开 TaoScreen.app 并切到顶部的 「免登录直连」,处在同一局域网或连通 Tailscale 后,通过 6 位临时密码或 Tailscale 无人值守就能直接互连。
  • 想本地体验自托管服务端:需要 Docker Compose v2 和 Python 3,在 server 目录执行初始化和启动命令即可:
cd server
python3 scripts/setup-local.py
docker compose up -d --build --wait
docker compose exec api /server create-user [email protected]

本地启动后,客户端选择 「账号连接」 并填入 http://127.0.0.1:28080 就能登录测试(正式公网部署需要配 HTTPS 反向代理)。

项目源码、使用文档和部署说明都放在 GitHub 仓库里:

回头看整个过程,TaoScreen 现在也许还不如商业软件的免费版那样省心、全能,但全靠 AI 编程把一个以前不敢想象的远程桌面项目从零搭出来、用起来,并且握在自己手里继续往手机端和 Windows 延伸,这件事本身的成就感已经足够大了。

正在加载评论…