RTE 2024 Workshop｜AI 工坊：「组装」你的专属多模态 Agent！

00 <一份活动简介>

OpenAI Realtime API 发布，语音 AI 将迎来新一次爆发。AI 的实时语音和视觉互动能力将为我们带来多少新的创意和场景？

现在，让我们快速动手去体验，并实现一种想法。

在这场工作坊，你会接触到平台型开源框架 TEN Framework，以及使用 TEN 开发的多模态实时互动 AI Agent — TEN Agent，并尝试自定义一个实时多模态 Agent。

TEN 是市面上第一个兼容了 OpenAI Realtime API 和 RTC 的实时多模态 AI Agent 框架，现在访问 https://agent.theten.ai 可以立刻体验接入 Realtime API beta 的最新版本 TEN Agent！

无需撰写代码，你就能创建多模态 Agent。 当电脑响起 “Voice Agent connected！”，你将亲身体验到 AI Agent 的实时对话能力，TEN Agent 能够立即响应你的语音指令，基于视频进行图像理解，并且还能进行网页和天气检索，让你感受到更自然的人机互动体验。

如果你还有口语陪练、儿童故事会、旅游助手等想法，不妨在 TEN 框架下进行自定义，为你的 Agent 赋予新的人设（persona）、音色和功能，即刻探索语音、视频交互的新场景！

现场会设置双重挑战，无论你是想体验多模态 Agent 抑或尝试自己的想法，这里都有适合你的内容。来自 TEN Framework 团队的技术导师们都会在现场为大家答疑。达成基础挑战的伙伴都能拿走我们的开发者奖品，完成进阶挑战更有好礼相赠！

时间：2024 年 10 月 26 日（周六）14:00-18:00

地点：北京朝阳悠唐皇冠假日酒店 · 莱茵厅

01 <现场指北针>

13:30-14:00  签到    

领取开发者礼包 🎁

14:10-15:00  技术大咖主题分享  

主题分享 1

TEN 开源框架及最佳实践案例                                 

嘉宾：TEN Framework 共同发起者 & RTE 开发者社区布道师 Plutoless

主题分享 2

快速构建有情感的声音 - CosyVoice 语音生成大模型原理和实践

嘉宾：阿里巴巴通义实验室语音算法专家 吕翔

主题分享 3

破次元 - Rokid 空间计算和实时 Agent 搭建

嘉宾：Rokid 全球开发者生态负责人 赵维奇

15:00-17:40  现场挑战   

动手并随时茶歇补充能量！

17:40-18:00  本场回顾    

奖品兑换

10 <对话技术>

- TEN (Transformative Extensions Network) Framework 是一个平台型开源框架，能够让开发者一站式快速、灵活地搭建属于自己的多模态实时互动 AI Agent，这个框架包括了基于 Rust 语言开发的 all-in-one TEN manager，支持实时互动的多模态标准协议，支持多种编程语言混合使用的 TEN Runtime，用于可视化低代码编排逻辑的 Graph Designer，以及支持社区公开发布、分享的 Extension Store，供开发者在构建 AI Agent 的过程中即插即用地挑选心仪的模块灵活替换。

- TEN Agent 是一个用 TEN Framework 开发的多模态实时互动的 demo AI Agent，玩家可以通过语音与 LLM 进行交互，还可以通过摄像头和它进行对话，同时也支持基于特定知识库内容回答问题。TEN Agent 完全开源，供社区使用。

11 <Game on！挑战开始>

分享结束后，就正式进入我们的现场创建环节啦！欢迎各位小伙伴参与 RTE 2024 Workshop，这次的主线任务是让你的电脑发出：

Your Voice Agent has been connected！

* 基础挑战 在本地把 TEN Agent 跑起来，并使用 STT + LLM + TTS 与 TEN Agent 对话。

• （1） 使用 camera.va graph；

• （2）使用我们提供的 Azure STT/TTS key, 与 LLM Key，成功启动 Agent；

• （3）调整 LLM 的提示词（Prompt）、开场白（greeting）、温度（temperature）等等，自定义你的 Agent 体验。

🎁挑战成功可获赠：社区 T 恤一件。

* Realtime API 挑战 完成基础挑战的朋友，可以在 TEN 上体验使用 OpenAI Realtime API。

（1） 使用 v2v graph；

（2）使用我们提供的 Realtime API Key，并成功启动 Agent；

（3）调整 LLM 的提示词（Prompt）、开场白（greeting）、温度（temperature）等等，自定义你的 Agent 体验。

* 进阶挑战 完成前两个挑战的同学，可以尝试将 TTS 替换成 CosyVoice 或者 FishAudio 的 TTS。

• （1）使用 camera.va graph；

• （2）将 Azure 的 TTS 换为 CosyVoice 或者 FishAudio 的，选择你喜欢的 type。

  
  

🎁挑战成功可获赠：手办一件（礼品限量，先到先得！）。

p.s. 完成基础挑战的才有机会获得 API Key 进行 Realtime API 的体验！

100 <工欲善其事，必先利其器>

在本场 AI Agent 工作坊中，我们需要现场动手跑通一个 AI Agent，为了能让大家现场一秒进入状态，按时完成挑战、获得奖品，建议报名参与的同学提前做好如下软硬件配置：

• 知识：需要知道科学上网的方式(https + SSH)， 会用命令行，git  和 Docker；

• 需要下载：Docker and Docker compose 和 NodeJS 18；

• 自备电脑一台。

报名并审核通过后，将会邀请大家进入 workshop 专属答疑群，提前搞定前序工作，现场专注探索你的实时 AI 场景！

还可参考以下链接：

• README 英文：https://github.com/TEN-framework/TEN-Agent

• README 中文：https://github.com/ten-framework/ten-agent/blob/main/docs/readmes/README-CN.md

101  <必不可少充电桩>

我们在现场为大家准备了：

• 丰富的奖品进行兑换，达成基础挑战的伙伴都能领取开发者奖品，完成进阶挑战更有好礼相赠 🎁

• 以及美味的茶歇 🍰

• 当然还有必不可少像德芙一样丝滑的网络环境 🗺️

助力大家快乐动手，have fun！

110 <报名须知>

为保证现场体验，现场席位有限，审核名额满员时则会停止报名。审核通过后会邀请大家进入 workshop 专属答疑微信群。

* 关于我们

RTE 开发者社区是聚焦实时互动领域的中立开发者社区。希望通过社区链接领域内的开发者和生态力量，萌芽更多新技

术、新场景，探索实时互动领域的更多可能。不止于纯粹的技术交流，社区相信开发者具备更加丰盈的个体价值，我们

会关注行业发展变革、开发者职涯发展、技术创业创新资源，陪跑开发者，共享、共建、共成长。