微信扫码
与创始人交个朋友
我要投稿
4o-realtime相关的类主要有以下三个:
RealtimeAPI Class、RealtimeConversation Class、RealtimeClient Class,调用逻辑示意图如下:
客户端发送音频数据:
用户通过客户端应用发送语音查询:“我的订单状态是什么?”
客户端将音频数据传递给RealtimeClient
的append_input_audio
方法。
await realtime_client.append_input_audio(audio_chunk)
2. RealtimeClient处理音频数据:
RealtimeClient
调用RealtimeAPI
的send
方法,将音频数据通过WebSocket协议发送到服务器。
await self.realtime.send("input_audio_buffer.append", {"audio": array_buffer_to_base64(np.array(audio_chunk))})
3. 服务器处理请求并返回响应:
RealtimeAPI
通过WebSocket协议接收来自服务器的消息。
服务器处理音频数据,识别用户的查询,并生成响应。
RealtimeAPI分发事件:
RealtimeAPI
接收到服务器的响应消息后,分发事件到RealtimeClient
。
async for message in self.ws:
event = json.loads(message)
self.dispatch(f"server.{event['type']}", event)
self.dispatch("server.*", event)
5. RealtimeClient处理服务器响应:
RealtimeClient
调用RealtimeConversation
的方法来处理事件并更新对话状态。
item, delta = self.conversation.process_event(event)
if item:
self.dispatch("conversation.updated", {"item": item, "delta": delta})
6. RealtimeConversation管理对话状态:
RealtimeConversation
处理不同类型的事件(如消息创建、转录完成、音频流等),并更新对话状态。
def process_event(self, event, *args):
event_processor = self.EventProcessors.get(event['type'])
if not event_processor:
raise Exception(f"Missing conversation event processor for {event['type']}")
return event_processor(self, event, *args)
7. 客户端接收并播放响应:
RealtimeClient
将处理后的响应发送回客户端。
客户端接收响应并播放音频或显示文本。
await cl.context.emitter.send_audio_chunk(cl.OutputAudioChunk(mimeType="pcm16", data=audio, track=cl.user_session.get("track_id")))
WebSocket协议:
WebSocket是一种在单个TCP连接上进行全双工通信的协议。
在本项目中,RealtimeAPI
类使用WebSocket协议与OpenAI的实时API进行通信。
WebSocket连接的建立和维护由RealtimeAPI
类负责,确保低延迟和高效的数据传输。
通过WebSocket协议,RealtimeAPI
类能够实时发送和接收音频数据和文本消息,确保对话的流畅性和自然性。
客户端发送文本数据:
用户通过客户端应用输入文本查询:“我的订单状态是什么?”
客户端将文本数据传递给RealtimeClient
的send_user_message_content
方法。
await realtime_client.send_user_message_content([{"type": "text", "text": "我的订单状态是什么?"}])
2. RealtimeClient处理文本数据:
RealtimeClient
调用RealtimeAPI
的send
方法,将文本数据通过WebSocket协议发送到服务器。
await self.realtime.send("conversation.item.create", {
"item": {
"type": "message",
"role": "user",
"content": [{"type": "text", "text": "我的订单状态是什么?"}]
}
})
3. 服务器处理请求并返回响应:
RealtimeAPI
通过WebSocket协议接收来自服务器的消息。
服务器处理文本数据,识别用户的查询,并生成响应。
RealtimeAPI分发事件:
RealtimeAPI
接收到服务器的响应消息后,分发事件到RealtimeClient
。
async for message in self.ws:
event = json.loads(message)
self.dispatch(f"server.{event['type']}", event)
self.dispatch("server.*", event)
5. RealtimeClient处理服务器响应:
RealtimeClient
调用RealtimeConversation
的方法来处理事件并更新对话状态。
item, delta = self.conversation.process_event(event)
if item:
self.dispatch("conversation.updated", {"item": item, "delta": delta})
6. RealtimeConversation管理对话状态:
RealtimeConversation
处理不同类型的事件(如消息创建、转录完成、音频流等),并更新对话状态。
def process_event(self, event, *args):
event_processor = self.EventProcessors.get(event['type'])
if not event_processor:
raise Exception(f"Missing conversation event processor for {event['type']}")
return event_processor(self, event, *args)
7. 客户端接收并显示响应:
RealtimeClient
将处理后的响应发送回客户端。
客户端接收响应并显示文本。
await cl.context.emitter.send_text_message(cl.OutputTextMessage(content=response_text))
WebSocket协议:
WebSocket是一种在单个TCP连接上进行全双工通信的协议。
在本项目中,RealtimeAPI
类使用WebSocket协议与OpenAI的实时API进行通信。
WebSocket连接的建立和维护由RealtimeAPI
类负责,确保低延迟和高效的数据传输。
通过WebSocket协议,RealtimeAPI
类能够实时发送和接收文本消息,确保对话的流畅性和自然性。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-11-20
深入了解Fine-Tuning:解锁大语言模型的潜能
2024-11-19
大模型RAG神器,利用LangSmith监测、跟踪、微调LLM和RAG
2024-11-19
9.9比9.11大0.79,让大模型准确地做好数学题
2024-11-19
LLM实践系列-详聊OpenRLHF中的各种Loss
2024-11-18
LLM实践系列-聊聊大模型STF的数据清洗过程有多繁琐?
2024-11-16
深入理解预训练与微调,为什么需要预训练,什么是微调?
2024-11-16
GenAI部署:成功率与ROI为何双下滑?
2024-11-13
无需网络,轻松在手机上离线布署本地大模型
2024-07-11
2024-07-11
2024-07-09
2024-09-18
2024-06-11
2024-07-23
2024-07-20
2024-07-12
2024-07-26
2024-07-23
2024-11-18
2024-11-16
2024-11-16
2024-10-31
2024-10-31
2024-10-27
2024-10-26
2024-10-25