AIGC融合RPA会议讨论

发表于 2023-04-22 更新于 2025-07-16

AIGC融合RPA会议讨论纪要

结合实例

AI平台 -> 上传自定义数据集进行训练 -> 封装成RPA组件 -> 在RPA中调用

chatGPT 输入prompt -> chatgpt自动生成一段文本 -> 触发RPA自动执行，文本自动发送

自动生成图像、视频、总结、音频

前言研究

AIGC+RPA ：基于SAM（segment anything model）的融合拾取技术

鼠标点到图像的摸一个部分 -> prompt -> SAM encoder -> decoder -> 分割出图像 -> RPA自动截取

基于Chatgpt的智能文档审阅技术（Chat-IDP)

读取文档 -> 输入一些校验语句（例如，金额大小写是否一致) -> chat-IDP 语义理解-> RPA校验

基于AIGC的RPA流程自动生成

用户输入需求 -> AIGC 生成需求步骤 -> 组装RPA 组件 -> 生成完整RPA流程工程

SAAS: 例如chatgpt web版

胖客户端：带CV识别功能类的应用

RPA+信息提取（图像分割与识别）：利用AI平台上传自定义数据集进行训练，封装成RPA组件，在RPA中调用，实现对图像中的目标进行分割和识别。
RPA+智能决策（客户情绪分类->自动发送问题问卷）：利用AI平台对客户的语音或文本进行情绪分析，根据结果触发RPA发送相应的问题问卷，收集反馈。
RPA+CV实体信息抽取（例如各种报表图片的数据格式化，OCR）：利用AI平台对报表图片进行OCR识别，提取出文本信息，转换成结构化数据，存储或处理。
RPA+智能屏幕语言理解技术（告别拖拉拽，基于ISSUT技术，识别用户的操作，猜测用户的行为，执行推荐算法，例如直接点选用）：利用AI平台对用户在屏幕上的操作进行语义理解，根据用户的意图和上下文，推荐最合适的RPA动作，简化流程设计。

公司落地实践案例：

自动弹幕发送：利用chatGPT输入prompt，生成一段文本，触发RPA自动执行，文本自动发送到弹幕平台。
自动生成图像、视频、总结、音频：利用AI平台提供的各种生成模型，输入prompt或参数，生成所需的内容，触发RPA自动保存或分享。
基于SAM（segment anything model）的融合拾取技术：利用AI平台提供的SAM模型，输入prompt或鼠标点选图像中的某个部分，实现图像分割和截取。
基于Chatgpt的智能文档审阅技术（Chat-IDP) ：利用AI平台提供的Chat-IDP模型，输入一些校验语句（例如，金额大小写是否一致)，对文档进行语义理解和校验。
基于AIGC的RPA流程自动生成：利用AI训练平台提供的AIGC模型，输入用户需求，生成需求步骤和RPA组件，组装成完整的RPA流程工程。

部署方式：