比赛总结：天池2023博金大模型挑战赛

• 赛题类型：知识问答、RAG、NL2SQL
• 赛题任务：构建通用知识问答方案，可以进行文本理解和数据查询

https://tianchi.aliyun.com/competition/entrance/532164/information

赛题背景

欢迎加入2023年“博金大模型挑战赛”。随着人工智能和数字化技术在金融领域的日益广泛应用，本次赛事旨在汇集全国技术精英，共同探索大语言模型在金融科技中的应用潜力。本次挑战赛由中国计算机学会（CCF）主办，CCF计算经济学专业组、北大前沿计算研究中心、北大创新评论共同承办，携手博时基金、阿里云、天池、魔搭、金证股份等协办单位，专为期待大模型技术在基金研究领域带来革命性创新的您而策划。

未来金融科技领域将深刻体现Agent的价值，即一个智能代理能根据用户需求进行意图识别和决策。本次大赛的赛题虽为单一，但融合了数据查询与文本理解两大任务，充分体现了Agent核心思想：根据不确定输入，判断用户意图，并调用相应服务或功能生成答案。

赛题任务

选手需以“通义千问金融大模型”或“通义千问7B模型”(不限制pretrain和chat)作为基础大模型，可以结合多个模型，共同创建一个问答系统。可以采用Prompt Engineering方法，也可以使用外部数据对模型进行微调。

数据查询题挑战

• 任务目标：使用通义千问金融大模型或通义千问7B模型，根据用户的问题进行高准确率的查询。
• 技术难题：处理多表之间的复杂关联，如理解基金股票持仓明细与A股日行情表的连接，并确保查询的高准确性。

文本理解题挑战

• 任务目标：对长文本进行细致检索与解读，高效提取关键信息。
• 技术难题：处理长文本的复杂结构，确保信息完整性。对超长文本，选手需合理分块，并从文档分块中准确提炼答案。

赛题数据

在初赛开始阶段，赛事主办方会为参赛选手提供比赛涉及的全部结构化数据和文本数据，包括10张基金表数据和80篇招股书文档，初复赛所有问题的答案均可在数据中查询得到。

• 基金数据：博金杯比赛数据.db
• 招股说明书：pdf源文件

初赛题目question.jsonl，包含1000道测试题目，以jsonl文件提供，初复赛题目格式保持一致。

测试数据如下

{"id": 0, "question": "景顺长城中短债债券C基金在20210331的季报里，前三大持仓占比的债券名称是什么?"}
{"id": 1, "question": "上海华铭智能终端设备股份有限公司的首发战略配售结果如何？"}

赛题数据下载方法：

git clone https://www.modelscope.cn/datasets/BJQW14B/bs_challenge_financial_14b_dataset.git

评价指标

主要考察选手基于大语言模型的问答能力, 我们构造以下打分标准:

每道题打分满分为1分，其中:

• score result (结果得分)：占比60%
• 赛事主办方会从选手提交的回答中抽取问题的关键结果;
• 结果全部正确给1分，部分正确按照比例给分;
• 赛事主办方会根据选手提供的回答 answer pred 与参考回答 answer。综合BLEU, Rouge-2, embedding相似度等评价指标, 并给出最终打分, 满分为1分;

优胜方案总结

https://github.com/Tongyi-EconML/FinQwen

饺子研究院

果树灌溉技术组

hxjj

大模型说的队

梦想还是要有的