亲,欢迎光临天天书吧!
错缺断章、加书:站内短信
后台有人,会尽快回复!
天天书吧 > 其他类型 > 离语 > 第294章 好困
  • 主题模式:

  • 字体大小:

    -

    18

    +
  • 恢复默认

由形式存在,包括文本文档、图像、音视频、社交媒体帖子以及电子邮件等。这些不同于以往明确

定义和固定结构的数据,被称为非结构化数据,通常不容易用表格或数据库的形式来组织和存储。

这种数据的形式和内容各异,包括文本、图像、音频、视频等形式。大数据技术的兴起,越来越多

的非结构化数据被记录和存储,例如传感器数据、日志文件、社交媒体数据等。这些数据的规模庞

大、类型多样,传统的数据库系统已经不能很好地处理,需要新的处理和分析技术来应对。而人工

智能和机器学习技术的发展,处理非结构化数据的能力得到了进一步提升。自然语言处理、计算机

视觉等技术使得计算机能够更好地理解和分析文本、图像等非结构化数据,从中提取有用的信息和

知识。

文献则是科技研究者获取和积累知识的重要来源之一。文献中的理论研究成果和发现为科技研

究提供了重要的理论支撑和研究基础,有助于研究者在实践中应用和推广。而英文作为国际通用语

言,在全球范围内广泛应用,英文文献成为科研成果在不同国家和地区之间进行交流和传播的重要

工具。许多国际性的学术期刊和会议都采用英文作为发表和交流的语言,促进了全球学术界的合作

和交流。

pdF 是英文文献最为常见的格式之一。pdF 格式具有高度的可移植性和可读性,保留了原文档

的格式和字体,且无论何时何地,都可以使用各种设备查看和打印,因此成为了英文文献的常规格

式之一。传统的 pdF 处理方法,一般都是通过人工的方式来认知和提取。首先通过人工查阅的方式

对论文的必要信息进行阅读,然后辨识出所需的有效信息并进行提取,再把这些信息标记在论文资

源上供人们定位和使用。这种处理方法对于论文有效信息提取的工作人员的专业知识掌握要求较

高,对数量规模较小的论文集的处理比较有效。但人工认知方式的准确率和效率会随着论文集规模

的上升而快速下降。由于传统 pdF 论文有效信息处理方法存在如上的局限,怎样高效准确的处理论

文的有效信息,以便人们能在海量的论文资源中找到所需的信息,成为亟需解决的问题。

而自然语言处理工具可以对文本进行处理、分析和提取,从而帮助科研工作者提取和解析海量

pdF 文献中的信息。这些工具可以基于文本的语义、关键词等进行文献内容的分析和提取,帮助你

快速获取他们需要的信息。

自然语言模型的演变经历了从循环神经网络(RNN)到长短期记忆网络(LStm),再到卷积神经

网络(cNN)的过程。传统的 RNN 存在长期依赖问题,而 LStm 通过引入门控机制来解决这一问题,

使其更适用于处理长序列数据。而卷积神经网络(cNN),最初用于图像处理,后来也被引入到自然

语言处理领域,通过卷积和池化操作可以有效地捕捉文本中的局部特征。因此,随着任务需求的变

化,研究者选择合适的模型进行应用和优化,以适应不同的自然语言处理场景和任务要求。

尽管循环神经网络(RNN)、长短期记忆网络(LStm)和卷积神经网络(cNN)在自然语言处理

任务中取得了成功,但它们有一些共同的缺点。这些缺点包括参数量有限、处理长距离依赖能力不

足、计算效率较低以及固定长度输入限制。参数量的限制可能阻碍了对复杂文本信息的建模,处理

长序列时信息传递可能不够顺畅,训练时间和计算成本也较高,而固定长度输入的要求可能导致信

息丢失或冗余。这些限制限制了它们在处理复杂文本任务和大语料库中的表现和应用范围。

大语言模型(LLm)在传统的 RNN、LStm 和 cNN 基础上进行了多方面的改进与升级,包括增大

模型规模、引入自注意力机制、采用 transformer 架构、扩大训练语料库以及利用多任务学习和迁

移学习等方法。这些改变使得大语言模型能够更好地捕捉文本中的语义和语法信息,处理长文本任

务,提高训练效率,拓展泛化能力,并在自然语言处理领域取得了显着的进步和成就。

电力行业是社会经济发展的基础能源,具有基础性、公共性、稳定性等特点。在电力行业的研

究中,需要关注电力转型、可持续发展、智能电网、新能源集成、电力市场和能源交易、电力系统

安全与稳定性等多领域课题。这些课题的研究对全球能源结构转型和节能减排战略的实施具有重要

意义,使得电力供应更加智能化、高效化、稳定化,能更好地满足社会的用电需求与经济的发展要

求。

电力行业的文献具有技术性、实践性、政策性、跨学科性和数据性等多个特点。文献中包含了

大量专业的技术术语和技术细节,并且与实际工程技术紧密相关。同时,政策法规、政策导向等方

面的内容也是文献中常见的一部分。由于电力行业的复杂性和多学科交叉性,电力行业的研究需要

广泛涉及多个学科知识并结合大量的数据进行分析和建模。这些文献的研究成果对于电力行业的发

展和实践具有重要的指导意义,有助于推动电力行业的高效安全稳定发展。

LcA(Life cycle Assessment),即生命周期评价。生命周期评价是一种系统性的方法,用于

评估产品、服务或活动的整个生命周期中与环境和资源相关的影响,框架如图 1.1 所示。生命周期

评价已经成为评估和比较不同产品或活动环境绩效的重要工具,也是推动可持续生产和消费的重要

手段之一。

第 1~2 周:调研。查阅毕业设计相关资料,与指导老师讨论并确定题目及任务。

第 3~4 周:撰写开题报告。按照任务书要求,查阅资料(包括与毕设相关英文资料的查阅与翻

译),确定大致框架,撰写开题报告,进行开题答辩。

第 5~7 周:数据爬取,分析及挖掘。对电力 LcA 英文文献数据进行拆解,撰写相应部分的论

文,准备中期检查。

第 8 周:中期检查,构建向量知识库。

第 9~10 周:基于通用大模型搭建特定领域专业大模型。对模型性能进行测试,针对测试结果进

行优化。

第 11~13 周:撰写论文。完善结果,撰写论文。

第 14 周:提交论文资料。

第 15~16 周:答辩

1.主要内容

以有关电力行业的生命周期评价 LcA(Life cycle Assessment)英文文献为研究对

象,对这些论文进行解析,构建大模型能直接调用的向量数据库,测试向量知识库

对大语言模型在特定领域的论文解析的专业能力。

2.目标

编写基于 Unstructured 库的文献处理程序,搭建基于通用大模型的特定领域专业大

模型,基于 chatbot 模式测试向量知识库对大语言模型在该领域的论文解析的专业

能力,并基于测试结果,对向量知识库进行优化。