如题,场景是情感分析,有个想法是做 NLP 的时候能不能加入一些超信息,比如一个人在论坛里发了一段话作为原始输入,在此基础上我能不能在输入信息里附带这个人的账号等级、年龄、性别、地区等信息,应该会对网络输出结果有帮助(或者,还可以输入历史对话的编码结果),但是不知道该如何组织。
一个简单的方法是直接在每个原始数据点上,比如原始数据用 10 维表示一个字,那就再额外增加几个维度输入这些超信息,所有数据点的这几维都一样。这个处理方法比较简单,但我对效果存疑,而且还有个问题是超信息这么搞的话就没法提前通过其他网络编码了,编码后一旦维数增加,总不至于让每个点携带 10 维的词信息+20 维的超信息吧,感觉有点头重脚轻了。
不知道有没有什么好的方法,大佬提供个思路啥的。不知道有没有什么可以从 cv 或者其他领域借鉴的经验?我感觉 vit 方面数据结构和 nlp 也挺像的,肯定也有人研究过超信息啥的吧。。。