请注意,本文编写于 425 天前,最后修改于 425 天前,其中某些信息可能已经过时。
目录
文章核心主旨——四个问题
Tabel 1不同LLM的MBTI人格
今天与大家分享我刷到的一篇论文,Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models,link:https://arxiv.org/abs/2307.16180 ,status: unpublished/arxiv
作者是字节跳动,ByteDance, Beijing, China
文章核心主旨——四个问题
在这篇technical report中,作者提出了以下四个问题,整篇文章也是围绕这四个问题进行讨论
- Q1 Do different LLMs possess different personalities? 不同的 LLM 有不同的个性吗?
- Q2 Can we change the personality of LLM by prompt engineering? 我们能否通过提示词工程来改变LLM的个性?
- Q3 How do training datasets affect the personality of LLMs? 训练数据集如何影响 LLM 的个性?
- Q4 Can MBTI test evaluate the model reasonably? MBTI检验能否对模型进行合理的评价?
同时,作者也给出了这四个问题的答案
- A1 LLMs possess different personality-like MBTI types, which are inconsistent among LLMs but consistent with their style. The MBTI types of several LLMs are listed in Tabel 1. LLM拥有不同的MBTI类型,这些类型在LLM之间不一致,但每个LLM在他们的MBTI上是稳定的。几个LLM的MBTI类型列在Tabel 1中。
- A2 LLMs without sufficient instruction-tuning are challenging to change MBTI type, while after tuning, they may be changed via explicit and implicit prompts. 没有充分的指令调优的LLM很难更改MBTI类型,而在调优后,它们可能会通过显式和隐式提示进行更改。
- A3 The type of training corpus can affect the MBTI type, especially in the dimensions of T/F and J/P. 训练语料库的类型会影响MBTI类型,尤其是在T/F和J/P维度上。
- A4 Although MBTI is not a rigorous assessment, it may still serve as a rough indicator for LLMs. 虽然 MBTI 不是一个严格的评估,但它仍然可以作为 LLM 的一个粗略指标。
Tabel 1不同LLM的MBTI人格
本文作者:insomnia
本文链接:
版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA
许可协议。转载请注明出处!