编辑
2023-10-24
生活
00
请注意,本文编写于 425 天前,最后修改于 425 天前,其中某些信息可能已经过时。

目录

文章核心主旨——四个问题
Tabel 1不同LLM的MBTI人格

今天与大家分享我刷到的一篇论文,Do LLMs Possess a Personality? Making the MBTI Test an Amazing Evaluation for Large Language Models,link:https://arxiv.org/abs/2307.16180 ,status: unpublished/arxiv

作者是字节跳动,ByteDance, Beijing, China

文章核心主旨——四个问题

在这篇technical report中,作者提出了以下四个问题,整篇文章也是围绕这四个问题进行讨论

  1. Q1 Do different LLMs possess different personalities? 不同的 LLM 有不同的个性吗?
  2. Q2 Can we change the personality of LLM by prompt engineering? 我们能否通过提示词工程来改变LLM的个性?
  3. Q3 How do training datasets affect the personality of LLMs? 训练数据集如何影响 LLM 的个性?
  4. Q4 Can MBTI test evaluate the model reasonably? MBTI检验能否对模型进行合理的评价?

同时,作者也给出了这四个问题的答案

  1. A1 LLMs possess different personality-like MBTI types, which are inconsistent among LLMs but consistent with their style. The MBTI types of several LLMs are listed in Tabel 1. LLM拥有不同的MBTI类型,这些类型在LLM之间不一致,但每个LLM在他们的MBTI上是稳定的。几个LLM的MBTI类型列在Tabel 1中。
  2. A2 LLMs without sufficient instruction-tuning are challenging to change MBTI type, while after tuning, they may be changed via explicit and implicit prompts. 没有充分的指令调优的LLM很难更改MBTI类型,而在调优后,它们可能会通过显式和隐式提示进行更改。
  3. A3 The type of training corpus can affect the MBTI type, especially in the dimensions of T/F and J/P. 训练语料库的类型会影响MBTI类型,尤其是在T/F和J/P维度上。
  4. A4 Although MBTI is not a rigorous assessment, it may still serve as a rough indicator for LLMs. 虽然 MBTI 不是一个严格的评估,但它仍然可以作为 LLM 的一个粗略指标。

Tabel 1不同LLM的MBTI人格

image.png

image.png

本文作者:insomnia

本文链接:

版权声明:本博客所有文章除特别声明外,均采用 BY-NC-SA 许可协议。转载请注明出处!