匿名随机对战：

Chatbot Arena允许用户将任意两个匿名的大型语言模型（如ChatGPT、Claude、Llama等）放在一起进行比较。

在对战过程中，模型的身份是匿名的，以确保评估的公正性。如果在对话过程中透露了模型的身份，那么该轮投票将不计入结果。

众包评估：

Chatbot Arena采用众包的方式，让成千上万的网友参与模型的评估和比较。

用户可以提出问题，观察两个模型的回答，并通过点击四个按钮（A更好、B更好、两者打平、两者都不好）进行打分。

实时反馈：

Chatbot Arena提供了一个实时聊天界面，用户可以与任何一个模型进行直接对话，并获得即时的反馈。

这种实时交互的方式使得用户可以更直观地感受模型的性能，并基于实际使用情况给出评价。

数据多样性：

为了鼓励数据多样性，Chatbot Arena不会在网站上预设任何输入提示。用户可以自由输入两个模型的任何提示，这有助于收集代表实际使用情况的各种输入。

多轮对战：

如果用户在第一回合无法选择，可以继续与模型进行对话，直到确定获胜者。这种多轮对战的方式有助于用户更全面地评估模型的性能。

结果汇总与排名：

Chatbot Arena会根据用户的投票结果，对参与对战的模型进行排名和汇总。

这种基于大量用户反馈的排名方式，为模型开发者提供了一个客观的评估标准，有助于他们了解模型的优势和不足之处。

研究组织背景：

Chatbot Arena由LMSYS Org推出，该组织是由加州大学伯克利分校、加州大学圣地亚哥分校和卡内基梅隆大学合作创立的开放式研究组织。

该组织致力于通过共同开发开放模型、数据集、系统和评估工具，使大型模型对所有人都可访问。Chatbot Arena作为该组织的重要项目之一，体现了其在推动大型语言模型研究和发展方面的努力。