评测与研究

jev-mcp

@arunav255JavaScriptMIT更新于 2026-09-17可当场跑

将 JEV 连接到 MCP 客户端,使用共享数据集和可测量准确率对比其判断与通用 LLM 的表现。

英文原文

Connect JEV to MCP clients and compare its judgments against general-purpose LLMs using shared datasets and measurable accuracy.

arunav25/jev-mcp

它在哪儿调用了 Jev

export const DEFAULT_BASE_URL = "https://api.typesafe.ai";

src/config.js:6

链接指向我们抓取当天的那个 commit,行号是准的。

它问 Jev 的问题

下面是从这个项目源码里原样取出来的 question 组合。

取自 test/tool.test.js:60

  1. urgent是/否

    urgency?

用你自己的内容跑一遍

代码
import { experimental_evaluate as evaluate } from 'ai';

const { answers } = await evaluate({
  model: 'typesafe-ai/jev',
  state,
  questions: {
    urgent: { type: 'boolean', instructions: 'urgency?' },
  },
});

同类的其他项目