请教多轮工具调用的数据格式

[lwj2001]

Reminder

• I have read the README and searched the existing issues.

System Info

关于有调用次序的工具，这类数据的组成格式（也就是第二个工具执行需要第一个工具返回的结果），我有以下两种想法，请问哪种是更好的呢？

Reproduction

{
    "conversations": [
        {
            "from": "human",
            "value": "请帮我查询2024年1月20日，北京的天气情况，并根据天气推荐适合的户外活动"
        },
        {
            "from": "function_call",
            "value": "{\"name\": \"get_weather\", \"arguments\": {\"location\": \"北京\", \"date\": \"2024-01-20\"}}"
        },
        {
            "from": "observation",
            "value": "{\"weather\": \"晴，气温-5℃至5℃\"}"
        },
        {
            "from": "gpt",
            "value": "2024年1月20日，北京的天气情况为：晴，气温-5℃至5℃。"
        },
        {
            "from": "human",
            "value": "根据这个天气情况，有哪些适合的户外活动？"
        },
        {
            "from": "function_call",
            "value": "{\"name\": \"recommend_outdoor_activities\", \"arguments\": {\"weather\": \"晴，气温-5℃至5℃\"}}"
        },
        {
            "from": "observation",
            "value": "{\"activities\": [\"散步\", \"跑步\", \"骑自行车\"]}"
        },
        {
            "from": "gpt",
            "value": "根据2024年1月20日的天气情况，适合的户外活动包括：散步、跑步和骑自行车。"
        }
    ],
    "tools": "xxxx"
}

{
    "conversations":
    [
        {
            "from": "human",
            "value": "请帮我查询从2024年1月20日，从北京出发前往上海的航班，并给出对应的票价"
        },
        {
            "from": "function_call",
            "value": "{\"name\": \"get_flight_number\", \"arguments\": {\"departure\": \"北京\", \"destination\": \"上海\", \"date\": \"2024-01-20\"}}"
        },
        {
            "from": "observation",
            "value": "{\"flight_number\": \"1234\"}"
        },
        {
            "from": "function_call",
            "value": "{\"name\": \"get_ticket_price\", \"arguments\": {\"flight_number\": \"1234\", \"date\": \"2024-01-20\"}}"
        },
        {
            "from": "observation",
            "value": "{\"ticket_price\": \"1000\"}"
        },
        {
            "from": "gpt",
            "value": "航班1234在2024年1月20日的票价为1000元。"
        }
    ],
    "tools": "xxxx"
}

Expected behavior

No response

Others

No response

[tttonytan]

hello 请问这种多轮的工具调用你是怎么在训练的时候进行数据组装的？

[hpx502766238]

我还有个额外的问题就是，我使用openai接口和qwen2.5做工具调用测试，测试结果表明在模型生成tool_calls工具调用请求时候，往往前面还会附加一条说明信息来表明AI的对人类指令的做出的反应动作，举个例子：
Choice(finish_reason='tool_calls', index=0, logprobs=None, message=ChatCompletionMessage(content='我可以帮你查询San Francisco当前的气温，但是明天的具体气温需要指定日期才能查询。假设明天是2024-10-01，我将首先为你查询今天的气温。\n', refusal=None, role='assistant', function_call=None, tool_calls=[ChatCompletionMessageToolCall(id='chatcmpl-tool-5a1c984244c94d55864e67c90d2d138b', function=Function(arguments='{"location": "San Francisco,California,USA"}', name='get_current_temperature'), type='function'), ChatCompletionMessageToolCall(id='chatcmpl-tool-6b1781e849374b6eb7b21f31e99a549f', function=Function(arguments='{"location": "San Francisco,California,USA", "date": "2024-10-01"}', name='get_temperature_date'), type='function')]), stop_reason=None)

但是关于sharegpt格式中，function_call消息只包含了工具调用请求的参数信息，却丢失了前面的动作信息，对微调结果还是影响较大的，我希望这个问题能解决一下。

[lwj2001]

我觉得不需要前面的动作信息，模型直接回复就好。另外，我认为content字段应该为None

[hpx502766238]

我觉得不需要前面的动作信息，模型直接回复就好。另外，我认为content字段应该为None

我觉得你可以去看看这两篇论文：
https://react-lm.github.io/
https://internlm.github.io/Agent-FLAN/
阐述了思维链提示在实际的工具调用的重要作用，包括增强模型综合能力和解决幻觉等各种问题。