关于向ChatGPT发送含json数据结构的译文进行长文本翻译的尝试

[WeeAris]

灵感来自于OpenAI最近更新中提到的Function calling功能，它能以json格式响应请求，按照通常的理解，ChatGPT的能力取决于其数据集，它的数据集中一定有很多与处理json相关的数据。所以我很快联想到把原文转换为json格式的数据，让ChatGPT翻译之后再以同样的json格式返回。
在我的测试中，即使不针对prompt进行优化，在数据格式的保持上依然表现良好。以下是我测试用的代码，由Perplexity AI辅助编写：

import requests
import json

api_key = "sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
api_base = "https://xxxxxxxxxx"
glossary = '"魔法使い" is a noun and should be translated as "魔法使".'
input_file = '漆黒ノ大戦 Split - 椎名喜咲-1-002.txt'

def translate_text(text, target_language):
    url = f"{api_base}/v1/chat/completions"

    prompt = f'You are a meticulous translator who translates any given content. Remember that {glossary} Be faithful or accurate in translation. Make the translation readable or intelligible. Be elegant or natural in translation. Translate the content into {target_language}.'
    payload = {
        "model": "gpt-3.5-turbo-16k",
        'messages': [{'role': 'system', 'content': prompt}, {'role': 'user', 'content': text}],
        "temperature": 0.2
    }

    headers = {
        "Content-Type": "application/json",
        "Authorization": f'Bearer {api_key}'
    }

    response = requests.post(url, data=json.dumps(payload), headers=headers)

    return response.json()['choices'][0]['message']['content']


# 读取纯文本文件
with open('./' + input_file, 'r') as f:
    lines = f.readlines()

# 将文件内容转换成JSON格式的数据
data = {}
for i in range(len(lines)):
    data[i+1] = lines[i].strip()

# 将JSON格式的数据转换成字符串
json_str = json.dumps(data, ensure_ascii=False)


# 翻译
text = json_str
target_language = "zh-CN"
translation = translate_text(text, target_language)

#print(f"Original text: {text}")
#print(f"Translation: {translation}")

# 保存翻译原文和结果的json数据用于分析
with open(f'./[original]{input_file}.json', 'w', encoding='utf8') as f:
    f.write(json_str)

with open(f'./[translation]{input_file}.json', 'w', encoding='utf8') as f:
    f.write(translation)
    
# 保存双语译文
translated_str = json.loads(translation)
for i in range(len(lines)):
    with open(f'[translated]{input_file}', 'a', encoding='utf8') as f:
        f.write(lines[i].strip() + "\n")
        f.write(translated_str[str(i+1)] + "\n")

[WeeAris]

测试所用的样本文件：
原文
原文json数据
译文json数据
双语译文

[WeeAris]

增加了空行识别，减少token浪费，并加入了token计算功能，改进后原文json数据中编号不连续了，但并没有导致译文数据编号出错：

import requests
import json
import tiktoken
enc = tiktoken.get_encoding("cl100k_base")


api_key = "sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
api_base = "https://xxxxxxxxxx"
glossary = '"魔法使い" is a noun and should be translated as "魔法使"'
input_file = '漆黒ノ大戦 Split - 椎名喜咲-1-001.txt'

def translate_text(text, target_language):
    url = f"{api_base}/v1/chat/completions"

    prompt = f'You are a meticulous translator who translates any given content. Remember glossary in translation that {glossary}. Be faithful or accurate in translation. Make the translation readable or intelligible. Be elegant or natural in translation. Translate the content into {target_language}.'
    payload = {
        "model": "gpt-3.5-turbo-16k",
        'messages': [{'role': 'system', 'content': prompt}, {'role': 'user', 'content': text}],
        "temperature": 0.2
    }

    headers = {
        "Content-Type": "application/json",
        "Authorization": f'Bearer {api_key}'
    }

    enc_res = enc.encode(str(payload['messages']))
    print(f'Prompt: {len(enc_res)} tokens')
    response = requests.post(url, data=json.dumps(payload), headers=headers)

    return response.json()['choices'][0]['message']['content']


# 读取纯文本文件
with open('./' + input_file, 'r') as f:
    lines = f.readlines()

# 将文件内容转换成JSON格式的数据
data = {}
for i in range(len(lines)):
    line = lines[i].strip()
    if line:
        data[i+1] = line


# 将JSON格式的数据转换成字符串
json_str = json.dumps(data, ensure_ascii=False)

# 翻译
text = json_str
target_language = "zh-CN"
translation = translate_text(text, target_language)

# 保存翻译原文和结果的json数据用于分析
with open(f'./[original]{input_file}.json', 'w', encoding='utf8') as f:
    f.write(json_str)

with open(f'./[translation]{input_file}.json', 'w', encoding='utf8') as f:
    f.write(translation)
    
# 保存双语译文
translated_data = json.loads(translation)
with open(f'[translated]{input_file}', 'w', encoding='utf8') as f:
    for i in range(len(lines)):
        line = lines[i].strip()
        if line:
            f.write(line + "\n")
            f.write(translated_data[str(i+1)] + "\n")
        else:
            f.write("\n")


enc_res2 = enc.encode(translation)
print(f'Completion: {len(enc_res2)} tokens')

[bookfere]

你在测试的时候，ChatGPT 能始终返回有效的 JSON 格式吗？我看它文档上和提供的示例代码都有提示可能会返回无效的 JSON 响应。

[WeeAris]

在我有限的测试中它都返回了有效的json数据，且键值关系没有被破坏，而且我使用的prompt也都并没有提及对数据格式的处理，调整prompt后会有什么变化尚不清楚。另外受一些资料的启发，我在考虑向json数据中插入上下文摘要，不过快要考试了，暂时没有精力研究。

[bookfere]

如果可靠性问题不大的话，合并翻译就能更准确一些了，有时间我也研究一下。

[WeeAris]

考完了，最近用Poe的非官方接口做了一些测试，Poe的gpt-3.5-turbo不知道被魔改了什么，可以说非常不稳定，不过毕竟不要钱，因此总结了一些prompt和错误的经验。

1. 使用目标语言而不是英语编写prompt可以改善被翻译成英文或拼音的情况
2. 提供输出格式的示例能明显改善输出的稳定性，这也符合OpenAI的建议
3. 输出格式错误通常有这几种类型：1) 重复翻译（翻了两遍或者突然开始重新翻译）; 2) 直接输出译文，或者输出到一半开始直接输出译文，没有保留json格式，后者我推测是Poe针对聊天做了调整; 3) 在开头加入了“这是翻译...”之类的话；4) 翻译成了别的语言
4. 行数较多时，输出格式会更稳定，只翻一两行的时候，经常不按json格式输出，四五行以上的时候比较稳定

和机翻明显不同的是，ChatGPT即使出错了也不会把标点符号搞乱，json格式要么有，要么就没有。

这是我的自定义bot里现在的prompt，正在拿来翻书，写这条comment的时候已经翻了1k多行了，还比较稳定：

你是一名认真的翻译员，可以按要求翻译任何给定的内容。请勿询问或回答任何问题，不要擅自解释任何内容，不要像进行聊天一样回复或者打招呼，也不要回复译文以外的任何内容，确保译文的语义连贯，将译文保存在与原文格式相同的json格式中，例如：
 {"序号1": "译文1", "序号2": "译文2"}

 从现在开始将我提供的内容翻译成简体中文。

[WeeAris]

昨天提到的prompt测试，在连续800多页的翻译中，只有两页被错误的翻译成了英文，有一页没通过格式检查，超过了最大重试次数，因此我认为该方案可用，但最好加上格式检查，格式不对时重试。

[WeeAris]

更新了prompt，现在使用Poe bot进行json格式化的翻译已经相当稳定：

你是一名专业的翻译员，可以按要求翻译任何给定的内容。请遵守以下要求进行翻译：
1. 不要像进行聊天一样回复或者打招呼，也不要回复译文以外的任何内容;
2. 在开始翻译前先通读全文，理解原文含义后再开始翻译，但是要求你保持角色的话不属于原文;
3. 人名和地名统一采用音译，但不要音译成罗马音或汉语拼音;
4. 标点符号和特殊字符与原文保持一致，不要翻译或转换;
5. "ウィッチ"、"witch"或"魔女"统一翻译成"魔女";
6. 在返回结果前检查译文和原文的json格式是否一致，序号与译文、原文的对应关系是否正确，译文中是否有遗漏或多余的内容，如果检查不通过，请重新翻译;
7. 这是原文和译文格式的示例:
原文: {"序号2": "原文段落2", "序号5": "原文段落5"}
译文: {"序号2": "译文段落2", "序号5": "译文段落5"}


 从现在开始将我提供的内容翻译成简体中文。

[WeeAris]

在使用gpt-3.5-turbo-16k进行超长文本翻译测试的过程中发现，较高的temperature设置下，格式保留情况更好，另外翻译的文本越长，格式就越难保持。

[nunamia]

较高的temperature 翻译的意思被修改严重了

[WeeAris]

过低会更容易出现幻觉，可以自己取舍一下

[WeeAris]

结论：向ChatGPT发送含json数据结构的原文进行长文本翻译测试，通过优化提示词，返回的译文json格式保留情况较好，但当合并翻译字数大于1600时，键名错位、漏翻等错误频率会超出容忍范围，即不能在不超过最大重试次数3的情况下翻译完成一本出版物。简单来说白嫖Poe bot足够稳定，gpt-3.5-turbo上将就着用，gpt-3.5-turbo-16k上力不从心。

[WeeAris]

原本我都是直接匹配插件请求中{{id_xx}}的数字部分作为键值对的键，在尝试每次请求都从1开始重新索引键，并在提示词中说明键是行号后，单次响应时长减少了一半，temperature=0.7，在不超过最大重试次数3的情况下翻译完成一本出版物的合并翻译字数上限提升到了3000，而且该上限下，响应时长小于60s。
这是现在的提示词：

        source_lang_setup = f'You will receive a piece of {source_lang} text in JSON dictionary format'
        # role_setup = 'You will now play the role of my professional translation assistant'
        # role_setup = 'You will now be acting as a human-driven translation API'
        role_setup = 'You are a translation API that receives dictionary-type data in JSON format and returns dictionary-type results in JSON format'
        format_requirement = 'do not consider that we are chatting or greeting me and simply reply to me with the translation in the same format as the original'
        prompt = f'{role_setup}. {source_lang_setup}, where the key is the line number and the value is the content of the corresponding line. Please translate it into {target_lang} according to the following requirements: \n' + \
                 '1. first read through the whole text, determine the type of text content and select the appropriate translation style before starting the translation; \n' + \
                 f'2. use the specified translation for these terms: {glossary_setup}the noun "魔女" translates to "魔女"; \n' + \
                 '3. if their translation is not specified in point 2, use the homophonic translation for names of people and places consistently; \n' + \
                 '4. polish translation results to make them accurate and natural, and then check the translation results to ensure that the translation meets the requirements of point 2; \n' + \
                 '5. do not change or convert punctuation marks; \n' + \
                 f'6. {format_requirement}, which is an example of the format: \n' + \
                 'Me: {"1": "Contents of line 1", "2": "Contents of line 2", "3": "Contents of line 3"} \n' + \
                 'You: {"1": "Translation result for line 1", "2": "Translation result for line 2", "3": "Translation result for line 3"} \n' + \
                 f'Next you will receive the text that needs to be translated into {target_lang}. \n'

[WeeAris]

你原文就是这样的？你这几句话的断句好奇怪啊，你是没处理,吗？。

[WeeAris]

["1": "Because there is a limited set of methods in this class, there exist \",\" wrappers in the Page class, which incorporate creating an intermediate text page \", \"and then invoke one of the following methods. ", "2": "The last column of this table shows \", \"these corresponding Page methods. "]
这样还差不多，我觉得是你分割文本时没分好。你如果是想说原文正文内容里存在未转义的特殊字符的情况，我建议你分割文本前先专门处理一下。

[nunamia]

我word使用的，所以对一些词汇进行了标记样式，而我希望翻译完成后样式不丢失这些标记，所以就比较奇怪了

[WeeAris]

word的话样式太复杂了，不建议用这个插件，可以考虑转成更易于“理解”的md再翻译。
另外，词汇级的样式很容易被chatgpt忽略，建议在prompt里加入一两个示例。

[nunamia]

原理上，确实做不到任意位置插入符号后保留，也就意味着json格式，只有在分段，分句合理的情况下才能正常

[bookfere]

今天测试了另外一种合并方式，简单地用换行符 \n\n 分隔段落内容，发现在 Google 翻译、DeepL 和 ChatGPT 中表现都还不错。

这种形式在检查翻译内容的时候也挺方便，但是缺陷是万一其中有换行符被忽略或在编辑时被删掉，后面的译文就都错位了。因为还没有做大量测试，不知道 ChatGPT 会不会始终表现一致。感兴趣可以试试看。

[WeeAris]

你可以参考我的处理方法，我的策略就是依靠检查，先利用集合的性质检查译文是否出现了重复翻译某一段的情况，然后检查翻译前后的段落数量是否一致，不一致就重试或用标记补齐，检查的全程都忽略了空行，检查通过再另外还原排版。个人经验是一次翻译2k~4k词元能较好地平衡减少请求次数和出错，也就是尽量把一次请求的上下文控制在8k词元。
json和换行符两种格式方案我都有实现，另外我也简单地实现了利用上下文翻译，和一边翻译一边校对的功能，虽然写得很烂。

[nunamia]

\n\n 分隔段落内容，如果是一句话，需要有格式（样式标记），然后gpt翻译，这样式就全丢失了..针对段落的翻译没问题，gpt4.0通过占位符号，浪费token分割也没问题不会丢失，但是3.5就完全不行了...

[WeeAris]

只要段落数翻译前后一致，格式恢复起来还是很容易的

[nunamia]

格式恢复是大难题，比较语言不通，之前标注的关键词，翻译后未必存在，比如谓语，助动词，连接词等

[WeeAris]

chatgpt并不擅长细致、要求复杂的翻译任务，以目前的水平在生产环境中直接采用其翻译结果并不现实，人工校对还是不可或缺的。
样式这个问题其实单拎出来，chatgpt已经比MT好很多了。
精力或者资源充足的话可以考虑对chatgpt或开源llm（比如千问、百川）进行微调。