transformers==4.4.2
datasets==1.4.1
adgen
{"article": "[[类型, 裤], [风格, 简约], [风格, 潮], [图案, 格子], [图案, 几何], [图案, 线条], [裤长, 七分裤], [裤型, 阔腿裤]]", "summarization": "这款阔腿裤，整体设计简约利落，时尚的阔腿款式带来鲜明的几何设计美感，褪去传统装束的厚重与臃肿，更具轻盈美感。 搭配七分裤长修饰出挺拔的腿部线条，气质的格纹图案不显单调，尽显女性优雅气质。 斜门襟设计潮流出众，让你时刻保持动人的女性风采。"}
lcsts
{"summarization": "可穿戴技术十大设计原则", "article": "本文总结了十个可穿戴产品的设计原则，而这些原则，同样也是笔者认为是这个行业最吸引人的地方：1.为人们解决重复性问题；2.从人开始，而不是从机器开始；3.要引起注意，但不要刻意；4.提升用户能力，而不是取代人"}
csl
{"summarization": "网络编码在实时战术数据多播中的应用", "article": "抽象了一种基于中心的战术应用场景与业务,并将网络编码技术应用于此类场景的实时数据多播业务中。在分析基于中心网络与Many-to-all业务模式特性的基础上,提出了仅在中心节点进行编码操作的传输策略以及相应的贪心算法。分析了网络编码多播策略的理论增益上界,仿真试验表明该贪心算法能够获得与理论相近的性能增益。最后的分析与仿真试验表明,在这种有中心网络的实时数据多播应用中,所提出的多播策略的实时性能要明显优于传统传输策略。"}
We put some data from the adgen dataset (10 train + 10 dev + 10 test) at the demo_data/adgen/ directory, which can be used to run a demo sample.
The code to run the demo sample:
python run_gen.py --model_path /path/to/checkpoint --dataset adgen --data_dir demo_data
then the training results as well as generation results will be listed at ./output/adgen/1/ .
We first use the BertTokenizer to process the predictions and labels into characters like follows:
王 旭 明 ： 现 在 的 语 文 课 至 少 有 一 半 不 该 学
彭 博 社 ： 阿 里 巴 巴 或 将 估 值 低 于 分 析 师 预 期
美 银 同 意 支 付 166 . 5 亿 美 元 和 解 mbs
凡 客 为 保 盈 利 牺 牲 如 风 达 业 务
人 大 代 表 ： 养 老 险 每 多 缴 1 年 养 老 金 应 多 发 5 %
After that we use ROUGE to evaluate the generation results. The training script use ROUGE to evaluate the model after each epoch.
To evaluate the generation results output by run_gen.py using BLEU-4, you can change the variables in run_bleu.py and run it:
python run_bleu.py
The generated text will be processed into lists like follows:
labels
[[['这', '款', '阔', '腿', '裤', '，', '整', '体', '设', '计', '简', '约', '利', '落', '，', '时', '尚', '的', '阔', '腿', '款', '式', '带', '来', '鲜', '明', '的', '几', '何', '设', '计', '美', '感', '，', '褪', '去', '传', '统', '装', '束', '的', '厚', '重', '与', '臃', '肿', '，', '更', '具', '轻', '盈', '美', '感', '。', '搭', '配', '七', '分', '裤', '长', '修', '饰', '出', '挺', '拔', '的', '腿', '部', '线', '条', '，', '气', '质', '的', '格', '纹', '图', '案', '不', '显', '单', '调', '，', '尽', '显', '女', '性', '优', '雅', '气', '质', '。', '斜', '门', '襟', '设', '计', '潮', '流', '出', '众', '，', '让', '你', '时', '刻', '保', '持', '动', '人', '的', '女', '性', '风', '采', '。']], [['这', '款', '充', '满', '甜', '美', '气', '息', '的', '针', '织', '衫', '，', '看', '似', '简', '单', '，', '但', '却', '充', '满', '了', '设', '计', '感', '。', '粗', '针', '的', '织', '法', '结', '合', '花', '纱', '，', '复', '古', '又', '不', '失', '时', '髦', '的', '感', '觉', '。', '饱', '满', '的', '颜', '色', '，', '散', '发', '着', '浓', '郁', '的', '浪', '漫', '气', '息', '，', '特', '别', '适', '合', '这', '个', '冬', '天', '过', '渡', '春', '天', '的', '季', '节', '，', '完', '全', '可', '以', '应', '付', '各', '种', '风', '格', '不', '同', '的', '日', '常', '穿', '搭', '。', '宽', '松', '的', '版', '型', '也', '让', '上', '身', '变', '得', '更', '加', '完', '美', '，', '修', '饰', '出', '好', '身', '材', '。']]]
preds
[['这', '款', '阔', '腿', '裤', '采', '用', '了', '七', '分', '裤', '的', '版', '型', '设', '计', '，', '能', '够', '很', '好', '的', '修', '饰', '腿', '部', '线', '条', '，', '让', '双', '腿', '看', '起', '来', '更', '加', '的', '笔', '直', '修', '长', '。', '格', '纹', '的', '图', '案', '设', '计', '简', '约', '大', '气', '，', '几', '何', '图', '案', '的', '设', '计', '时', '尚', '潮', '流', '。'], ['这', '款', '针', '织', '衫', '采', '用', '宽', '松', '的', '版', '型', '设', '计', '，', '搭', '配', '精', '致', '的', '剪', '裁', '，', '给', '身', '体', '更', '多', '的', '活', '动', '量', '，', '行', '动', '更', '为', '方', '便', '，', '穿', '着', '更', '为', '舒', '适', '。', '加', '上', '复', '古', '的', '提', '花', '图', '案', '点', '缀', '，', '更', '为', '整', '体', '增', '添', '了', '一', '丝', '甜', '美', '气', '息', '。']]