从头开始使用transfomer构建seq2seq(对对联)、自编码(新闻文本分类)、自回归(斗破苍穹小说续写)任务。该项目可以了解transfomer每一部分的具体结构，以及加深对类似bert(只使用transformer的编码器)、GPT(只使用transformer的解码器)、BART(使用transformer的编码器和解码器)的理解。
数据及模型下载地址：
链接：https://pan.baidu.com/s/1M6c3iAnW_du_LH8tH2uCZA?pwd=4sdh
提取码：4sdh
pytorch >= 1.6+
transformers==4.5.0python duilian_seq2seq.py
上联：几缕兰香萦素袖
真实：一窗竹韵养虚怀
下联：一帘柳色醉清风
====================================================================================================
上联：梅花不惧严冬雪
真实：荷蕊敢迎酷夏阳
下联：柳叶常吟落水风
====================================================================================================
上联：腊月径寒，神州续作梅花赋
真实：春阳送暖，赤县频吹尧舜风
下联：春风风暖，岁月长来柳叶香
====================================================================================================
上联：黄鹤醉回眸，武昌鱼戏水中鹤
真实：楚天舒放眼，鹦鹉嘴亲江里天
下联：青花开入眼，天湃龙飞天上花
====================================================================================================
上联：烟雨婆娑，一曲恐惊花溅泪
真实：柳衣袅绕，三更犹喜月拂弦
下联：春风浩漫，千秋漫起柳含诗
====================================================================================================
上联：金骏眉金，德性双修成大道
真实：正山堂正，禅茶一味致中和
下联：金龙水秀，人生一片展新图
====================================================================================================
上联：醉倚青山，揽就松风权作枕
真实：惯游绿水，欣邀梅雨喜冲波
下联：闲游碧水，欣将月色自成诗
====================================================================================================
上联：镰运锤挥，万古江山开盛世
真实：龙嚷虎奋，九州儿女创殊荣
下联：文明气展，千秋社会展新图
====================================================================================================
上联：日曜锤镰，砥砺朱毛传马列
真实：风吹号角，追随刘邓到江淮
下联：风流盛世，欣扬玉海展龙腾
====================================================================================================
上联：陈水扁阿水扁陈水阿扁，扁扁扁
真实：秦木会汉木会秦木汉会，会会会
下联：清风浩滟风风清风浩滟，古凰香
====================================================================================================
上联：喜气满门庭，亿民乐佳节
真实：春风吹大地，万物吐新茸
下联：春风盈海韵，万里展新图
====================================================================================================
上联：创业艰辛业怠
真实：说山容易上山难
下联：兴民发展富民兴
====================================================================================================
上联：阅成大海心方阔
真实：攀得奇峰眼自高
下联：不是青山意自高
====================================================================================================
上联：喜气盈门祥老少
真实：春风得意吉人家
下联：春风入地绿花香python classification_auto_encoder.py
文本：《堵车》吴镇宇首度国语表演 激发话剧表演兴趣新浪娱乐讯 电影《堵车》将于10月14日全国公映。吴镇宇在片中饰演一位名叫“罗生门”的环保主义者和大毒枭，开着一辆红色的救护车闯荡在高速发展的城市森林。吴镇宇表示，自己能出演这种亦正亦邪的角色很过瘾，直言“罗生门”不仅保留其神经帝的本质，还挖掘了他最真挚的爱情观，更透露该片是其第一部尝试国语配音的作品。台词和飙车考验吴镇宇演技《堵车》由北京紫禁城影业、天津华唐文化、北京奇新世纪影视、浙江世纪风采、昆明博奥投资联合出品，是导演阿年筹备5年之作。谈及接拍此片的原因，吴镇宇笑称是因为没看明白剧本，所以想挑战一把。“直到《堵车》杀青我都不是很理解所扮演的人物，‘罗生门’既有阴暗复杂的一面，也有深情诗意的一面，不同于以往塑造的反面角色，是个很复杂的人物。”片中，“罗生门”有大量类似莎士比亚经典戏剧的对白，例如“你知道吗，距离我们的宿命越来越近了。在U型建筑前面举行婚礼，婚礼就是葬礼，就是祭奠，就是毁灭。”除了要背诵大段的对白，吴镇宇还要亲身上演飙车戏。已故动作导演薛春炜为其设计了大量飙车戏，吴镇宇透露他和陈志朋、倪大红、孙海英(微博)等人的车斗场面将会是本片的一大看点。首度为
真实标签：娱乐
预测标签：娱乐
====================================================================================================
文本：三年来首只LOF指数基金今起发售【本报讯】三年来首只LOF指数基金——鹏华沪深300指数基金(LOF)今日起募集。投资者可通过工、建、农、交、招等商业银行以及国信、安信、湘财等各大券商进行认购。由于是LOF基金，投资者还可以通过深交所会员单位在场内认购基金。鹏华沪深300指数基金在投资策略上将用基金净值不低于90%的资产投资沪深300指数。投资目标追求基金净值增长率与业绩比较基准收益率之间的跟踪误差最小化，力争将日平均跟踪误差控制在0.35%以内，以实现对沪深300指数的有效跟踪。□本报记者 易非 深圳报道3月2日起，三年来首只LOF指数基金——鹏华沪深300指数基金（LOF）开始募集。投资者可通过工、建、农、交、招等商业银行以及国信、安信、湘财等各大券商进行认购，由于是LOF基金，投资者还可以通过深交所会员单位在场内认购基金。公告显示， 鹏华沪深300指数基金在投资策略上将用基金净值不低于90%的资产投资沪深300指数。投资目标追求基金净值增长率与业绩比较基准收益率之间的跟踪误差最小化，力争将日平均跟踪误差控制在0.35%以内，以实现对沪深300指数的有效跟踪。理财专家表示，指数基金属于高风险高收益的投资品
真实标签：财经
预测标签：财经
====================================================================================================
文本：黄蜂vs湖人首发：科比保罗大对决 阿里扎反戈一击新浪体育讯北京时间4月18日凌晨3:30，NBA季后赛洛杉矶湖人主场迎战新奥尔良黄蜂，赛前双方也公布了首发阵容：湖人队：费舍尔、科比、阿泰斯特、加索尔、拜纳姆黄蜂队：保罗、贝里内利、阿里扎、兰德里、奥卡福[新浪NBA官方微博][新浪NBA湖人新闻动态微博][新浪NBA专题][黄蜂vs湖人图文直播室](新浪体育)
真实标签：体育
预测标签：体育
====================================================================================================
文本：《手机大航海》―我的爱“帆船载着我的梦想，野心之大只有广阔七海方能承载。” 从那个年代走过来的玩家而言，这句话绝不陌生。曾几何时，我们在方寸屏幕前扬帆起航，去扮演形形色色的各式人等纵横海洋。光荣的《大航海时代》系列已经镌刻于一代人的经历中不可磨灭，而今《手机大航海》又来到我们面前，随时随地就能感受到海洋，美酒，还有丝绸，飘荡着沁人心肺的芳香，远处是人鱼的呼唤，我又再一次，义无返顾地投入了无尽的海洋。第一次玩航海类题材游戏是在初中的时候玩得大航海时代4，那时候班里有电脑的家庭也不多，所以如果一个人玩什么游戏，那么所有人都会回去轮流安装，一起玩，也一起交流经验心得。当第一次进入大航海时代4的时候随着鸽子的鸣镝声，出现非常维美的画面，那一刻我的心完全被大航海时代4所征服。还为了更好的玩游戏，专门买了一本世界地图册，每次打开游戏时桌上就放着一本地图册、草稿纸和计算器。第二天到了学校还和同学相比谁赚得钱更多，买得船更好。这些是到现在玩游戏的经历当中最美好的记忆了！所以，当我看到有一款大航海题材类的网游登陆手机平台时，我的心情是非常难以抑制的。等到《手机大航海》公测的时候，我急冲冲得注册游戏，并加入到大航海的怀抱里！《
真实标签：游戏
预测标签：游戏
====================================================================================================
文本：组图：看达人如何演绎豹纹军装风导语：懂得潮流的人总是知道自己最适合什么。今冬流行的亮点太多，军装、豹纹、类似、民族风情。想要知道搭配，快来看看时尚之都的达人们是怎么穿的吧。军绿色宽松款大衣不失俏皮味道，高腰设计的短裙有效的提升了腰线，衬托出修长的美腿。豹纹是今年冬季最抢眼的搭配元素，加上驼色针织衫、灰色围巾及暖棕色手挎包，整体色调统一又迷人。棕色与蓝色的结合能让人眼前一亮，简洁的款式依然能突显你的独特品味。宽松的针织外套衬托出优美的身形，即使搭配同样沉闷的黑色包包，性感的丝袜装扮都依然能透露出迷人的气息。小立领衬衫加上深黄高腰裤摩登感十足，随意披上的外套更显慵懒又个性的法式风情。
真实标签：时尚
预测标签：时尚
====================================================================================================
文本：组图：穿日本内衣扮演他的小辣椒导语：日本的少女内衣设计一向令人赞叹不已，女孩子注重的甜美可爱与成熟华丽感并存，使内衣颇具艺术感。不但颜色丰富，质料也是布质丝质等十分丰富，更会配合流行色和流行款式推出很多难以想象的设计。Ravijour内衣品牌虽然价格上比起一般内衣要贵，但设计非常性感，能让你的芳心一下就被虏获。
真实标签：时尚
预测标签：时尚
====================================================================================================
文本：公寓不达标 在澳留学生被勒令搬离难获紧急帮助中新网(微博)11月3日电 据澳大利亚新快网报道，有机构报称，出于安全隐患，一批阿德莱德市的在澳留学生被勒令搬离住所，但当中仅有27人获得帮助。居住在王子公寓(Princes Apartments)及Regency公寓的人大部分是留学生。他们被告知，要在周末前搬走，却可能不能获得紧急住宿帮助。阿德莱德市地方政府的发言人表示，地方政府已经通知业主，这栋物业不符合标准。“这栋物业的前业主已经破产，所以政府于今年10月把这些违规告知接管人Ferrier Hodgson。”阿德莱德教育部门的总裁Denise von Wald表示，会严肃对待这种情况，该部门正进行调查，为学生寻找新的住处。她说：“到目前为止，据我们所知，南澳有三所公立大学、卡内基美隆大学(Carnegie Mellon University)和南澳技术及继续教育部门一共收到了27名学生的申请，他们报告了在王子公寓及Regent公寓的住宿问题，要求我们协助他们找到新的住处。确实，据我了解，这是阿德莱德第一次出现这类事件。同时，这也是人们不可接受的事情。”Wald表示，培训支持办事处(Office of the
真实标签：教育
预测标签：教育
====================================================================================================
文本：詹姆斯盼率队完美收官 皇帝：我们可击败任何对手新浪体育讯北京时间4月5日(迈阿密时间4月4日)消息 在常规赛还剩下5场比赛的时候，热火的目标已经逐渐清晰，那就是继续赢球坐稳东部第二，以确保季后赛半决赛的主场优势。“我们喜欢打客场比赛，在客场，不管是场上还是场下，我们球队都紧紧团结在一块，”勒布朗-詹姆斯在热火以三连胜结束四连客征程后如是感慨说，他们本赛季的客场战绩为26胜13负，高居东部第一，在全联盟暂时仅次于27胜13负的小牛，“当然，我们也需要把这种感觉带回主场。”詹姆斯之所以这么说，与他们的主场战绩不那么出众不无关系，28胜10负别说比东部的竞争对手绿军(30胜8负)和公牛(33胜5负)差，甚至都比不过掘金(31胜7负)。“我们在主场还可变得更好，”迈克-米勒说，“我们在客场打得更好了，但在季后赛，我们必须保护主场。”结束四连客征程之后，热火回到了迈阿密，他们将先打三个主场，对手分别是雄鹿、山猫和绿军。主场与绿军一战很可能就是事关东部争二的生死战。“我们都很期待下周日与波士顿、下周一与亚特兰大的比赛，”德维恩-韦德说，“当这个赛季结束的时候，你就会发现，与某些球队的比赛总是不好打，而我们现在需要做的就
真实标签：体育
预测标签：体育
====================================================================================================
文本：时代数码广场理光R10数码相机特价优惠 理光R10是继理光R8的成功推出后的后继机型，除了像素等相应的提高之外，也增加了一些新颖的功能，颇具特色的理光操作风格也在R10身上得到很多的改进，其古典的造型和大变焦比的镜头都是其主要卖点。笔者日前在市场了解到，该款相机的报价为2650元，喜欢的朋友可以关注一下。 外观上，理光R10依然采用的复古的外观设计，顶盖的设计也和R8一样，采用金属材质制成，显得美观坚固，而静心设计的手柄也让消费者更容易握持，而且手柄的设计简洁，美观实用;在配色上，理光R10除了有复古的银色和神秘的黑色外, 还有充满个性的啡金色，所以能极大的满足消费者的的喜好。 机身配置上，理光R10配备了一块1/2.3英寸1000万有效像素的CCD感光元件，并与适合各种拍摄条件的图像处理引擎——平滑图像引擎III融为一体，而且理光R10最为成功的便是将7.1倍光学变焦镜头装配在了最薄点仅为22.6 mm的机身上，焦距等效35mm相机的28-200mm，并可按七级固定焦距更改光学变焦放大倍数。最近的对焦距离为1cm。机身背面配备的是一块3.0英寸46万像素的HVGA显示屏，拥有广阔的视角和高对比度。虽
真实标签：科技
预测标签：科技
====================================================================================================
文本：组图：明星示范秋冬必败十大流行款导语：2010年秋冬季时尚圈，什么单品正被热推呢？蕾丝衬衣、皮草马甲、牛仔外套、驼色大衣……似乎款款都能具有让你变得更加时髦的理由。明星们早已经抢先我们一步，尝试了今年秋冬最新鲜的造型，就让她们来告诉你！旧时光中的优雅女性终于重现在人们面前，刻意提高的紧身腰线以及优美如波浪般向两侧延展的蓬松伞裙，都是为了突出腰肢的丰满曲线，并且可以完美掩盖下肢的缺陷。如果你小腿还算匀称，何不尝试一下。简约的白衬衫打造出Effortless Chic，跟着极简主义的步调，挽起袖子，立起领子，再搭上一件九分裤，即刻变身街拍中性女王。一件保暖的针织毛衣，能让你度过一个温暖幸福的秋季！搭着复古的风潮，衣橱那件深藏已久的毛衣带着温暖质感，宽松随意却又不失亲和力。入时洒脱的牛仔，街头永远时髦的单品。一件牛仔外套无论搭配上什么单品，都会让你看起来年轻不少。帅气的连身裤最近大热好莱坞，看来这股风潮铁定要延续到秋冬，显然长裤在秋冬更受宠，如果你是走优雅路线的，那么可以尝试下Jessica Beil这件无袖式Jumpsuit，如果你是走朋克路线的则可以尝试一下Chole的黑色Jumpsuit！
真实标签：时尚
预测标签：时尚
====================================================================================================
precision recall f1-score support
体育 0.98 0.97 0.97 1000
财经 0.95 0.92 0.93 1000
房产 0.70 0.83 0.76 1000
家居 0.88 0.53 0.66 1000
教育 0.89 0.85 0.87 1000
科技 0.84 0.96 0.89 1000
时尚 0.92 0.92 0.92 1000
时政 0.83 0.90 0.86 1000
游戏 0.93 0.88 0.90 1000
娱乐 0.88 0.97 0.92 1000
accuracy 0.87 10000
macro avg 0.88 0.87 0.87 10000
weighted avg 0.88 0.87 0.87 10000python gnerate_auo_regression.py
开头：“咳，咳咳”眼瞳猛然睁开，萧炎急忙低下头
真实：“咳，咳咳”眼瞳猛然睁开，萧炎急忙低下头剧烈的咳嗽着，半晌后，方才脸色涨红的抬起来头来，望着身后那正端着一碗清水，表情有些不知所措的云芝，嘴角微微抽搐，苦笑道：“你成心把我呛死是吧”
生成：“咳，咳咳”眼瞳猛然睁开，萧炎急忙低下头来看，手掌一把抓住了一个小小的玉瓶，顿时，一股股极为恐怖的劲力，将之渲染得犹如一个玉般，将之上的一团团团团团团团团团团团团团团团团团团团团团，尽数包裹而进。<eos>
====================================================================================================
开头：凶悍能量在虚空狠狠撞击，爆发出一道道嗤嗤
真实：凶悍能量在虚空狠狠撞击，爆发出一道道嗤嗤声响，一阵淡淡的烟雾也是升腾而起。
生成：凶悍能量在虚空狠狠撞击，爆发出一道道嗤嗤的声响，在天际响彻而起，那股无形的能量，也是在此刻犹如受到一种极为恐怖的威压，不断的从天空上涌出，这种威压，令得人头皮发麻麻的脸庞，都是忍不住的有些变得有些变色了起来。<eos>
====================================================================================================
开头：然而就在所有人都以为萧炎定然难逃一劫之时
真实：然而就在所有人都以为萧炎定然难逃一劫之时，天空之上，一股磅礴劲气涟漪猛然以萧炎为中心点，暴涌而出，只见劲气所过之处，两道即使是连海波东都难以正面抵挡的分身残影，却是骤然凝固，旋即在下方一道道呆滞的目光中，一声闷响，轰然爆裂
生成：然而就在所有人都以为萧炎定然难逃一劫之时，那一霎，一道道惊骇目光，却是突然从那道惊天动地的目光中，闪过一道惊骇之色，旋即，旋即一道道黑色身影，缓缓浮现而出。<eos>
====================================================================================================
开头：“死”
真实：“死”
生成：“死”<eos>
====================================================================================================
开头：弯月刃带起一道道刺耳的音爆之声，划破天际
真实：弯月刃带起一道道刺耳的音爆之声，划破天际，那股一往无前的强悍威势，甚至是有种要将天空横劈为两半的势头。
生成：弯月刃带起一道道刺耳的音爆之声，划破天际，最后在那一道道目光注视下，缓缓旋转，最后停留在了那片区域的地方，那里，一道道目光，望着远处的一座山峰上，那里，一片空间，都是出现了一道道目光，显得格外的人，在这般平静的气氛下，显然，这些人心中，都是有着一种极为不错的感觉。<eos>
====================================================================================================
开头：花了将近十分钟，萧炎方才走完这一条走廊，
真实：花了将近十分钟，萧炎方才走完这一条走廊，虽然其中并没有他所需要的龙须冰火果，但是其他那一种种极为稀罕的药材，却是让得萧炎心脏的跳动加速了许多。
生成：花了将近十分钟，萧炎方才走完这一条走廊，然后在一旁的石台上，望着那些石台，一眼望去，一些人都是忍不住的跳了跳，这种情况，即便是他们都是未曾见到，但这些人，却是一个人，正是那些家伙的弟子。<eos>
====================================================================================================
开头：“你便是萧炎炎盟的那个盟主”狮天目光死死
真实：“你便是萧炎炎盟的那个盟主”狮天目光死死的盯着萧炎，先前后者抱彩鳞时也是被其看见，当时心中妒火便是猛烈的升腾了起来，即便现在尚还未攻破玄黄要塞，但他已经是将彩鳞当成了他的禁脔，怎容他人染指
生成：“你便是萧炎炎盟的那个盟主”狮天目光死死的盯着那道黑色光柱，萧炎眼中也是涌现一抹惊讶，这个家伙，实在是太过恐怖了点。<eos>
====================================================================================================
开头：被同伴拉扯了一下，那中年大汉也是从游身尺
真实：被同伴拉扯了一下，那中年大汉也是从游身尺所带来的狂热中清醒了不少，目光望向萧炎那边，刚好是瞧得小医仙那淡漠视线，当下浑身便是一个哆嗦，咽了口唾沫，只得悻悻的坐了回去。
生成：被同伴拉扯了一下，那中年大汉也是从游身尺上跃下，目光在萧炎身上扫过，最后停留在了那张熟悉的脸庞上，目光扫向那张略有些熟悉的脸庞上，此刻的他，正是那张年轻脸庞，此刻的少年，此刻，正是在这种年轻人，他们的感觉到，似乎比起当年的那种恐怖，还要更加的，让得人有些难以忍受。<eos>
====================================================================================================
开头：就在萧炎皱眉间，突然间，一道极其细微的呻
真实：就在萧炎皱眉间，突然间，一道极其细微的呻吟之声，透过水流，传进了其耳中。
生成：就在萧炎皱眉间，突然间，一道极其细微的呻吟声，突然在其心中响起，旋即，一道道惊骇目光，猛然转向了天空上的那道身影，正是那位黑袍青年。<eos>
====================================================================================================
开头：“云岚宗对我萧家所做之事，我会百倍尝还，
真实：“云岚宗对我萧家所做之事，我会百倍尝还，今曰，便先由你二人开始吧放心，云山老狗，也会下去陪你们的。”
生成：“云岚宗对我萧家所做之事，我会百倍尝还，你们这些年，也是在这里，你们也不是省油的灯，而且还有着一些实力强横的势力，我们也不敢与你们抗衡，所以，我们也不多管闲，你们一起，我们便是要将你们的身份，我们之间的事，便是我们不会让得你们有些麻烦。”萧炎淡淡的道。<eos>
====================================================================================================效果不是很好，毕竟构建的模型不是很大。
A PyTorch implementation of the Transformer model in "Attention is All You Need"