StructBERT在BERT的基础上提出改进优化，通过在句子级别和词级别引入两个新的目标函数，打乱句子／词的顺序并使模型对其进行还原的方式，能让机器更好地掌握人类语法，加深对自然语言的理解，使得模型学习到更强的语言结构信息。