多模态大模型统一布局生成方法微调数据集设计及模型架构统一训练思路
原创
现有布局生成方法多针对特定任务(如海报设计、文档布局等),缺乏跨任务的灵活性和通用性,难以统一处理不同场景下的布局需求。布局生成任务的分类,多样的布局生成任务可分为四类:(a)BFEF(无背景与无元素),(b)BCEF(背景约束与无元素),(c)BFEC(无背景且元素约束)和(d)BCEC(背景约束与元素约束)。不同任务需要不同的模型,这缺乏灵活性。在每个任务内部,存在指标性能与人类感知之间的差异:(“生成布局1”)指标较好...