创意艺术字设计 （WordArt Designer）

模型描述

创意艺术字设计 （WordArt Designer）是一个基于用户驱动，依赖于大型语言模型(LLMs)的艺术字生成框架系统。该系统包含四个关键模块:LLM引擎、SemTypo、Stlytypo和TextTypo模块。由通义千问驱动的LLM引擎可以解释用户输入，并为其他模块生成可操作的提示，从而将抽象概念转化为有形的设计。SemTypo模块使用语义概念优化字体设计，在艺术转换和可读性之间取得平衡。在SemTypo模块提供的语义布局的基础上，StyTypo模块辅助生成平滑、精细的图像。TextTypo模块通过纹理渲染进一步增强了设计的美观性，能够生成创造性的纹理字体。值得注意的是，WordArt Designer已经成功地在电子商务平台实施，用于创建横幅和海报，这体现了人工智能在增强艺术字体排版方面的潜力。创意艺术字设计 创空间试用 Link：https://modelscope.cn/studios/WordArt/WordArt/summary （正在开源过程中，预计11月上旬完成完成核心部分代码开源）

图 1: WordArt Designer 交互方式示意.

图 1: WordArt Designer 系统框架.

快速开始

注意：该仓库里面的预编译文件对python环境有特定依赖，notebook目前只支持 ubuntu20.04-cuda11.7.1-py38-torch2.0.1-tf1.15.5-1.8.1 容器环境

import os
import sys

# 依赖库放置于仓库 增加python依赖搜索路径
sys.path.append(os.path.join(os.environ['MODELSCOPE_CACHE'], 'jyhe21/wordart_designer'))

from modelscope.outputs import OutputKeys
from modelscope.pipelines import pipeline

# 创建象形文字生成 pipeline
inference = pipeline('wordart-generation', model="jyhe21/wordart_designer", model_revision='v1.0')

# 输入分为汉字 需要变形的语义
input = ("猴", "little monkey")
output = inference(input)
for idx, o in enumerate(output[OutputKeys.OUTPUT_IMGS]):
    o.save(f"test_{idx}.jpg")

艺术字数据集

图 1: WordArt Designer 生成的纹理数据集.

图 1: WordArt Designer 生成的字形数据集.

Citation

如果这个工作对你有用,请引用以下文章:

@misc{he2023wordart,
      title={wordart designer: user-driven artistic typography synthesis using large language models}, 
      author={Jun-Yan He and Zhi-Qi Cheng and Chenyang Li and jingdong Sun and Wangmeng Xiang and Xianhui Lin, and Xiaoyang Kang and Zengke Jin and Yusen Hu and Bin Luo and Yifeng Geng and Xuansong Xie and Jingren Zhou},
      year={2023},
      eprint={2310.18332},
      primaryClass={cs.CV}
}

@misc{he2024wordartapi,
      title={wordart designer API: User-Driven Artistic Typography Synthesis with Large Language Models on ModelScope}, 
      author={Jun-Yan He and Zhi-Qi Cheng and Chenyang Li and jingdong Sun and Wangmeng Xiang and Xianhui Lin, and Xiaoyang Kang and Zengke Jin and Yusen Hu and Bin Luo and Yifeng Geng and Xuansong Xie and Jingren Zhou},
      year={2024},
      eprint={2401.01699},
      primaryClass={cs.CV}
}