近日,字節(jié)跳動旗下智能AI助手豆包升級文生圖能力,支持一鍵生成指定文本。用戶可以在生圖提示詞中加入文本要求,如“一張帶有「新年快樂」的圖”,即可生成帶有指定文字的圖片。目前該功能已經(jīng)在豆包APP開啟測試,即夢也已小范圍測試。

(用豆包生成帶有文字的圖片)

對文生圖模型而言,如何在圖像中精準生成文本一直是難題,尤其是中文文字,經(jīng)常出現(xiàn)亂碼。據(jù)介紹,相比英文字母,漢字字符結(jié)構(gòu)更復(fù)雜,且字符數(shù)量要多兩個數(shù)量級。豆包大模型團隊相關(guān)負責人表示,豆包文生圖模型通過打通LLM和DIT構(gòu)架,具備更好的原生中文數(shù)據(jù)學習能力,并在此基礎(chǔ)上強化了漢字生成能力,大幅提升了生成效果。

據(jù)觀察,已有不少用戶嘗試使用該能力制作表情包、梗圖漫畫,或輔助生成海報,并在社交媒體平臺發(fā)布。據(jù)介紹,當前該功能僅支持文生圖時添加文字,暫不支持上傳圖片生成文字。

豆包負責人表示,該能力剛剛推出,仍在完善和優(yōu)化中。目前絕大多數(shù)情況下豆包能夠準確生成指定文字,但仍存在少部分錯字、漏字或小字亂碼等情況。“不管文字、圖片、還是音樂生成功能,豆包都希望能夠降低創(chuàng)作門檻,幫助人們更好地表達和創(chuàng)造?！睋?jù)悉,豆包網(wǎng)頁及電腦版也將在近期上線該能力。

豆包是字節(jié)跳動基于豆包大模型推出的AI智能助手,支持手機App、PC 電腦版、網(wǎng)頁版、瀏覽器插件。作為全能AI 助手,豆包能為生活、學習、工作提供幫助。用戶可以通過豆包搜索信息,答疑解惑,分析總結(jié),提供靈感,輔助創(chuàng)作,提高生活和學習效率。