8月15日，騰訊混元文生圖開源大模型（開源項(xiàng)目名稱為“HunyuanDiT”，以下簡(jiǎn)稱為“混元DiT”）聯(lián)合社區(qū)發(fā)布了最新的三款可控制插件ControlNet，包括tile（高清放大）、inpainting（圖像修復(fù)與擴(kuò)充）、lineart（線稿生圖）等不同類型，與此前官方插件一同形成混元DiT的ControlNet矩陣，組合使用可以覆蓋包括美術(shù)、創(chuàng)意、建筑、攝影、美妝、電商等80%案例和場(chǎng)景。

這意味著，全球的企業(yè)與個(gè)人開發(fā)者、創(chuàng)作者們，都可以基于豐富混元DiT模型的ControlNet生態(tài)更加精準(zhǔn)地生成圖片，創(chuàng)造更具個(gè)性化的專屬模型，進(jìn)行更大自由度的創(chuàng)作。

騰訊混元DiTControlNet矩陣，實(shí)現(xiàn)多樣化場(chǎng)景創(chuàng)作

AI生圖領(lǐng)域的可控制插件ControlNet是一種應(yīng)用于文生圖領(lǐng)域的可控化生成算法，它允許用戶通過(guò)添加額外條件來(lái)更好地控制圖像的生成。

Tile（高清放大）可以為畫面擴(kuò)充信息，用于增加細(xì)節(jié)輔助超清放大，將畫面清晰度變成4K甚至8K，連毛發(fā)都清晰可見(jiàn)，非常適合對(duì)于圖片有極致細(xì)節(jié)追求的場(chǎng)景使用。

使用tile模型將人物寫真畫面放大八倍

適當(dāng)調(diào)整使用方法的情況下，tile插件也可以對(duì)畫面進(jìn)行其他操作，比如通過(guò)如衰減權(quán)重后把下面圖中的真人寫真變成一個(gè)可愛(ài)的動(dòng)漫人物。

Inpainting（圖像修復(fù)與擴(kuò)充）插件的能力類似于部分圖像處理軟件的AI涂抹重繪、AI擴(kuò)圖，該能力可以將圖片中被涂抹和斑駁褪色的部分，根據(jù)創(chuàng)作者的需要進(jìn)行填充。通過(guò)該插件可以實(shí)現(xiàn)圖片背景、人物主體改變、局部修改畫面等需求，能處理高達(dá)70%面積涂抹重繪。

通過(guò)騰訊混元DiT Inpainting插件改變圖片背景

通過(guò)騰訊混元DiT Inpainting插件實(shí)現(xiàn)多點(diǎn)重繪，將原來(lái)的深色貓咪改變?yōu)辄S色貓咪，并保持四肢和臉部毛發(fā)的一致性

通過(guò)騰訊混元DiT Inpainting插件實(shí)現(xiàn)局部細(xì)節(jié)修改，將原來(lái)的睜眼的人物變成閉眼

通過(guò)騰訊混元DiT Inpainting插件實(shí)現(xiàn)擴(kuò)圖

Lineart（線稿生圖）則可參考各種不同類型線條，創(chuàng)作真人、動(dòng)漫和建筑圖片，既可用戶建筑行業(yè)效果圖的生成，也可以給手稿上色作為創(chuàng)作參考。

Lineart插件可以接受由原有混元DiT插件canny提取的線稿，也能兼容預(yù)處理模型 anyline輸出的線稿，根據(jù)線稿生成精致的場(chǎng)景。

在建筑設(shè)計(jì)場(chǎng)景下，用lineart生成建筑設(shè)計(jì)效果圖后，還能搭配inpainting模型更換內(nèi)容、調(diào)整材質(zhì)，最后使用tile模型放大輸出最終效果圖。在動(dòng)漫創(chuàng)作場(chǎng)景下，將原有動(dòng)漫圖片稍加反色處理輸入給模型，就能通過(guò)提示詞為角色上色。

使用騰訊混元DiT lineart插件生成建筑設(shè)計(jì)效果圖

使用騰訊混元DiT lineart插件給動(dòng)漫手稿上色

此前，騰訊混元DiT官方發(fā)布了能提取與應(yīng)用圖像的canny（邊緣）、depth（深度）、pose（人體姿勢(shì)）等條件的三個(gè)首發(fā)ControlNet模型，開發(fā)者可直接使用其進(jìn)行推理。該三個(gè)ControlNet插件能實(shí)現(xiàn)通過(guò)線稿生成全彩圖、生成具有同樣深度結(jié)構(gòu)的圖、生成具有同樣姿態(tài)的人等能力。同時(shí)，混元DiT也開源了ControlNet的訓(xùn)練方案，開發(fā)者與創(chuàng)作者可以訓(xùn)練自定義的ControlNet模型。

騰訊混元DiT官方上線的三個(gè)ControlNet插件效果演示

本次騰訊混元DiT新增的三款可控制插件ControlNet由混元DiT聯(lián)合社區(qū)模型制作者調(diào)參訓(xùn)練，選取了創(chuàng)作者最為常用的場(chǎng)景方向進(jìn)行制作。

三款ControlNet模型的加入，將擴(kuò)充混元DiT已有的ControlNet插件矩陣，并可互相組合搭配進(jìn)行創(chuàng)作。隨著騰訊混元DiT ControlNet生態(tài)的完善，并在ComfyUI等多種工具支持下，混元DiT模型的繪圖質(zhì)量、多樣性和可靠性大大提高，將更能激發(fā)使用者的創(chuàng)意，產(chǎn)出更多優(yōu)秀視覺(jué)作品。

眾多開發(fā)者關(guān)注，成最受歡迎國(guó)產(chǎn)DiT開源模型

今年5月，騰訊混元文生圖大模型宣布全面升級(jí)并對(duì)外開源，可供企業(yè)與個(gè)人開發(fā)者免費(fèi)商用。這是業(yè)內(nèi)首個(gè)中文原生的DiT架構(gòu)文生圖開源模型，支持中英文雙語(yǔ)輸入及理解。

作為首個(gè)中文原生DiT開源模型，混元DiT自全面開源以來(lái)，一直持續(xù)建設(shè)開發(fā)者生態(tài)。

6月，混元DiT發(fā)布的專屬加速庫(kù)，可將推理效率進(jìn)一步提升，生圖時(shí)間縮短75%；并進(jìn)一步開源了推理代碼；發(fā)布LoRA和ControlNet等插件。

與此同時(shí)，模型易用性大幅提升，用戶可以通過(guò)Hugging Face Diffusers快速調(diào)用混元DiT模型及其插件，或基于Kohya和ComfyUI等圖形化界面訓(xùn)練與使用混元DiT。

7月4日，騰訊混元文生圖大模型（混元DiT）升級(jí)至1.2版本并宣布開源小顯存版本，僅需6G顯存即可運(yùn)行，對(duì)使用個(gè)人電腦本地部署的開發(fā)者十分友好；并新增對(duì)Kohya圖形化界面的支持，讓開發(fā)者可以低門檻地訓(xùn)練LoRA模型。

目前，在眾多開發(fā)者的支持下，混元DiT發(fā)布僅3個(gè)月，Github Star數(shù)已經(jīng)超過(guò)3.1k，成為最受歡迎的國(guó)產(chǎn)DiT開源模型。