Загрузка...

ByteDance/seedance-v2.0-reference-to-video

Создавайте управляемые видео с API Seedance 2.0 Reference. Используйте видео-референсы, поддержку реалистичных людей, гибкие соотношения сторон и стабильный результат.

reference-to-video

Связанные модели Seedance 2.0

seedance-v2.0-text-to-videotext-to-video

seedance-v2.0-image-to-videoimage-to-video

seedance-v2.0-reference-to-videoreference-to-video

Попробуйте AI генератор видео сейчас

README

Профессиональный API Seedance V2.0 Reference-to-Video (мультимодальная генерация по референсам)

API ByteDance Seedance V2.0 Reference-to-Video обеспечивает генерацию видео по референсам для разработчиков и творческих команд на Best Image AI. Текущая интеграция API принимает текстовый промпт как минимум с одним референсным изображением или видео, а также дополнительные необязательные изображения, видео и аудиореференсы. Поддерживаются настраиваемая длительность, несколько соотношений сторон, несколько уровней разрешения и необязательная настройка генерируемого звука для управляемых видеопроцессов.

Входные референсные изображения и видео: Загружайте несколько референсных изображений или видеоклипов, чтобы управлять результатом генерации. Для каждого запроса требуется как минимум один референс в виде изображения или видео.
Аудиореференсы, управляемые промптом: Добавляйте поддерживаемые аудиоклипы вместе с обязательными визуальными референсами, затем с помощью инструкций в промпте просите модель учитывать их в нужной роли, например для голоса, музыки, тайминга или атмосферы.
Упоминания референсов в промпте: Указывайте в промпте загруженные изображения, видео и аудиоматериалы, чтобы описать, как они должны повлиять на запрашиваемое видео.
Необязательный генерируемый звук: Включайте или отключайте генерируемый звук с помощью поддерживаемой настройки звука API.
Несколько уровней разрешения: Выбирайте из вариантов выходного разрешения 480p, 720p, 1080p и 4K, доступных в текущей конфигурации модели Best Image AI.
Гибкое управление длительностью: Создавайте видео длительностью от 4 до 15 секунд с настраиваемой длительностью результата.
Гибкая поддержка соотношений сторон: Создавайте альбомные, портретные, квадратные, сверхширокие и стандартные видео с помощью доступных вариантов соотношения сторон.

Seedance V2.0 Reference-to-Video и Seedance V2.0 Text-to-Video Seedance V2.0 Text-to-Video работает на основе текстового промпта. Reference-to-Video добавляет поддерживаемые изображения, видео и необязательные аудиоданные, а также упоминания медиа в промпте.
Seedance V2.0 Reference-to-Video и Seedance V2.0 Fast Reference-to-Video Оба варианта предоставляют одинаковые типы референсных медиа и основные параметры управления на Best Image AI. Стандартный вариант добавляет разрешения 1080p и 4K, а вариант Fast ориентирован на процессы с разрешениями 480p и 720p.
Seedance V2.0 Reference-to-Video и Wan 2.7 Reference-to-Video Оба API принимают изображения и видео в качестве референсов. Wan 2.7 дополнительно предоставляет управление негативным промптом и seed, а Seedance V2.0 поддерживает несколько необязательных аудиореференсов и переключатель генерируемого звука.
Seedance V2.0 Reference-to-Video и Vidu Q3 Reference-to-Video Vidu Q3 Reference-to-Video использует референсные изображения в текущей конфигурации Best Image AI. Seedance V2.0 также принимает референсные видео и необязательное референсное аудио.
Seedance V2.0 Reference-to-Video и Runway Video Tools Runway предлагает более широкий набор интерактивных инструментов для творчества. Seedance V2.0 Reference-to-Video предоставляет специализированный процесс API, охватывающий промпты, поддерживаемые загрузки референсов, настройки результата и генерируемый звук.

Примеры API

Пример отправки

// Step 1: Submit generation request
const response = await fetch('https://api.flaq.ai/api/v1/video/task', {
  method: 'POST',
  headers: {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer YOUR_API_KEY'
  },
  body: JSON.stringify({
    model_name: 'seedance-v2.0-reference-to-video',
    prompt: 'Use image one for the subject, video one for the movement, and audio one for the atmosphere',
    resolution: '1080p',
    duration: 8,
    aspect_ratio: '16:9',
    sound: true,
    images: ['https://example.com/subject-reference.jpg'],
    videos: ['https://example.com/motion-reference.mp4'],
    audios: ['https://example.com/atmosphere-reference.mp3']
  })
});

const { data } = await response.json();
const taskId = data.task_id;

// Use the @ (AT) reference feature in prompt through <<<...>>> placeholders.
// Placeholder numbering is 1-based for each media array:
// <<<image_1>>> = images[0], <<<image_2>>> = images[1]
// <<<video_1>>> = videos[0], <<<audio_1>>> = audios[0]
const mediaReferenceResponse = await fetch('https://api.flaq.ai/api/v1/video/task', {
  method: 'POST',
  headers: {
    'Content-Type': 'application/json',
    'Authorization': 'Bearer YOUR_API_KEY'
  },
  body: JSON.stringify({
    model_name: 'seedance-v2.0-reference-to-video',
    prompt: 'Place the explorer from <<<image_1>>> in the environment from <<<image_2>>>, following the camera movement in <<<video_1>>> and speaking with the reference voice from <<<audio_1>>>',
    resolution: '1080p',
    duration: 10,
    aspect_ratio: '16:9',
    sound: true,
    images: [
      'https://example.com/explorer-reference.jpg',
      'https://example.com/environment-reference.jpg'
    ],
    videos: ['https://example.com/camera-movement-reference.mp4'],
    audios: ['https://example.com/voice-reference.mp3']
  })
});

const { data: mediaReferenceData } = await mediaReferenceResponse.json();
const mediaReferenceTaskId = mediaReferenceData.task_id;

Пример опроса

// Step 2: Poll for results
const taskId = data.task_id;

const pollResult = async (taskId) => {
  const res = await fetch(`https://api.flaq.ai/api/v1/video/${taskId}`, {
    headers: { 'Authorization': 'Bearer YOUR_API_KEY' }
  });
  return res.json();
};

while (true) {
  const pollResultData = await pollResult(taskId);
  const status = pollResultData.data.task_status;

  if (status === 'succeed') {
    console.log(pollResultData.data.task_result.videos[].);
    ;
  }

   (status === ) {
    .(pollResultData..);
    ;
  }

    ( (resolve, ));
}

Пример отправки

# Step 1: Submit generation request
import requests

response = requests.post(
    'https://api.flaq.ai/api/v1/video/task',
    headers={
        'Content-Type': 'application/json',
        'Authorization': 'Bearer YOUR_API_KEY'
    },
    json={
        'model_name': ,
        : ,
        : ,
        : ,
        : ,
        : ,
        : [],
        : [],
        : []
    }
)

result = response.json()
task_id = result[][]





media_reference_response = requests.post(
    ,
    headers={
        : ,
        : 
    },
    json={
        : ,
        : ,
        : ,
        : ,
        : ,
        : ,
        : [
            ,
            
        ],
        : [],
        : []
    }
)

media_reference_result = media_reference_response.json()
media_reference_task_id = media_reference_result[][]

Пример отправки

# Step 1: Submit generation request
curl -X POST https://api.flaq.ai/api/v1/video/task \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -d '{
    "model_name": "seedance-v2.0-reference-to-video",
    "prompt": "Use image one for the subject, video one for the movement, and audio one for the atmosphere",
    "resolution": "1080p",
    "duration": 8,
    "aspect_ratio": "16:9",
    "sound": true,
    "images": ["https://example.com/subject-reference.jpg"],
    "videos": ["https://example.com/motion-reference.mp4"],
    "audios": ["https://example.com/atmosphere-reference.mp3"]
  }'

# Use the @ (AT) reference feature in prompt through <<<...>>> placeholders.
# Placeholder numbering is 1-based for each media array:


curl -X POST https://api.flaq.ai/api/v1/video/task \
  -H  \
  -H  \
  -d

Пример опроса

# Step 2: Poll for results
task_id = response.json()['data']['task_id']
poll_url = f"https://api.flaq.ai/api/v1/video/{task_id}"

while True:
    poll_result = requests.get(poll_url, headers={'Authorization': 'Bearer YOUR_API_KEY'}).json()
    status = poll_result['data']['task_status']
    if status == 'succeed':
        print(poll_result['data']['task_result']['videos'][0]['url'])
        break
    if status == 'failed':
        print(poll_result['data']['task_status_msg'])
        break
    time.sleep(10)

Пример опроса

# Step 2: Poll for results
# Replace {task_id} with the task_id returned from the submit response
curl -X GET "https://api.flaq.ai/api/v1/video/{task_id}" \
  -H "Authorization: Bearer YOUR_API_KEY"

Связанные модели Seedance 2.0

Профессиональный API Seedance V2.0 Reference-to-Video (мультимодальная генерация по референсам)

Основные возможности API Seedance V2.0 Reference-to-Video

Как использовать API Seedance V2.0 Reference-to-Video на Best Image AI

Лучшие сценарии использования интеграции API Seedance V2.0 Reference-to-Video

Seedance V2.0 Reference-to-Video и конкуренты: сравнительный анализ

Примеры API

Пример отправки

Пример опроса

Пример отправки

Пример отправки

Пример опроса

Пример опроса

Больше статей о Seedance 2.0 Reference to Video