Как работает датчик RYYB на Huawei P30 Pro

Huawei P30 Pro - первый смартфон, использующий новый датчик Sony IMX650. Помимо разрешения в 40 мегапикселей, особенность этого датчика в том, что он имеет цветной фильтр RYYB. Huawei утверждает, что это заставляет датчик собирать 40% света. Но что такое цветной фильтр RYYB и чем он отличается от других телефонов?
Чтобы понять фильтр RYYB, мы должны сначала понять, как работает фильтр Байера. Фильтр Байера представляет собой массив цветных фильтров, наложенный поверх датчика изображения, и назван в честь Брайса Байера, который его изобрел.
Причина, по которой нам нужен массив цветных фильтров, заключается в том, что датчик изображения по своей конструкции чувствителен только к свету и не чувствителен к цвету. Поскольку он может обнаруживать и захватывать только свет, необработанный снимок с цифрового датчика изображения всегда черно-белый.
Чтобы иметь возможность фиксировать цвет, нам нужен массив цветовых фильтров, такой как фильтр Байера. Во-первых, ультрафиолетовое и инфракрасное излучение отфильтровывается другими фильтрами. Как только приходящий свет сужается до видимого спектра, фильтр Байера начинает работать.
Фильтр Байера накладывает один цветной краситель поверх каждого пикселя. Таким образом, в сетке размером 2x2 пикселя будет один красный пиксель, один синий пиксель и два зеленых пикселя.
Выбор RGB имеет свои причины. Человеческое зрение трихроматично, что означает, что оно чувствительно в первую очередь к трем группам световых волн, которые близко соответствуют красному, зеленому и синему цветам. Используя перекрытие между этими длинами волн, наш мозг способен интерпретировать «цвета» (которых на самом деле не существует) и наряду со световой информацией, воспринимаемой стержнями, которые мы можем видеть. Наши камеры спроектированы так, чтобы имитировать нашу систему трихроматического зрения.
Фильтр Байера размещает один красный цвет, один синий цвет и две зеленые линзы на сетке пикселей 2x2 на датчике изображения. Это означает, что видимый свет, проходящий через массив, фильтруется соответствующим цветом. Пиксель под красной линзой все равно получит черно-белое изображение, но с отфильтрованным красным цветом. Это приведет к тому, что все красные объекты в кадре будут казаться ярче для этого пикселя по мере удаления этой информации. То же самое касается синего и зеленого пикселей.
Теперь у нас есть изображение, которое имеет различные уровни яркости на пиксель из-за фильтров. Чтобы получить настоящие цвета, нам нужен процесс, который называется демозаикацией или распадением. Сложный алгоритм, обычно принадлежащий производителю камеры, помогает интерпретировать различные значения цвета. Он просматривает информацию, захваченную пикселем, а также окружающие пиксели и определяет, какое значение цвета назначить этому пикселю. Насколько хорош этот алгоритм, решает, насколько точны цвета на конечном изображении.
Кроме того, необработанное цифровое изображение с сенсора всегда черно-белое. Мы видим цвета только потому, что изображение было демозаизировано. Когда мы открываем необработанный файл в фоторедакторе, таком как Adobe Photoshop, приложение использует собственный алгоритм демозаики для генерации цветов, поэтому разные приложения будут создавать немного разные цвета для необработанных файлов.
Как только демосакция завершена, изображение готово к дальнейшей обработке, где настраиваются такие параметры, как экспозиция, контрастность, блики, тени, баланс белого, шум и резкость для получения окончательного изображения.
Возвращаясь к фильтру, фильтр Байера выбирает использовать массив RGGB. Как упоминалось ранее, это наиболее близко соответствует тому, как работают наши глаза. Что касается того, почему есть два зеленых пикселя, это потому, что зеленый сидит в центре видимой цветовой гаммы человека, и наши глаза наиболее чувствительны к нему. Зеленый канал также действует как яркость, и Вы заметите, что регулировка уровня зеленого цвета в изображении влияет не только на цвет, но и на общую яркость изображения.
Однако, альтернатива фильтрам Байера существует уже некоторое время. CYM или CYYM является одним из них, где фильтр состоит из голубого, желтого и пурпурного цветов. Преимущество фильтра CYYM состоит в том, что он позволяет большему количеству света проходить к датчику. Как видно из названия, фильтр Байера - это фильтр, поэтому он удаляет часть света. Кроме того, поскольку только половина пикселей на датчике получает зеленый свет, а четверть - красный и синий, Вы также никогда не получите обещанное разрешение Вашего датчика. Датчик CYYM с его более высокой светопропусканием был разработан для борьбы с этим и теоретически обеспечивает гораздо большее разрешение при том же количестве пикселей.
Однако, как выясняется, получить естественное изображение из датчика CYYM нелегко, и для него требуется гораздо более сложный алгоритм демозаики, чем для RGGB. Из-за этого он так и не завоевал популярность, а камеры с полными датчиками CYYM остаются редкостью, и в недавнем прошлом их не было.
Именно здесь появляется датчик RYYB на Huawei P30 Pro. Инженеры использовали знакомые красный и синий каналы, но заменили два зеленых на два желтых канала. Это позволяет сенсору захватывать даже больше света, чем с зелеными фильтрами, по крайней мере, в теории.
Конечно, все еще существует проблема демозаики, но с улучшением в этой области, а также с использованием искусственного интеллекта, который анализирует содержимое изображения, теперь можно правильно определять цвета даже без выделенного зеленого канала.
Конечно, эффективность этого метода по сравнению со стандартным RGGB не может быть легко протестирована или проверена, поэтому мы должны поверить слову Huawei. Но это, безусловно, интересное решение для улучшения качества изображения при слабом освещении и, возможно, причина, по которой телефон имеет такие отличные характеристики при слабом освещении.
Если у Вас есть какие-либо вопросы или Вы хотите, чтобы мы обсудили другие вопросы в будущем, сообщите нам об этом в комментариях ниже.

Источник