南宫NG·28自研包括深度引擎芯片、感光芯片、专用光学系统核心底层技术,搭建SDK、行业应用算法软硬件一体技术全链路。
南宫NG·28依托长期基础理论积累和对应用场景需求及问题的深刻认知,通过系统仿真、建模、核心光学及电子元器件设计规划等,自主设计开发了结构光、双目、iToF、dToF、Lidar五种3D视觉传感系统,可以满足不同应用场景的需求,并实现持续优化迭代与创新,先后还研发储备了基于斑点投射的增强iToF系统、屏下结构光系统以及无支架结构光系统等系统方案。
南宫NG·28根据消费级领域的应用需求,例如刷脸支付、人体扫描等对3D视觉感知的实际需求,从系统端进行定制化设计与开发,通过整合3D视觉传感器以及消费级应用的软硬件环境,研发出多款消费级应用整机系统。
南宫NG·28针对工业领域对微小形变、高精度形貌以及弯管测量方面的依托,借助在数字图像相关、结构光三维测量方面的技术积累,从系统端进行定制化设计与开发,自主设计开发了三维光学扫描测量系统、三维全场应变测量分析系统以及三维光学弯管测量系统等工业级应用整机系统。
南宫NG·28设计了系统级SoC芯片,包含结构光深度计算ASIC引擎,将双目与结构光融合,在芯片内嵌算法及架构上均进行了创新,是公司目前主营产品的核心技术。相关产品已进行了4代迭代,由最早期的MX400依次迭代为MX6000、MX6300、MX6600。
南宫NG·28设计了多抽头红外CMOS图像传感器,可以满足脉冲调制、连续波调制下单个周期内的多次光子采集需求,涵盖了BSI像素设计、三维堆栈工艺、抗干扰、高精度ADC、高速度传输接口设计等细分技术,是公司iToF产品的核心技术之一。
南宫NG·28设计了系统级的抗干扰、多频融合等技术,自主研发了像素结构、像素单元、高性能淬灭电路、灵活可调的偏压电路、多种共享模式的高精度TDC与高效能的直方图数据后处理引擎等细分技术。
南宫NG·28针对结构光应用场景的多元化(室内室外、强背景光弱背景光各种复杂场景),创新性提出多种工作模式以及相应处理算法,设计结构光专用感光芯片,简化后续深度引擎芯片芯片的算力处理,降低整体功耗,有效提升了整个结构光模组的性能。
南宫NG·28设计了将大规模神经网络、3D深度计算、关键算法等功能集成的AIoT算力芯片,芯片将包含主控制单元CPU、深度计算引擎(支持iToF滤波、双目匹配计算等)、神经网络加速单元、DSP、ISP等单元。
南宫NG·28设计了结构光算法、双目匹配算法、iToF深度解算滤波等底层算法,计算深度信息,这些算法通过电脑端生成,经过FPGA优化验证,最后形成芯片底层语言,以固化到芯片中。
南宫NG·28面向下游应用,研发了包含骨架跟踪、图像分割、三维重建、VSLAM、沉浸式AR等应用算法,其中部分算法技术已应用于现有产品,随硬件一起销售,部分算法作为未来产品的技术储备。
南宫NG·28以摄影测量、图像相关匹配等技术为核心基础,开发出了柔性相机标定技术、三维重建技术和动态变形解算技术,应对复杂工业现场的三维测量应用场景。同时,面向工业自动化三维检测分析需求,开发三维海量点云数据后处理技术、智能运动规划及控制技术和CAD外形偏差检测分析技术。
南宫NG·28研发了可用于结构光、iToF、dToF、Lidar等产品中的整体专用光学系统,包含离轴、共轴光学测量系统。
南宫NG·28研发了由激光发射器、透镜以及衍射光学元件组成的激光投影器件,用于向空间中投影散斑光束,并在微型化、DOE损坏检测、激光芯片阵列设计等方面进行了创新研发。
南宫NG·28自主设计了包含耦入、传导、耦出多层架构的光波导,并在衍射效率、抗干扰等方向做了深入研究。
南宫NG·28研发了用于实现对3D视觉传感器硬件进行控制与开发的固件与驱动,其中包括对传感器内部各个器件的设置与访问用的驱动,以及为上层SDKAPI提供了一些访问与控制接口。
南宫NG·28自主研发3D视觉传感系统的软件及SDK,涵盖中间件、API等,匹配硬件系统功能,实现更精确的3D视觉感知功能,同时兼容Windows、Linux、Android、OSX、Unity、ROS、OpenCV等全平台开发环境的二次开发,支持3D视觉传感系统功能。
南宫NG·28将众多工业级应用算法,底层封装标准接口的C++SDK库,上层使用标准设计模式,搭建通用软件框架、UI交互模块、3D可视化模块、数据库等形成软件平台。依托此平台,公司开发出三维光学摄影测量软件、三维光学全场应变测量软件、三维光学面扫描软件、三维光学弯管测量软件、工业三维测量分析软件等通用应用场景的工业软件,同时针对非标应用可快速为客户提供专用定制开发。
南宫NG·28研发了多层次标定技术,包括多传感器内外参标定技术、面向结构光的参考散斑图案标定技术、面向ToF的像素标定等技术。此外,公司还研发了RGBD对齐技术。
南宫NG·28研发了用于实现3D视觉传感器自动对由温度、外力引起的误差进行校准与补偿的技术。该技术是确保3D视觉传感器能输出稳定的深度图像的关键条件。
南宫NG·28研发了量产中组装、标定、对齐、测试等核心环节的高精度、高效率心专用设备。