WO2017120650A1 - System and method for inventory management based on object recognition analysis - Google Patents

System and method for inventory management based on object recognition analysis Download PDF

Info

Publication number
WO2017120650A1
WO2017120650A1 PCT/BR2016/050302 BR2016050302W WO2017120650A1 WO 2017120650 A1 WO2017120650 A1 WO 2017120650A1 BR 2016050302 W BR2016050302 W BR 2016050302W WO 2017120650 A1 WO2017120650 A1 WO 2017120650A1
Authority
WO
WIPO (PCT)
Prior art keywords
articles
image
display device
mosaic
object recognition
Prior art date
Application number
PCT/BR2016/050302
Other languages
French (fr)
Portuguese (pt)
Inventor
Graciliano MONTEIRO PASSOS
Original Assignee
Up Points Serviços Empresariais S.A.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Up Points Serviços Empresariais S.A. filed Critical Up Points Serviços Empresariais S.A.
Publication of WO2017120650A1 publication Critical patent/WO2017120650A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/08—Logistics, e.g. warehousing, loading or distribution; Inventory or stock management
    • G06Q10/087—Inventory or stock management, e.g. order filling, procurement or balancing against orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q20/00—Payment architectures, schemes or protocols
    • G06Q20/08—Payment architectures
    • G06Q20/20—Point-of-sale [POS] network systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an inventory management system based on object recognition analysis and, more specifically, an inventory management system that creates a mosaic of reconstructed images, transforms that image into a map of features and applies object recognition techniques to the feature map to perform inventory analysis.
  • Inventory control is one of the essential activities related to retail trade. Inefficient inventory management can lead to delays in stock replenishment orders, improper or confusing display of products at points of sale, or even complete stockouts.
  • the most widespread inventory management systems usually involve manual labor, where an employee is assigned to periodically check products on display at points of sale and products in stock, generating data for the preparation of planograms and reports of control.
  • planograms are graphical representations of articles (products) on gondolas or shelves. These representations are used for planning the products on display in the point of sale in order to manage product sales and replacements.
  • US2003 / 0154141 shows an image recognition based inventory management system.
  • video cameras are installed in the aisles of the point of sale to transmit data about the products on display.
  • the cameras are linked with image recognition software that recognizes the missing or low quantity products and allows a planogram of the displayed products to be updated.
  • Communication between the cameras and the processing computer is via a LAN or a WAN network.
  • a central computer further includes a database of stored images of all or more point-of-sale products.
  • PI 0816173-9 describes a planogram extraction method based on image processing.
  • one or more image capture devices are installed in inventory environments, object recognition analysis is performed on the captured image, and a planogram is extracted based on the image recognition data.
  • a first of these drawbacks is related to analysis of the image captured at points of sale. For the recognition analysis to be performed, it is necessary that the image captured by the cameras at the point of sale allows the viewing of the articles on shelves or gondolas.
  • Another drawback present in object recognition based inventory management systems is related to the transmission of image data.
  • object recognition analysis should be performed on high resolution images, which by definition are heavy images for transmission and processing.
  • the present invention achieves the above objectives by means of an image recognition-based inventory management system comprising a tessellation device arranged in an inventory environment, the tessellation device being configured. to continuously capture image frames from a display device with a plurality of articles, analyze a series of image frames captured at different time points, and create reconstructed image tiles from parts of the analyzed frames, the tiles representing the state actual of the articles on the display device at different times of time, even if obstructed or with flow of people ahead;
  • an object recognition analysis subsystem that performs object recognition analysis on generated feature maps and uses the generated data to provide inventory information.
  • the tessellation device may further include a means for compressing the reconstructed image mosaics prior to their sending to the feature map generator, and a means for transmitting the compressed tiles to the feature map generator.
  • image frame analysis is a block analysis of frame pixels in YUV format, and the compression of the tiles is made with a codec that works with the YUV format.
  • the present invention also contemplates an image recognition based inventory management system, wherein the mosaic maker is configured to continuously capture image frames from a display device with a plurality of articles, analyzing a series image frames captured at different time points, identify possible events of interest at each time point; create mosaics of reconstructed images from parts of the analyzed frames, the mosaics representing the actual state of the articles on the display device at different time points; where the mosaic created for a given time is associated with metadata with information about possible events of interest identified for that time.
  • the feature map generator uses reconstructed image tiles and associated metadata to generate feature maps that represent the actual state of the articles on the display device at the given time point.
  • the object recognition analysis subsystem performs object recognition analysis on the generated feature maps and uses the generated data to provide inventory information.
  • Events of interest may include information about changes in the actual state of articles or information about obstructions in front of articles.
  • object recognition analysis can be optimized based on information about events of interest.
  • the present invention also contemplates an inventory recognition based inventory management method comprising the steps of:
  • Figure 1 is a schematic illustration of an image recognition based inventory management system in accordance with one embodiment of the present invention.
  • FIG. 2 is a schematic flowchart of the image recognition based inventory management system in accordance with one embodiment of the present invention
  • Figure 3 is a schematic flowchart of the image recognition based inventory management system according to a second embodiment of the present invention.
  • Figure 4 is a schematic illustration of the logic underlying the image management device of the inventory management system of the present invention.
  • Figure 5 is a schematic illustration of the reconstructed image mosaic used by the inventory management system of the present invention.
  • Figure 6 is an illustrative example of a feature map used by the inventory management system of the present invention.
  • Figure 1 is a schematic illustration of an inventory management system according to the present invention.
  • FIG. 10 The figure schematically illustrates an article display device 10 at a point of sale, with a consumer 1 1 next to display device 10. Items or products 12 are arranged on display device 10.
  • shelf 10 is illustrated, the present invention could be used with any kind of packaging or display means for articles or products, such as gondolas, refrigerators, carton displays and others.
  • the present invention is exemplarily described herein in relation to display of sales products, it should be noted that the device and method of the present invention may be applied to any inventory management system where articles are packaged in devices. such as industrial inventory inventories or spare parts inventories.
  • one or more mosaic making devices 20 are arranged at the point of sale. Although the figure schematically illustrates only one device 20, it should be understood that a single point of sale environment may include a plurality of mosaic making devices 20.
  • the mosaic making device 20 may be statically fixed to a point in the environment or may be on fixed or movable support means.
  • the moisaic circling device 20 comprises a sequential image capturing means, a processing unit, a processing RAM memory, mosaic transmission means and a storage medium which stores the operating system and processing software.
  • the image capture medium may be, for example, a USB camera, a lementary metal oxide semiconductor (CMOS) sensor or a charged coupled device (CCD) with a control coupling module, or any other suitable means of sequential image capture.
  • CMOS lementary metal oxide semiconductor
  • CCD charged coupled device
  • the processing unit may be a low power CPU, such as an ARMv7 architecture CPU. Of course, similar low power processing units could also be used.
  • Mosaic transmission media may comprise, for example, ethernet card, cable, or Wi-Fi module, or wireless media.
  • the storage device may be, for example, an SSD card or similar storage devices or media.
  • Mosaic device 20 creates reconstructed image mosaics which indicate the actual state of the articles 12 on shelf 10 (reconstructed background mosaic) for certain times of time.
  • Mosaic 21 is sent to a processing system that includes a feature map generator or feature maps 30 for creating a feature map 31.
  • feature maps are maps that extract visual features from an image, such as color, shape and texture, borders, lines, and index such features.
  • Feature maps are common in content-based image retrieval systems (SRIBCs) or image analysis systems for understanding the environment (3D map extraction, motion detection, change detection).
  • the created feature maps are then sent to a feature map server 32 and are accessed for performing object recognition analyzes that will enable inventory and inventory breakdown analyzes.
  • the object recognition analysis processing subsystem comprises inventory analysis 40 and inventory rupture analysis servers 50.
  • the system further comprises a base 60.
  • Analysis servers 40, 50, and database 60 are accessible by users 70.
  • Figure 2 shows a schematic flowchart of the steps performed by the system according to a first embodiment of the present invention.
  • Mosaic device 20 continuously captures image frames from articles 12 and shelf 10, analyzes a series of image frames captured at different times, and creates, using parts of the frames captured at different times, mosaics of reconstructed images representing the actual state of articles 12 on the display device for each moment in time.
  • the actual state of articles 12 means the actual representation of articles 12 on shelf 10 for the mosaic reference time, even if the picture frame actually captured for that time has obstructions as people or fixed or moving objects.
  • the mosaic maker 20 further includes means for compressing the created tiles and means for sending the compressed data, for example by wireless transmission, to the feature map generator ( feature maps).
  • the remote processing unit includes the feature map generator and the object recognition analysis subsystem.
  • Feature map generator 30 utilizes the reconstructed image tiles to generate feature maps that represent the actual state of the articles on the display device at the given time point.
  • the object recognition analysis subsystem performs object recognition analysis on the generated feature maps and uses the generated data to provide inventory information.
  • FIG. 3 shows a second embodiment of the present invention, wherein the mosaic maker is further configured to identify possible events of interest at each time point.
  • the mosaic created for a given moment of time can be associated with metadata with information about possible events of interest identified for that moment of time.
  • Events of interest may include information about changes in the actual state of articles or information about obstructions in front of articles.
  • feature maps generated by the feature map generator are also associated with events of interest, and object recognition analysis can be optimized based on information about events of interest.
  • Figure 4 is a schematic flowchart showing the logic used by device 20 for creating the mosaic and identifying the events of interest.
  • the mosaic maker 20 captures, in real time, a series of picture frames at different times in time from shelf 10 with articles 12.
  • the series of picture frames along the time is shown in figure 4 as t1, t2, t3, t4, t5 and t6, where tn is the capture time. Note that tn can continue indefinitely as picture frames are captured continuously.
  • the device of the present invention is capable of capturing a large number of frames in a time interval, which allows the mosaic in a given Tn to be created from the temporal analysis of a large number of frames.
  • the number of frames analyzed for creating a mosaic for a captured series will depend on the processing capacity available on the mosaic maker 20.
  • t2 time-captured picture frame t2, where article a1 present at t1 is not present on the shelf;
  • t3 image frame captured at time t3, where article a1 is still missing;
  • t4 picture frame captured at time t4, where article a1 is still missing but part of the background is obstructed by the presence of a person;
  • t5 picture frame captured at time t5, where part of the background is obstructed by the presence of a person and where it is not possible to know whether article a1 is present or absent;
  • t6 Image frame captured at time t6, where it can be seen that article a1 is still missing and article a2, which was present at t4 and obstructed at t5, is missing.
  • An algorithm is used to do a pixel block analysis of the sequence of images.
  • the images are worked in YUV format.
  • the algorithm used can identify changes in the background and the permanence or not of those changes during that analyzed series.
  • the algorithm can realize that: there was a change in the background of the image (shelf + articles) between t1 and t2; whereas although there is an obstruction by one person at t4, there was no change in the background of the image between t4 and t3; and although it has an obstruction by one person at t5, there was a change in the background between t4 and t5.
  • the processing medium of the device of the present invention is capable of analyzing a frame series of images captured at different time points tn-, tn, tn +, where tn is a reference time moment, tn- moments of time in the past and tn + are moments of time in the future.
  • the image mosaic is constructed from the reproduction of blocks of background elements that present changes in the series of frames captured at times tn-; and including background blocks that have shown changes in time tn, provided that such background blocks show no change from background blocks in frames captured at times tn +.
  • the mosaic was reconstructed using the block of changes identified in the image captured at time t2 and the block of changes identified in time t5 (note that this block of background elements shows no changes from t6).
  • the person causing obstruction is not present. That is, the mosaic is not the picture frame captured at t5, but rather a representation of the actual condition of the articles 12 on shelf 10 at time t5.
  • Such a background representation in t5 is impossible to capture directly by a simple camera, as it has background obstructions, so only with the generation of a reconstituted background mosaic can this moment be correctly observed or analyzed in the timeline.
  • mosaic 21 created for time t5 contains background blocks that can be generated from image frames captured at different times. In this way, each tile block contains unobstructed, non-moving background elements. Therefore, the mosaic created for time t5 is not an image at time t5 but a reconstruction of the background elements from blocks originating from different frames captured at different times.
  • the mosaic maker creates metadata with information about these possible events of interest: changes in background elements or movements and shapes in front of that background (eg, people passing, obstructions by objects, etc.).
  • device 20 creates mosaic blocks M2, M4,
  • device 20 has means for compressing these created tiles by considering metadata information. This allows a reduction in processing capacity, which allows for a reduction in costs and time.
  • Mosaic compression is preferably performed by an image compression codec that works with YUV pixels. This feature allows a saving in the processing power needed by the mosaic maker 20, since the previous step already works with data. YUV format, avoiding the conversion of a large volume of data.
  • Metadata mosaics with information of possible events of interest are used for feature map extraction, as discussed in relation to Figure 1.
  • An example of a feature map is given in Figure 6, where a map is represented. of characteristics for the mosaic created for reference time t2.
  • the system of the present invention provides a reduction in the required processing power, faster and more efficient object recognition analysis.
  • the system utilizes wireless transmission from the mosaic maker 20 to a wifi router, internet transmission - by capo or 4G, for example, to a cloud server or remote from the analysis subsystem.
  • the present invention may utilize techniques known as SIFT (Scale-invariant feature transform) and SURF (Speeded up robust features). As known to those skilled in the art, these techniques allow the extraction of features from the mosaic.
  • SIFT Scale-invariant feature transform
  • SURF Speeded up robust features
  • the present invention may use a system based on neural networks, such as Deep Neural Network techniques, for example in the manner discussed by “Szegedy, Roshev and Erhan in the article. "Deep Neural Networks for Object Detection” (http: // papers. Nips.
  • Neocognitron A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position
  • http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushim a1980.pdf incorporated herein by reference.
  • a plurality of feature map object recognition techniques could be used within the context of the present invention.
  • These prior art solutions basically comprise learning processes, supervised or not, which allow objects to be recognized in the analyzed feature map.
  • the present invention makes it possible, through the metadata associated with the generated mosaic, that object recognition analysis on the feature map is performed only in areas with change indication, which saves processing capacity, reducing operating costs and the processing time.

Abstract

The present invention relates to an image recognition-based inventory management system which comprises a mosaic creation device (20) disposed in an inventory environment, said mosaic creation device being configured to continuously capture image frames of a display device (10) and to create mosaics of reconstructed images, representing the actual state of the articles (12) in the display device (10) at different moments in time; a characteristics map generator which uses the reconstructed image mosaics to generate characteristics maps which represent the actual state of the articles (12) in the display device (10) at specific moments in time; and an object recognition analysis subsystem which carries out object recognition analysis on the characteristics maps generated and uses the data generated to provide inventory information.

Description

"SISTEMA E MÉTODO DE GESTÃO DE INVENTÁRIO BASEADO EM ANÁLISE DE RECONHECIMENTO DE OBJETO"  "INVENTORY MANAGEMENT SYSTEM AND METHOD BASED ON OBJECT RECOGNITION ANALYSIS"
CAMPO DA INVENÇÃO FIELD OF INVENTION
[001 ] A presente invenção refere-se a um sistema de gestão de inventário baseado em análise de reconhecimento de objetos e, mais especificamente, em um sistema de gestão de inventário que cria um mosaico de imagens reconstruídas, transforma essa imagem em um mapa de características e aplica técnicas de reconhecimento de objeto no mapa de características para realizar a análise de inventário.  The present invention relates to an inventory management system based on object recognition analysis and, more specifically, an inventory management system that creates a mosaic of reconstructed images, transforms that image into a map of features and applies object recognition techniques to the feature map to perform inventory analysis.
FUNDAMENTOS DA INVENÇÃO BACKGROUND OF THE INVENTION
[002] O controle de inventário é uma das atividades essenciais relacionadas ao comércio varejista. Uma gestão ineficiente do inventário pode levar a atrasos em pedidos de reposição de estoque, a uma exibição inadequada ou confusa dos produtos nos pontos de venda, ou mesmo à completa ruptura de estoque.  [002] Inventory control is one of the essential activities related to retail trade. Inefficient inventory management can lead to delays in stock replenishment orders, improper or confusing display of products at points of sale, or even complete stockouts.
[003] Para o comércio varejista, problemas no estoque podem gerar aumento de custos relacionados à reposição (pedidos atrasados / desnecessários e desequilíbrios de estoque), perda de receita pela falta do produto desejado pelo consumidor ou um aspecto desleixado de loja, com prateleiras vazias ou sem diversidade de produtos. [003] For retailers, inventory issues can lead to increased replacement costs (late / unnecessary orders and stock imbalances), loss of revenue due to lack of consumer desired product, or a sloppy store aspect with empty shelves. or no product diversity.
[004] Para o fornecedor, a ausência de seu produto no ponto de venda pode afetar o comportamento ou fidelidade do consumidor - que pode optar pela compra de outra marca - e atrapalhar esforços de marketing ligados ao layout de exibição de produtos no ponto de venda. De modo similar, a falta de controle sobre o inventário pode levar a um planejamento logístico ineficiente, baseado em informações de vendas / estoque erróneas.  [004] For the supplier, the absence of their product at the point of sale may affect consumer behavior or loyalty - which may choose to buy another brand - and disrupt marketing efforts linked to the point of sale product display layout. . Similarly, lack of inventory control can lead to inefficient logistics planning based on erroneous sales / inventory information.
[005] Os sistemas mais difundidos de gestão de inventário geralmente envolvem um trabalho manual, onde um funcionário é designado para fazer checagens periódicas dos produtos em exibição nos pontos de venda e dos produtos em estoque, gerando dados para a elaboração de planogramas e relatórios de controle.  The most widespread inventory management systems usually involve manual labor, where an employee is assigned to periodically check products on display at points of sale and products in stock, generating data for the preparation of planograms and reports of control.
[006] Como sabido por aqueles técnicos no assunto, planogramas são representações gráficas de artigos (produtos) em gôndolas ou prateleiras. Essas representações são usadas para o planejamento dos produtos em exibição no ponto de venda, com o objetivo de gerenciar as vendas e reposições dos produtos. As known to those skilled in the art, planograms are graphical representations of articles (products) on gondolas or shelves. These representations are used for planning the products on display in the point of sale in order to manage product sales and replacements.
[007] Esse controle de estoque manual vem se mostrando ineficiente: além de ser um procedimento lento e laborioso, não produz os resultados esperados. Para que os relatórios gerados por checagem manual representassem a realidade, teriam que ser alocados funcionários suficientes para checagem de todo o ponto de venda em intervalos de tempo muito pequenos. Naturalmente, esse tipo de procedimento de checagem é inviável. [007] This manual inventory control has been shown to be inefficient: besides being a slow and laborious procedure, it does not produce the expected results. For hand-generated reporting to come true, enough staff would have to be allocated to check the entire point of sale at very short intervals. Of course, this type of check procedure is not feasible.
[008] Além disso, ainda que fosse possível esse procedimento de checagem ótimo, o tempo decorrido entre a verificação física do ponto de venda, o processamento das informações recolhidas com as informações de estoque, a geração de relatórios e a análise dos relatórios já seria superior ao tempo ideal para tomadas de decisão dinâmicas.  In addition, even if this optimal check procedure were possible, the time elapsed between physical point-of-sale verification, processing of information gathered with inventory information, reporting, and analysis of reports would already be greater than ideal time for dynamic decision making.
[009] Tendo em vista os inconvenientes mencionados acima, estão sendo desenvolvidas soluções automatizadas para gestão de inventário, geralmente baseadas em técnicas de reconhecimento de imagens captadas no ponto de venda.  In view of the drawbacks mentioned above, automated inventory management solutions are being developed, generally based on point-of-sale image recognition techniques.
[010] O documento US2003/0154141 , por exemplo, mostra um sistema de gestão de inventário baseado em reconhecimento de imagem. Nesse sistema, câmeras de vídeo são instaladas nos corredores do ponto de venda para transmitir dados sobre os produtos em exibição. As câmeras são ligadas a um software de reconhecimento de imagem que reconhece os produtos que estão faltando ou em baixa quantidade e permite que um planograma dos produtos em exibição seja atualizado. A comunicação entre as câmeras e o computador de processamento é realizada por uma rede LAN ou uma rede WAN. Para que o reconhecimento de imagem seja possível, um computador central inclui ainda uma base de dados com imagens armazenadas de todos ou mais produtos do ponto de venda.  [010] US2003 / 0154141, for example, shows an image recognition based inventory management system. In this system, video cameras are installed in the aisles of the point of sale to transmit data about the products on display. The cameras are linked with image recognition software that recognizes the missing or low quantity products and allows a planogram of the displayed products to be updated. Communication between the cameras and the processing computer is via a LAN or a WAN network. For image recognition to be possible, a central computer further includes a database of stored images of all or more point-of-sale products.
[01 1 ] O documento PI 0816173-9 descreve um método de extração de planograma baseado em processamento de imagem. Para a implementação do método, um ou mais dispositivos de captura de imagens são instalados nos ambientes de inventário, análise de reconhecimento de objetos é realizada na imagem capturada e um planograma é extraído com base nos dados de reconhecimento de imagem. [01 1] PI 0816173-9 describes a planogram extraction method based on image processing. For the implementation of the method, one or more image capture devices are installed in inventory environments, object recognition analysis is performed on the captured image, and a planogram is extracted based on the image recognition data.
[012] Embora as soluções acima sejam uma evolução em relação ao controle manual de inventário, os sistemas de gestão baseados em reconhecimento de imagem apresentam alguns inconvenientes. [012] Although the above solutions are an evolution of control inventory manual, image recognition based management systems have some drawbacks.
[013] Um primeiro desses inconvenientes está relacionado às análises da imagem capturada em pontos de venda. Para que a análise de reconhecimento possa ser realizada, é necessário que a imagem capturada pelas câmeras no ponto de venda permita a visualização dos artigos nas prateleiras ou gôndolas.  [013] A first of these drawbacks is related to analysis of the image captured at points of sale. For the recognition analysis to be performed, it is necessary that the image captured by the cameras at the point of sale allows the viewing of the articles on shelves or gondolas.
[014] Como corredores de supermercados, ou outros comércios, são locais de movimento com constante trânsito de consumidores ou funcionários, existe uma alta probabilidade das imagens capturadas terem obstruções que impedem a visualização dos produtos. [014] Because supermarket aisles, or other trades, are moving places with constant traffic from consumers or employees, there is a high likelihood that captured images will have obstructions that prevent viewing of products.
[015] Esse inconveniente leva à necessidade de uma seleção prévia de imagens que serão utilizadas para reconhecimento ou à necessidade de que a imagem capturada seja trabalhada para limpeza ou correção da imagem capturada.  [015] This inconvenience leads to the need for pre-selection of images that will be used for recognition or the need for the captured image to be worked out to clean or correct the captured image.
[016] Na tentativa de solucionar esse problema, o método do documento PI 0816173-9 menciona a possibilidade de, durante a análise da imagem, realizar a detecção de obstruções na imagem - várias técnicas de detecção de obstrução são citadas no documento - e descartar ou ignorar a imagem ou parte da imagem que apresenta a obstrução. [016] In an attempt to solve this problem, the method of document PI 0816173-9 mentions the possibility that during image analysis detecting image obstruction - various obstruction detection techniques are cited in the document - and discarding or ignore the image or part of the image that has the obstruction.
[017] Um outro inconveniente presente nos sistemas de gestão de inventário baseados em reconhecimento de objetos está relacionado à transmissão de dados de imagem.  [017] Another drawback present in object recognition based inventory management systems is related to the transmission of image data.
[018] Os sistemas conhecidos envolvem a transmissão de imagens capturadas no ponto de venda para servidores de análise de imagens. Geralmente, é desejável que os dispositivos de captura de imagem sejam sem fio e que as imagens sejam transmitidas ao servidor de análise por redes sem fio, como, por exemplo, redes Wi-Fi ou demais redes com protocolo de internet. Nesse sentido, vale mencionar que as redes sem fio costumam ser menos eficientes que redes a cabo, seja por maiores inteferências, seja por menor capacidade de transmissão.  [018] Known systems involve the transmission of images captured at the point of sale to image analysis servers. It is generally desirable for image capture devices to be wireless and for images to be transmitted to the analysis server over wireless networks, such as Wi-Fi or other internet protocol networks. In this sense, it is worth mentioning that wireless networks are usually less efficient than cable networks, either because of greater interference or lower transmission capacity.
[019] Como sabido por aqueles versados na técnica, a análise de reconhecimento de objetos deve ser realizada em imagens de alta resolução, que, por definição, são imagens pesadas para transmissão e processamento. As known to those skilled in the art, object recognition analysis should be performed on high resolution images, which by definition are heavy images for transmission and processing.
[020] A transmissão de imagens pesadas gera uma pressão sobre os links de upload da rede. Assim, acaba sendo criado um limite na quantidade de imagens e quadros que o link de upload pode suportar, o que impõe restrições na quantidade de imagens que será de fato objeto na análise de reconhecimento. Ou seja, ainda que o dispositivo de captura de imagens possa capturar imagens em cada segundo das 24 horas de um dia, é imposto um limite natural à quantidade de imagens que podem ser realmente enviadas para a análise de reconhecimento de objeto. [020] Heavy image transmission puts pressure on network upload links. Thus, a limit is created on the amount of images and frames that the upload link can support, which imposes restrictions on the amount of images that will actually be subject to recognition analysis. That is, while the image capture device can capture images every second of the 24 hours of a day, a natural limit is imposed on the amount of images that can actually be sent for object recognition analysis.
[021 ] Outro inconveniente dos sistemas de gestão de inventário baseados em reconhecimento de objetos em imagens é a necessidade de respeitar a privacidade de consumidores. De fato, alguns países possuem legislações que impedem que estabelecimentos obtenham imagens de consumidores para qualquer outro fim que não seja exclusivamente para monitoramento de segurança. Além de existirem também restrições quanto ao tempo máximo de armazenamento de imagens ou dados que ferem a privacidade de consumidores.  [021] Another drawback of inventory management systems based on object recognition in images is the need to respect consumer privacy. In fact, some countries have laws that prevent establishments from obtaining consumer images for any purpose other than for security monitoring alone. In addition, there are also restrictions on the maximum storage time for images or data that harms consumer privacy.
[022] Assim, a legislação impede que uma imagem capturada em ponto de venda que mostre um consumidor no corredor ou próximo a uma gôndola ou prateleira seja enviada a um servidor de análise de imagem. Esse tipo de impedimento legal torna inaplicável algumas das soluções conhecidas da técnica. [022] Thus, legislation prevents a point-of-sale captured image showing a consumer in the aisle or near a gondola or shelf from being sent to an image analysis server. This kind of legal impediment renders inapplicable some of the solutions known in the art.
[023] Ainda outro dos inconvenientes dos sistemas de gestão de inventários automatizados conhecidos está na alta capacidade de processamento dos dispositivos de processamento (CPUs) utilizados. Como sabido por aqueles versados na técnica, a análise de imagens de alta resolução requer uma alta capacidade de processamento. Essa alta capacidade de processamento torna impraticável uma geração e análise contínua de imagens, já que o custo de processamento de imagens continuamente capturadas seria proibitivo. Still another drawback of known automated inventory management systems is the high processing capacity of the processing devices (CPUs) used. As is well known to those skilled in the art, high resolution image analysis requires high processing power. This high processing capacity makes continuous image generation and analysis impractical, as the cost of processing continuously captured images would be prohibitive.
OBJETIVOS DA INVENÇÃO OBJECTIVES OF THE INVENTION
[024] É um dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos que resolve os problemas relacionados ao estado da técnica.  It is an object of the present invention to provide an object recognition based inventory management system that solves problems related to the state of the art.
[025] É outro dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos que trabalha com arquivos de dados em tamanho adequado para tráfego de internet.  It is another object of the present invention to provide an object recognition based inventory management system that works with data files of adequate size for internet traffic.
[026] É ainda outro dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos que é capaz de realizar análise em dados de inventário continuamente obtidos. It is still another object of the present invention to provide an object recognition based inventory management system that is capable of perform analysis on continuously obtained inventory data.
[027] É mais um dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos que permite trabalhar em dados sobre a movimentação de consumidores em um ponto de venda sem ferir os direitos de privacidade dos consumidores.  [027] It is another object of the present invention to provide an object recognition based inventory management system that allows working on consumer movement data at a point of sale without harming consumer privacy rights.
[028] É outro dos objetivos da presente invenção proporcionar um sistema de gestão de inventário baseado em reconhecimento de objetos, onde a análise de reconhecimento de objeto pode ser feita de maneira otimizada, sem requerer uma alta capacidade de processamento computacional.  [028] It is another object of the present invention to provide an object recognition based inventory management system, where object recognition analysis can be optimally performed without requiring high computational processing capacity.
BREVE DESCRIÇÃO DA INVENÇÃO  BRIEF DESCRIPTION OF THE INVENTION
[029] A presente invenção atinge os objetivos acima através de um sistema de gestão de inventário baseado em reconhecimento de imagem, que compreende [030] um dispositivo de criação de mosaico disposto em um ambiente de inventário, o dispositivo de criação de mosaico sendo configurado para capturar continuamente quadros de imagem de um dispositivo de exibição com uma pluralidade de artigos, analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, e criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos no dispositivo de exibição nos diferentes momento de tempo, mesmo que obstruídos ou com fluxo de pessoas à frente;  [029] The present invention achieves the above objectives by means of an image recognition-based inventory management system comprising a tessellation device arranged in an inventory environment, the tessellation device being configured. to continuously capture image frames from a display device with a plurality of articles, analyze a series of image frames captured at different time points, and create reconstructed image tiles from parts of the analyzed frames, the tiles representing the state actual of the articles on the display device at different times of time, even if obstructed or with flow of people ahead;
[031 ] um gerador de mapas de características que utiliza os mosaicos de imagens reconstruídas para gerar mapas de características que representam o estado real dos artigos no dispositivo de exibição nos determinados momento de tempo; e  [031] a feature map generator using reconstructed image tiles to generate feature maps representing the actual state of the articles on the display device at the given time point; and
[032] um subsistema de análise de reconhecimento de objetos que realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário.  [032] an object recognition analysis subsystem that performs object recognition analysis on generated feature maps and uses the generated data to provide inventory information.
[033] O dispositivo de criação de mosaico pode incluir ainda um meio para comprimir os mosaicos de imagens reconstruídas antes de seu envio para o gerador de mapas de características, e um meio para transmitir os mosaicos comprimidos ao gerador de mapas de características.  [033] The tessellation device may further include a means for compressing the reconstructed image mosaics prior to their sending to the feature map generator, and a means for transmitting the compressed tiles to the feature map generator.
[034] Preferencialmente, a análise de quadros de imagem é uma análise de blocos de pixels de quadros em formato YUV, e a compressão dos mosaicos é feita com um codec que trabalha com o formato YUV. Preferably, image frame analysis is a block analysis of frame pixels in YUV format, and the compression of the tiles is made with a codec that works with the YUV format.
[035] A presente invenção também contempla um sistema de gestão de inventário baseado em reconhecimento de imagem, em que o dispositivo de criação de mosaico é configurado para capturar continuamente quadros de imagem de um dispositivo de exibição com uma pluralidade de artigos, analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, identificar possíveis eventos de interesse em cada momento de tempo; criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos no dispositivo de exibição nos diferentes momento de tempo; em que o mosaico criado para um determinado momento de tempo é associado a um metadado com informações sobre possíveis eventos de interesse identificados para aquele momento de tempo.  [035] The present invention also contemplates an image recognition based inventory management system, wherein the mosaic maker is configured to continuously capture image frames from a display device with a plurality of articles, analyzing a series image frames captured at different time points, identify possible events of interest at each time point; create mosaics of reconstructed images from parts of the analyzed frames, the mosaics representing the actual state of the articles on the display device at different time points; where the mosaic created for a given time is associated with metadata with information about possible events of interest identified for that time.
[036] O gerador de mapas de características utiliza os mosaicos de imagens reconstruídas e os metadados associados para gerar mapas de características que representam o estado real dos artigos no dispositivo de exibição nos determinados momento de tempo. [036] The feature map generator uses reconstructed image tiles and associated metadata to generate feature maps that represent the actual state of the articles on the display device at the given time point.
[037] O subsistema de análise de reconhecimento de objetos realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário.  [037] The object recognition analysis subsystem performs object recognition analysis on the generated feature maps and uses the generated data to provide inventory information.
[038] Os eventos de interesse podem incluir informações sobre mudanças no estado real dos artigos ou informações sobre obstruções na frente dos artigos.  [038] Events of interest may include information about changes in the actual state of articles or information about obstructions in front of articles.
[039] Assim, a análise de reconhecimento de objeto pode ser otimizada com base nas informações sobre eventos de interesse. [039] Thus, object recognition analysis can be optimized based on information about events of interest.
[040] As demais vantagens do sistema da presente invenção ficarão evidentes a partir da descrição detalhada de exemplos de concretizações mostrados nas figuras.  The further advantages of the system of the present invention will be apparent from the detailed description of exemplary embodiments shown in the figures.
[041 ] A presente invenção também contempla um método de gestão de inventário baseado em reconhecimento deimagem, que compreende as etapas de:  [041] The present invention also contemplates an inventory recognition based inventory management method comprising the steps of:
[042] capturar conitnuamente quadros de imagem de um dispositivo de exibição com uma pluralidade de artigos, [042] concomitantly capturing image frames from a display device with a plurality of articles,
[043] analisar uma série de quadros de imagem capturados em momentos de tempo diferentes,  [043] analyze a series of image frames captured at different times in time,
[044] criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos no dispositivo de exibição nos diferentes momento de tempo; [044] create mosaics of reconstructed images from parts of paintings analyzed, the mosaics representing the actual state of the articles on the display device at different time points;
[045] gerar mapas de características que representam o estado real dos artigos no dispositivo de exibição nos determinados momento de tempo;  [045] generate feature maps representing the actual state of the articles on the display device at the given time point;
[046] realizar análise de reconhecimento de objeto nos mapas de características gerados; e [046] perform object recognition analysis on the generated feature maps; and
[047] utilizar os dados gerados para fornecer informações de inventário.  [047] use the generated data to provide inventory information.
BREVE DESCRIÇÃO DOS DESENHOS BRIEF DESCRIPTION OF DRAWINGS
[048] A presente invenção será descrita a seguir com mais detalhes, com referências aos desenhos anexos, nos quais:  [048] The present invention will be described in more detail below with reference to the accompanying drawings in which:
[049] Figura 1 - é uma ilustração esquemática de um sistema de gestão de inventário baseado em reconhecimento de imagem de acordo com uma concretização da presente invenção;  [049] Figure 1 is a schematic illustration of an image recognition based inventory management system in accordance with one embodiment of the present invention;
[050] Figura 2 - é um fluxograma esquemático do sistema de gestão de inventário baseado em reconhecimento de imagem de acordo com uma concretização da presente invenção;  Figure 2 is a schematic flowchart of the image recognition based inventory management system in accordance with one embodiment of the present invention;
[051 ] Figura 3 - é uma fluxograma esquemático do sistema de gestão de inventário baseado em reconhecimento de imagem de acordo com uma segunda concretização da presente invenção;  [051] Figure 3 is a schematic flowchart of the image recognition based inventory management system according to a second embodiment of the present invention;
[052] Figura 4 - é uma ilustração esquemática da lógica subjacente ao dispositivo de criação de mosaico de imagem do sistema de gestão de inventário da presente invenção;  [052] Figure 4 is a schematic illustration of the logic underlying the image management device of the inventory management system of the present invention;
[053] Figura 5 - é uma ilustração esquemática do mosaico de imagens reconstruídas utilizado pelo sistema de gestão de inventário da presente invenção; e  [053] Figure 5 is a schematic illustration of the reconstructed image mosaic used by the inventory management system of the present invention; and
[054] Figura 6 - é um exemplo ilustrativo de um mapa de características utilizado pelo sistema de gestão de inventário da presente invenção.  [054] Figure 6 is an illustrative example of a feature map used by the inventory management system of the present invention.
DESCRIÇÃO DETALHADA DA INVENÇÃO DETAILED DESCRIPTION OF THE INVENTION
[055] A presente invenção será descrita a seguir com base em exemplos de concretizações mostrados nas figuras.  [055] The present invention will be described below based on examples of embodiments shown in the figures.
[056] A figura 1 é uma ilustração esquemática de um sistema de gestão de inventário de acordo com a presente invenção.  [056] Figure 1 is a schematic illustration of an inventory management system according to the present invention.
[057] A figura ilustra esquematicamente um dispositivo de exibição de artigos 10 em um ponto de venda, com um consumidor 1 1 próximo ao dispositivo de exibição 10. Artigos ou produtos 12 são dispostos no dispositivo de exibição 10. [057] The figure schematically illustrates an article display device 10 at a point of sale, with a consumer 1 1 next to display device 10. Items or products 12 are arranged on display device 10.
[058] Deve ser notado que embora uma prateleira 10 seja ilustrada, a presente invenção poderia ser utilizada com qualquer tipo de meio de acondicionamento ou exibição de artigos ou produtos, como, por exemplo, gôndolas, refrigeradores, displays cartonados e outros. It should be noted that although a shelf 10 is illustrated, the present invention could be used with any kind of packaging or display means for articles or products, such as gondolas, refrigerators, carton displays and others.
[059] Além disso, embora a presente invenção seja aqui exemplificativamente descrita em relação à exibição de produtos de venda, deve ser ressaltado que o dispositivo e método da presente invenção podem ser aplicados a qualquer sistema de gestão de inventário onde artigos fiquem acondicionados em dispositivos de exibição, como, por exemplo, em inventários de estoque de industrias ou inventários de peças de reposição.  Furthermore, while the present invention is exemplarily described herein in relation to display of sales products, it should be noted that the device and method of the present invention may be applied to any inventory management system where articles are packaged in devices. such as industrial inventory inventories or spare parts inventories.
[060] Voltando à figura 1 , um ou mais dispositivos de criação de mosaico 20 são dispostos no ponto de venda. Ainda que a figura ilustre esquematicamente apenas um dispositivo 20, deve ser entendido que um único ambiente do ponto de venda pode incluir uma pluralidade de dispositivos de criação de mosaico 20.  [060] Turning to Figure 1, one or more mosaic making devices 20 are arranged at the point of sale. Although the figure schematically illustrates only one device 20, it should be understood that a single point of sale environment may include a plurality of mosaic making devices 20.
[061 ] Além disso, deve ser entendido que o dispositivo de criação de mosaico 20 pode estar estaticamente fixado a um ponto do ambiente ou poder estar sobre meios de suportes fixos ou móveis. [061] In addition, it should be understood that the mosaic making device 20 may be statically fixed to a point in the environment or may be on fixed or movable support means.
[062] Em uma concretização da presente invenção, o dispositivo de de ciração de moisaico 20 compreende um meio de captua de imagens em sequencia, uma unidade de processamento, uma memorio RAM de processamento, meios para transmissão dos mosaicos e um meio de armazenamento que armazena o sistema operacional e o software de processamento.  [062] In one embodiment of the present invention, the moisaic circling device 20 comprises a sequential image capturing means, a processing unit, a processing RAM memory, mosaic transmission means and a storage medium which stores the operating system and processing software.
[063] O meio de captura de imagem pode ser, por exemplo, uma câmera USB, um sensor CMOS (com lementary metal oxide semiconductor) ou CCD (charged coupled device) com um módulo de acoplamento de controle, ou qualquer outro meio adequado de captura de imagens em sequencia.  [063] The image capture medium may be, for example, a USB camera, a lementary metal oxide semiconductor (CMOS) sensor or a charged coupled device (CCD) with a control coupling module, or any other suitable means of sequential image capture.
[064] A unidade de processamento pode ser uma CPU de baixo consumo, como, por exemplo, uma CPU de arquitetura ARMv7. Naturalmente, unidades de processamento de baixo consumo similares poderiam ser igualmente utilizadas.  [064] The processing unit may be a low power CPU, such as an ARMv7 architecture CPU. Of course, similar low power processing units could also be used.
[065] Os meios de transmissão do mosaico podem compreender por exemplo, placa ethernet, cabo, ou módulo Wi-Fi, ou meios wireless. [066] O dispositivo de armazenamento pode ser, por exemplo, um cartão SSD ou dispositivos ou meios de armazemaneto similares. Mosaic transmission media may comprise, for example, ethernet card, cable, or Wi-Fi module, or wireless media. The storage device may be, for example, an SSD card or similar storage devices or media.
[067] O dispositivo de criação de mosaico 20 cria mosaicos de imagens reconstruídas que indicam o estado real dos artigos 12 na prateleira 10 (mosaico de fundo reconstruído) para determinados momentos de tempo.  [067] Mosaic device 20 creates reconstructed image mosaics which indicate the actual state of the articles 12 on shelf 10 (reconstructed background mosaic) for certain times of time.
[068] O mosaico 21 é enviado a um sistema de processamento que inclui um gerador de mapas de características ou feature maps 30 para criação de um mapa de característica 31 . [068] Mosaic 21 is sent to a processing system that includes a feature map generator or feature maps 30 for creating a feature map 31.
[069] Como sabido por aqueles versados na técnica, mapas de características ou feature maps são mapas que extraem características visuais de uma imagem, como cor, forma e textura, bordas, linhas, e indexam tais características. Mapas de características são comuns em sistemas de recuperação de imagem baseado rem conteúdo (SRIBCs) ou em sistemas de análise de imagem para entendimento do ambiente (extração de mapa 3D, detecção de movimento, detecção de mudanças).  As known to those skilled in the art, feature maps are maps that extract visual features from an image, such as color, shape and texture, borders, lines, and index such features. Feature maps are common in content-based image retrieval systems (SRIBCs) or image analysis systems for understanding the environment (3D map extraction, motion detection, change detection).
[070] Os mapas de características criados são então enviados a um servidor de mapa de características 32 e são acessados para a execução das análises de reconhecimento de objeto que permitirão as análises de inventário e de ruptura de estoque.  [070] The created feature maps are then sent to a feature map server 32 and are accessed for performing object recognition analyzes that will enable inventory and inventory breakdown analyzes.
[071 ] Como ilustrado na figura 1 , em uma concretização do sistema da presente invenção, o subsistema de processamento de análise de reconhecimento de objeto compreende servidores de análise de inventário 40 e de análise de ruptura de estoque 50. O sistema compreende ainda uma base de dados 60. Os servidores de análise 40, 50 e a base de dados de 60 podem ser acessados por usuários 70.  As illustrated in Figure 1, in one embodiment of the system of the present invention, the object recognition analysis processing subsystem comprises inventory analysis 40 and inventory rupture analysis servers 50. The system further comprises a base 60. Analysis servers 40, 50, and database 60 are accessible by users 70.
[072] A figura 2 mostra um fluxograma esquemático das etapas executadas pelo sistema de acordo com uma primeira concretização da presente invenção.  Figure 2 shows a schematic flowchart of the steps performed by the system according to a first embodiment of the present invention.
[073] O dispositivo de criação de mosaico 20 captura continuamente quadros de imagem dos artigos 12 e da prateleira 10, analisa uma série de quadros de imagem capturados em momentos de tempo diferentes, e cria, utilizando partes dos quadros capturados em tempos diferentes, mosaicos de imagens reconstruídas que representam o estado real dos artigos 12 no dispositivo de exibição para cada momento no tempo. [074] Por estado real dos artigos 12, entende-se como a representação real dos artigos 12 na prateleira 10 para o momento de tempo de referência do mosaico, mesmo que o quadro de imagem efetivamente capturado para aquele momento de tempo tenha obstruções como pessoas ou objetos fixos ou em movimento. [073] Mosaic device 20 continuously captures image frames from articles 12 and shelf 10, analyzes a series of image frames captured at different times, and creates, using parts of the frames captured at different times, mosaics of reconstructed images representing the actual state of articles 12 on the display device for each moment in time. [074] The actual state of articles 12 means the actual representation of articles 12 on shelf 10 for the mosaic reference time, even if the picture frame actually captured for that time has obstructions as people or fixed or moving objects.
[075] Deve ser ressaltado que os mosaicos são criados no dispositivo 20, antes de seu envio à unidade remota de processamento que realizará a análise de reconhecimento de objeto [075] It should be noted that tiles are created on device 20 prior to sending them to the remote processing unit that will perform object recognition analysis.
[076] Assim, em concretizações preferidas da presente invenção, o dispositivo de criação de mosaico 20 inclui ainda meios para comprimir os mosaicos criados e meios para enviar os dados comprimidos, por exemplo por transmissão sem fio, para o gerador de mapas de características (feature maps).  Thus, in preferred embodiments of the present invention, the mosaic maker 20 further includes means for compressing the created tiles and means for sending the compressed data, for example by wireless transmission, to the feature map generator ( feature maps).
[077] A unidade de processamento remota inclui o gerador de mapas de características e o subsistema análise de reconhecimento de objeto. [077] The remote processing unit includes the feature map generator and the object recognition analysis subsystem.
[078] O gerador de mapas de características 30 utiliza os mosaicos de imagens reconstruídas para gerar mapas de características que representam o estado real dos artigos no dispositivo de exibição nos determinados momento de tempo. Feature map generator 30 utilizes the reconstructed image tiles to generate feature maps that represent the actual state of the articles on the display device at the given time point.
[079] O subsistema de análise de reconhecimento de objetos realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário. [079] The object recognition analysis subsystem performs object recognition analysis on the generated feature maps and uses the generated data to provide inventory information.
[080] A figura 3 mostra uma segunda concretização da presente invenção, onde o dispositivo de criação de mosaico é configurado ainda para identificar possíveis eventos de interesse em cada momento de tempo. Assim, o mosaico criado para um determinado momento de tempo pode ser associado a um metadado com informações sobre possíveis eventos de interesse identificados para aquele momento de tempo.  [080] Figure 3 shows a second embodiment of the present invention, wherein the mosaic maker is further configured to identify possible events of interest at each time point. Thus, the mosaic created for a given moment of time can be associated with metadata with information about possible events of interest identified for that moment of time.
[081 ] Os eventos de interesse podem incluir informações sobre mudanças no estado real dos artigos ou informações sobre obstruções na frente dos artigos.  [081] Events of interest may include information about changes in the actual state of articles or information about obstructions in front of articles.
[082] Assim, os mapas de características gerados pelo gerador de mapas de características são também associados aos eventos de interesse, e a análise de reconhecimento de objeto pode ser otimizada com base nas informações sobre eventos de interesse. [082] Thus, feature maps generated by the feature map generator are also associated with events of interest, and object recognition analysis can be optimized based on information about events of interest.
[083] A figura 4 é um fluxograma esquemático mostrando a lógica utilizada pelo dispositivo 20 para a criação do mosaico e a identificação dos eventos de interesse. [083] Figure 4 is a schematic flowchart showing the logic used by device 20 for creating the mosaic and identifying the events of interest.
[084] Como mencionado anteriormente, o dispositivo de criação de mosaico 20 captura, em tempo real, uma série de quadros de imagem, em diferentes momento de tempo, da prateleira 10 com os artigos 12. A série de quadros de imagens ao longo do tempo é ilustrada na figura 4 como t1 , t2, t3, t4, t5 e t6, sendo tn o tempo de captura. Note que tn pode continuar indeterminadamente, já que os quadros de imagens são capturados continuamente.  [084] As mentioned earlier, the mosaic maker 20 captures, in real time, a series of picture frames at different times in time from shelf 10 with articles 12. The series of picture frames along the time is shown in figure 4 as t1, t2, t3, t4, t5 and t6, where tn is the capture time. Note that tn can continue indefinitely as picture frames are captured continuously.
[085] Assim, em uma concretização da presente invenção, o dispositivo captura sequências de 4 quadros por segundo, sendo T0=0s, T1 =250ms, T2=500ms, T3=750ms, T4=1 s, T5=1 s250ms, T6=1 ,5s, etc. Assim, o dispositivo da presente invenção é capaz de capturar uma grande quantidade de quadros em um intervalo de tempo, o que permite que o mosaico em determinado Tn seja criado a partir da análise temporal de uma quantidade grande de quadros.  Thus, in one embodiment of the present invention, the device captures sequences of 4 frames per second, where T0 = 0s, T1 = 250ms, T2 = 500ms, T3 = 750ms, T4 = 1s, T5 = 1s250ms, T6 = 1, 5s, etc. Thus, the device of the present invention is capable of capturing a large number of frames in a time interval, which allows the mosaic in a given Tn to be created from the temporal analysis of a large number of frames.
[086] A quantidade de quadros analisados para a criação de um mosaico para uma série capturada dependerá da capacidade de processamento disponível no dispositivo de criação de mosaico 20.  [086] The number of frames analyzed for creating a mosaic for a captured series will depend on the processing capacity available on the mosaic maker 20.
[087] Como pode ser visto na ilustração, a sequência de quadros do exemplo pode ser definida como segue:  [087] As can be seen from the illustration, the example sequence of frames can be defined as follows:
[088] t1 : quadro de imagem capturado inicial do exemplo, onde nota-se o artigo a1 presente;  [088] t1: initial captured image frame of the example, where the present article a1 is noted;
[089] t2: quadro de imagem capturado no tempo t2, onde o artigo a1 presente em t1 não está presente na prateleira;  [089] t2: time-captured picture frame t2, where article a1 present at t1 is not present on the shelf;
[090] t3: quadro de imagem capturado no tempo t3, onde o artigo a1 continua ausente;  [090] t3: image frame captured at time t3, where article a1 is still missing;
[091 ] t4: quadro de imagem capturado no tempo t4, onde o artigo a1 continua ausente mas parte do fundo está obstruído pela presença de uma pessoa;  [091] t4: picture frame captured at time t4, where article a1 is still missing but part of the background is obstructed by the presence of a person;
[092] t5: quadro de imagem capturado no tempo t5, onde parte do fundo está obstruído pela presença de uma pessoa e onde não é possível saber se o artigo a1 está presente ou ausente; e [092] t5: picture frame captured at time t5, where part of the background is obstructed by the presence of a person and where it is not possible to know whether article a1 is present or absent; and
[093] t6: quadro de imagem capturado no tempo t6, onde é possível perceber que o artigo a1 continua ausente e que o artigo a2, que estava presente em t4 e obstruído em t5, está ausente.  [093] t6: Image frame captured at time t6, where it can be seen that article a1 is still missing and article a2, which was present at t4 and obstructed at t5, is missing.
[094] Um algoritmo é utilizado para fazer uma análise de blocos de pixels da sequência de imagens. Na concretização da presente invenção, as imagens são trabalhadas em formato YUV. [094] An algorithm is used to do a pixel block analysis of the sequence of images. In the embodiment of the present invention, the images are worked in YUV format.
[095] O algoritmo utilizado consegue identificar mudanças no fundo do quadro e a permanência ou não dessas mudanças durante aquela série analisada. Assim, o algoritmo consegue perceber que: houve uma mudança no fundo da imagem (prateleira + artigos) entre t1 e t2; que, embora tenha uma obstrução por uma pessoa em t4, não houve uma mudança no fundo da imagem entre t4 e t3; e que, embora tenha uma obstrução por uma pessoa em t5, houve uma mudança no fundo entre t4 e t5.  [095] The algorithm used can identify changes in the background and the permanence or not of those changes during that analyzed series. Thus, the algorithm can realize that: there was a change in the background of the image (shelf + articles) between t1 and t2; whereas although there is an obstruction by one person at t4, there was no change in the background of the image between t4 and t3; and although it has an obstruction by one person at t5, there was a change in the background between t4 and t5.
[096] Essa percepção na ausência de mudança de fundo em t4 só é possível porque o algoritmo não faz apenas uma análise simples ou por partes entre as imagens de tn e tn-1 , o algoritmo analisa toda a sequência de frames para perceber que mudanças no fundo foram permanentes.  [096] This perception in the absence of background change in t4 is only possible because the algorithm does not just do a simple or piecemeal analysis between tn and tn-1 images, the algorithm analyzes the entire frame sequence to realize that changes deep down they were permanent.
[097] Assim, o meio de processamento do dispositivo da presente invenção é capaz de analisar uma série de quadro de imagens capturados em diferentes momentos de tempo tn-, tn, tn+, onde tn é um momento de tempo de referência, tn- são momentos de tempo no passado e tn+ são momento de tempo no futuro.  [097] Thus, the processing medium of the device of the present invention is capable of analyzing a frame series of images captured at different time points tn-, tn, tn +, where tn is a reference time moment, tn- moments of time in the past and tn + are moments of time in the future.
[098] Para cada quadro no tempo tn, são identificados os blocos de elementos de fundo que apresentaram mudanças em relação aos demais blocos de elementos de fundo na série de imagens nos tempos tn- e tn+. [098] For each frame at time tn, the background blocks that have changed relative to the other background blocks in the series of images at times tn- and tn + are identified.
[099] O mosaico de imagens é construído a partir da reprodução de blocos de elementos de fundo que apresentam mudanças na série de quadros capturados nos tempos tn-; e da inclusão de blocos de elementos de fundo que apresentaram mudanças no tempo tn, desde que tais blocos de elementos de fundo não apresentem mudanças em relação aos blocos de imagens de fundo nos quadros capturados nos tempos tn+. [099] The image mosaic is constructed from the reproduction of blocks of background elements that present changes in the series of frames captured at times tn-; and including background blocks that have shown changes in time tn, provided that such background blocks show no change from background blocks in frames captured at times tn +.
[100] A figura 5 mostra um mosaico de imagem 21 criado pelo dispositivo de criação de mosaico o tempo tn=t5. O mosaico foi reconstruído utilizando o bloco de mudanças identificadas na imagem capturada no tempo t2 e o bloco de mudanças identificadas no tempo t5 (note que esse bloco de elementos de fundo não apresenta mudanças em relação a t6).  [100] Figure 5 shows an image mosaic 21 created by the mosaic maker tn = t5. The mosaic was reconstructed using the block of changes identified in the image captured at time t2 and the block of changes identified in time t5 (note that this block of background elements shows no changes from t6).
[101 ] Nesse sentido, deve ser notado que nesse mosaico de fundo reconstruído, a pessoa causando obstrução não está presente. Ou seja, o mosaico não é o quadro de imagem capturado em t5, mas sim uma representação da condição real dos artigos 12 na prateleira 10 no momento t5. Tal representação do fundo em t5 é impossível de ser capturada diretamente por uma câmera simples, pois possui obstruções do fundo, portanto apenas com a geração de um mosaico de fundo reconstituído poderá se observar, ou analisar, corretamente este momento na linha do tempo. [101] In this regard, it should be noted that in this reconstructed background mosaic, the person causing obstruction is not present. That is, the mosaic is not the picture frame captured at t5, but rather a representation of the actual condition of the articles 12 on shelf 10 at time t5. Such a background representation in t5 is impossible to capture directly by a simple camera, as it has background obstructions, so only with the generation of a reconstituted background mosaic can this moment be correctly observed or analyzed in the timeline.
[102] Essa percepção em relação ao tempo t5 só é possível porque o algoritmo de análise considerou a sequência que vai além de t5 e foi capaz de perceber que uma pessoa obstruindo o fundo em t5 retirou o artigo a2 da prateleira.  [102] This perception of time t5 is only possible because the analysis algorithm considered the sequence beyond t5 and was able to perceive that a person blocking the bottom at t5 removed article a2 from the shelf.
[103] Assim, o mosaico 21 criado para o tempo t5 contém blocos de fundo que podem ser gerados a partir de quadros de imagem capturados em diferentes tempos. Dessa maneira, cada bloco do mosaico contém elementos de fundo que não estão obstruídos e que não estão em movimento. Logo, o mosaico criado para o tempo t5 não é uma imagem no tempo t5 e sim uma reconstrução dos elementos de fundo a partir de blocos originados de diferentes quadros capturados em diferentes tempos. [103] Thus, mosaic 21 created for time t5 contains background blocks that can be generated from image frames captured at different times. In this way, each tile block contains unobstructed, non-moving background elements. Therefore, the mosaic created for time t5 is not an image at time t5 but a reconstruction of the background elements from blocks originating from different frames captured at different times.
[104] Assim, a identificação desses blocos de mudanças é justamente a identificação dos possíveis eventos de interesse da concretização mostrada na figura 3.  [104] Thus, the identification of these blocks of changes is precisely the identification of the possible events of interest of the embodiment shown in figure 3.
[105] O dispositivo de criação de mosaico cria metadados com informações sobre esses possíveis eventos de interesse: mudanças nos elementos de fundo ou sobre movimentos e formas na frente desse fundo (por exemplo, passagens de pessoas, obstruções por objetos, etc).  [105] The mosaic maker creates metadata with information about these possible events of interest: changes in background elements or movements and shapes in front of that background (eg, people passing, obstructions by objects, etc.).
[106] Como ilustrado na figura 4, o dispositivo 20 cria blocos de mosaico M2, M4, [106] As illustrated in figure 4, device 20 creates mosaic blocks M2, M4,
M5, M6 de fundo reconstruído com metadados de informações sobre mudanças no fundo e presença e movimento de formas na frente do fundo. Background M5, M6 reconstructed with metadata of information about background changes and presence and movement of shapes in front of the background.
[107] Note que esses blocos não incluem imagens nos tempos t2, t4, t5 e t6 e sim mosaicos que reconstroem os elementos de fundo estáticos nos tempos t2, t4, t5 e t6.  [107] Note that these blocks do not include images at times t2, t4, t5 and t6, but mosaics that reconstruct static background elements at times t2, t4, t5 and t6.
[108] Como mencionado anteriormente, o dispositivo 20 possui meios para comprimir esses mosaicos criados, considerando as informações dos metadados. Isso permite uma redução de capacidade de processamento, o que permite uma redução de custos e tempo. [109] A compressão dos mosaicos é preferencialmente realizada por um codec de compressão de imagem que trabalha com pixels em YUV, Essa característica permite uma economida na capacidade de processamento necessária ao dispositivo de criação de mosaico 20, pois a etapa anterior já trabalha com dados em formato YUV, evitando a conversão de um volume grande de dados. [108] As mentioned earlier, device 20 has means for compressing these created tiles by considering metadata information. This allows a reduction in processing capacity, which allows for a reduction in costs and time. [109] Mosaic compression is preferably performed by an image compression codec that works with YUV pixels. This feature allows a saving in the processing power needed by the mosaic maker 20, since the previous step already works with data. YUV format, avoiding the conversion of a large volume of data.
[1 10] Os mosaicos com metadados com informações de possíveis eventos de interesse são utilizados para extração dos mapas de características, como discutido em relação à figura 1. Um exemplo de uma mapa de características é dado na figura 6, onde é representado um mapa de características para o mosaico criado para o tempo de referência t2. [1 10] Metadata mosaics with information of possible events of interest are used for feature map extraction, as discussed in relation to Figure 1. An example of a feature map is given in Figure 6, where a map is represented. of characteristics for the mosaic created for reference time t2.
[1 1 1 ] A análise de reconhecimento de objeto é feita sobre os mapas de características, considerando os metadados com informações sobre eventos de interesse.  [1 1 1] Object recognition analysis is performed on feature maps, considering metadata with information about events of interest.
[1 12] Assim, o sistema da presente invenção proporciona uma redução da capacidade de processamento necessário, uma análise de reconhecimento de objeto mais rápida e eficaz.  [11] Thus, the system of the present invention provides a reduction in the required processing power, faster and more efficient object recognition analysis.
[1 13] Com relação à transmissão de dados, o sistema utiliza transmissão wireless do dispositivo de criação de mosaico 20 até um roteador wi-fi, tramissão por internet - por capo ou 4G, por exemplo, até um servidor em nuvem ou remoto do subsistema de análise.  [1 13] With respect to data transmission, the system utilizes wireless transmission from the mosaic maker 20 to a wifi router, internet transmission - by capo or 4G, for example, to a cloud server or remote from the analysis subsystem.
[1 14] Para a geração dos mapas de características, a presente invenção pode utilizar técnicas conhecidas como SIFT (Scale-invariant feature transform) e SURF (Speeded up robust features). Como sabido por aqueles versados na técnica, essas técnicas permitem a extração de característricas a partir do mosaico.  [1 14] For the generation of feature maps, the present invention may utilize techniques known as SIFT (Scale-invariant feature transform) and SURF (Speeded up robust features). As known to those skilled in the art, these techniques allow the extraction of features from the mosaic.
[1 15] Para o reconhecimento de objetos no mapa de características, a presente invenção pode utilizar um sistema baseado em redes neurais, como por exemplo, técnidas de Deep Neural Network, por exemplo da maneira discutida por "Szegedy, Roshev e Erhan no artigo "Deep Neural Networks for Object Detection" (http://papers. nips. cc/paper/5207-deep-neural-networks-for-object-detection.pdf), e também técnicas como Neocognitron, descrito por "Kunihiko Fukushima" no artigo "Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position" (http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushim a1980.pdf), aqui incorporados por referências. Naturalmente, um técnico no assunto, compreende que uma pluralidade de técnicas de reconhecimento de objeto em mapas de característica poderia ser utilizada dentro do contexto da presente invenção. Essas soluções do estado da técnica compreendem basicamente processos de aprendizado, supervisionado ou não, que permitem que os objetos sejam reconhecidos no mapa de características analisado. [1 15] For the recognition of objects in the feature map, the present invention may use a system based on neural networks, such as Deep Neural Network techniques, for example in the manner discussed by "Szegedy, Roshev and Erhan in the article. "Deep Neural Networks for Object Detection" (http: // papers. Nips. Cc / paper / 5207-deep-neural-networks-for-object-detection.pdf), as well as techniques such as Neocognitron, described by "Kunihiko Fukushima" in the article "Neocognitron: A Self-organizing Neural Network Model for a Mechanism of Pattern Recognition Unaffected by Shift in Position" (http://www.cs.princeton.edu/courses/archive/spr08/cos598B/Readings/Fukushim a1980.pdf), incorporated herein by reference. Of course, one of ordinary skill in the art understands that a plurality of feature map object recognition techniques could be used within the context of the present invention. These prior art solutions basically comprise learning processes, supervised or not, which allow objects to be recognized in the analyzed feature map.
[1 16] A presente invenção possibilita, através dos metadados associados ao mosaico gerado, que a análise de reconhecimento de objeto no mapa de característica seja feita somente nas áreas com indicação de mudança, o que economiza capacidade de processamento, diminuindo os custos operacionais e o tempo de processamento. [1 16] The present invention makes it possible, through the metadata associated with the generated mosaic, that object recognition analysis on the feature map is performed only in areas with change indication, which saves processing capacity, reducing operating costs and the processing time.
[1 17] Tendo sido descritos exemplos de concretizações do sistema da presente invenção, deve ser entendido que o escopo da presente invenção abrange outras variações possíveis do conceito inventivo descrito, sendo limitadas tão somente pelo teor das reivindicações apensas, aí incluídos os possíveis equivalentes.  [11] Having described examples of embodiments of the system of the present invention, it should be understood that the scope of the present invention encompasses other possible variations of the inventive concept described, being limited only by the content of the appended claims, including the possible equivalents thereof.

Claims

REIVINDICAÇÕES
1 . Sistema de gestão de inventário baseado em reconhecimento deimagem, caracterizado por compreender:  1 . Inventory management system based on image recognition, comprising:
um dispositivo de criação de mosaico (20) disposto em um ambiente de inventário, o dispositivo de criação de mosaico sendo configurado para capturar continuamente quadros de imagem de um dispositivo de exibição (10) com uma pluralidade de artigos (12), analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, e criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos (12) no dispositivo de exibição (10) nos diferentes momento de tempo; um gerador de mapas de características que utiliza os mosaicos de imagens reconstruídas para gerar mapas de características que representam o estado real dos artigos (12) no dispositivo de exibição (10) nos determinados momento de tempo; e a mosaic maker (20) arranged in an inventory environment, the mosaic maker being configured to continuously capture image frames from a display device (10) with a plurality of articles (12), analyze a series image frames captured at different time points, and create reconstructed image tiles from parts of the analyzed frames, the tiles representing the actual state of the articles (12) on the display device (10) at the different time points; a feature map generator that uses reconstructed image tiles to generate feature maps that represent the actual state of the articles (12) on the display device (10) at the given time point; and
um subsistema de análise de reconhecimento de objetos que realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário. An object recognition analysis subsystem that performs object recognition analysis on the generated feature maps and uses the generated data to provide inventory information.
2. Sistema de acordo com a reivindicação 1 , caracterizado em que o dispositivo de criação de mosaico inclui ainda um meio para comprimir os mosaicos de imagens reconstruídas antes de seu envio para o gerador de mapas de características.  A system according to claim 1, characterized in that the mosaic making device further includes a means for compressing the reconstructed image tiles prior to their sending to the feature map generator.
3. Sistema de acordo com a reivindicação 2, caracterizado em que o dispositivo de criação de mosaico inclui ainda um meio de transmissão de dados para transmissão dos mosaicos ao gerador de mapas de características.  System according to claim 2, characterized in that the tessellation device further includes a data transmission means for transmitting the tiles to the feature map generator.
4. Sistema de acordo com a reivindicação 2, caracterizado em que a análise de quadros de imagem é uma análise de bloco de pixels de quadros em formato YUV, e a compressão dos mosaicos é feita com um codec que trabalha com o formato YUV.  A system according to claim 2, characterized in that the image frame analysis is a YUV format frame pixel block analysis, and the compression of the tiles is performed with a codec working with the YUV format.
5. Sistema de acordo com qualquer uma das reivindicações 1 a 4, caracterizado em que o dispositivo de criação de mosaico (20) compreende um meio de captua de imagens em sequencia, uma unidade de processamento, um meio de armazenamento, uma memória RAM de processamento e meios para transmissão dos mosaicos. A system according to any one of claims 1 to 4, characterized in that the tessellation device (20) comprises a sequential image capture means, a processing unit, a storage medium, a RAM memory and a processing and means for transmitting the mosaics.
6. Sistema de gestão de inventário baseado em reconhecimento de imagem, caracterizado por compreender: 6. Inventory management system based on image recognition, comprising:
um dispositivo de criação de mosaico (20) disposto em um ambiente de inventário, o dispositivo de criação de mosaico sendo configurado para capturar continuamente quadros de imagem de um dispositivo de exibição (10) com uma pluralidade de artigos (12), analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, identificar possíveis eventos de interesse em cada momento de tempo; criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados , os mosaicos representando o estado real do artigos (12) no dispositivo de exibição (10) nos diferentes momento de tempo; em que o mosaico criado para um determinado momento de tempo é associado a um metadado com informações sobre possíveis eventos de interesse identificados para aquele momento de tempo; a mosaic maker (20) arranged in an inventory environment, the mosaic maker being configured to continuously capture image frames from a display device (10) with a plurality of articles (12), analyze a series image frames captured at different time points, identify possible events of interest at each time point; create mosaics of reconstructed images from parts of the analyzed frames, the mosaics representing the actual state of the articles (12) on the display device (10) at different time points; wherein the mosaic created for a given moment of time is associated with metadata with information about possible events of interest identified for that moment of time;
um gerador de mapas de características que utiliza os mosaicos de imagens reconstruídas e os metadados associados para gera mapas de características que representam o estado real dos artigos (12) no dispositivo de exibição (10) nos determinados momento de tempo; a feature map generator that utilizes the reconstructed image tiles and associated metadata to generate feature maps representing the actual state of the articles (12) in the display device (10) at the given time point;
um subsistema de análise de reconhecimento de objetos que realiza análise de reconhecimento de objeto nos mapas de características gerados e utiliza os dados gerados para fornecer informações de inventário. An object recognition analysis subsystem that performs object recognition analysis on the generated feature maps and uses the generated data to provide inventory information.
7. Sistema de acordo com a reivindicação 6, caracterizado em que os eventos de interesse podem incluir informações sobre mudanças no estado real dos artigos (120) ou informações sobre obstruções (1 10) na frente dos artigos (120).  A system according to claim 6, wherein the events of interest may include information on changes in the actual state of articles (120) or information on obstructions (110) in front of articles (120).
8. Sistema de acordo com a reivindicação 7, caracterizado em que a análise de reconhecimento de objeto é otimizada com base nas informações sobre eventos de interesse.  System according to claim 7, characterized in that the object recognition analysis is optimized based on information about events of interest.
9. Método de gestão de inventário baseado em reconhecimento deimagem, caracterizado por compreender:  9. Inventory management method based on image recognition, comprising:
capturar conitnuamente quadros de imagem de um dispositivo de exibição (10) com uma pluralidade de artigos (12), concurrently capturing image frames from a display device (10) with a plurality of articles (12),
analisar uma série de quadros de imagem capturados em momentos de tempo diferentes, analyze a series of image frames captured at different times in time,
criar mosaicos de imagens reconstruídas a partir de partes dos quadros analisados, os mosaicos representando o estado real do artigos (12) no dispositivo de exibição (10) nos diferentes momento de tempo; create reconstructed image tiles from parts of frames analyzed, the mosaics representing the actual state of the articles (12) on the display device (10) at different time points;
gerar mapas de características que representam o estado real dos artigos (12) no dispositivo de exibição (10) nos determinados momento de tempo; generating feature maps that represent the actual state of the articles (12) on the display device (10) at the given time point;
realizar análise de reconhecimento de objeto nos mapas de características gerados; e perform object recognition analysis on the generated feature maps; and
utilizar os dados gerados para fornecer informações de inventário. use the data generated to provide inventory information.
10. Método, de acordo com a reivindicação 9, caracterizado em que compreende ainda comprimir os mosaicos de imagens reconstruídas antes da etapa de gerar mapas de características. A method according to claim 9, further comprising compressing the reconstructed image tiles prior to the step of generating feature maps.
PCT/BR2016/050302 2016-01-13 2016-11-23 System and method for inventory management based on object recognition analysis WO2017120650A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
BR102016000691-0A BR102016000691A2 (en) 2016-01-13 2016-01-13 INVENTORY MANAGEMENT SYSTEM AND METHOD BASED ON OBJECT RECOGNITION ANALYSIS
BRBR1020160006910 2016-01-13

Publications (1)

Publication Number Publication Date
WO2017120650A1 true WO2017120650A1 (en) 2017-07-20

Family

ID=59310488

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/BR2016/050302 WO2017120650A1 (en) 2016-01-13 2016-11-23 System and method for inventory management based on object recognition analysis

Country Status (2)

Country Link
BR (1) BR102016000691A2 (en)
WO (1) WO2017120650A1 (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154141A1 (en) * 2001-09-18 2003-08-14 Pro Corp Holdings International Ltd. Image recognition inventory management system
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US8009864B2 (en) * 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US20140003655A1 (en) * 2012-06-29 2014-01-02 Praveen Gopalakrishnan Method, apparatus and system for providing image data to represent inventory
US20140129395A1 (en) * 2007-08-31 2014-05-08 Accenture Global Services Limited Detection of stock out conditions based on image processing
US20140152874A1 (en) * 2012-12-04 2014-06-05 Motorola Solutions, Inc. Transmission of images for inventory monitoring

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030154141A1 (en) * 2001-09-18 2003-08-14 Pro Corp Holdings International Ltd. Image recognition inventory management system
US7949568B2 (en) * 2007-08-31 2011-05-24 Accenture Global Services Limited Determination of product display parameters based on image processing
US8009864B2 (en) * 2007-08-31 2011-08-30 Accenture Global Services Limited Determination of inventory conditions based on image processing
US20140129395A1 (en) * 2007-08-31 2014-05-08 Accenture Global Services Limited Detection of stock out conditions based on image processing
US20140003655A1 (en) * 2012-06-29 2014-01-02 Praveen Gopalakrishnan Method, apparatus and system for providing image data to represent inventory
US20140152874A1 (en) * 2012-12-04 2014-06-05 Motorola Solutions, Inc. Transmission of images for inventory monitoring

Also Published As

Publication number Publication date
BR102016000691A2 (en) 2017-07-18

Similar Documents

Publication Publication Date Title
US11763254B2 (en) On-shelf image based out-of-stock detection
US20180260772A1 (en) Out-of-stock detection based on images
US20130235206A1 (en) System and Method of On-Shelf Inventory Management
US20190050900A1 (en) Intelligent Marketing and Advertising Platform
US20220067642A1 (en) Systems and methods for auto-replenishment of products using pressure mapping sensors and machine learning
US20180218494A1 (en) Out-of-stock detection based on images
CN108335317A (en) Shopping guide method and device under a kind of line
CN109189878B (en) A kind of crowd's thermodynamic chart preparation method and device
CN105373926A (en) Sale information visualization collection system and method for store
CN104268770A (en) Supermarket visiting customer characteristic analysis system
WO2020163217A1 (en) Systems, method and apparatus for frictionless shopping
US10628792B2 (en) Systems and methods for monitoring and restocking merchandise
CN202976125U (en) Commodity display information acquisition analyzing system based on image identification technology
US20220284384A1 (en) On-Shelf Image Based Barcode Reader for Inventory Management System
CN109035630A (en) Commodity information identification method and system
CN104050599A (en) Edible agricultural product quality safety traceability system and method based on video playback
KR102077630B1 (en) System and method for analyzing commercial based on pos and video
CN109784193A (en) Terminal data acquisition device and system for intelligent refrigerator
WO2017120651A1 (en) Device for creating mosaics of reconstructed images and method for creating a mosaic of reconstructed images
WO2017120650A1 (en) System and method for inventory management based on object recognition analysis
CN111583133A (en) Adaptive remote sensing image pixel default filling method, device, equipment and medium
CN104376523A (en) Method for constituting image code anti-fake system for Google project glass
CN104376314A (en) Method for constituting Internet of Things website system for Google project glass
US20190019339A1 (en) Systems and methods for dynamically displaying information about an object using augmented reality
US20190220806A1 (en) Method and system for determining the presence and arrangement of products arranged in a cooling system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16884251

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16884251

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16884251

Country of ref document: EP

Kind code of ref document: A1