Made by a55mage
Move your hand in front of the camera, a red dot will appear to represent the mouse cursor
Pinch the index finger and the thumb, a yellow dot will appear, meaning you have correctly clicked
Pinch the middle finger and the thumb, a green dot will appear, meaning you have correctly clicked
You can use this project as starting point, the HTML index only needs the script tags, the canvas and the video component, everything else is deletable.
The hand recognition is managed by Google's MediaPipe.
My script uses mediapipe's hand recognition to get the coordinates and position a fake cursor inside the canvas. Clicking and scrolling is managed in simple javascript
I made this as a substitute for touchscreen interaction, especially for devices like multimedia totems, but this can be used as an accessibility tool too
Try a different browser, works well with chromium but ultimately it depends on your CPU performance, from what I've tested, it works great on any modern quad-core or superior CPU (tested on Intel i5-10400 and apple M1)
Precision can be improved by using a good webcam in a well lit environment, but you can tweak the "minDetectionConfidence" and "minTrackingConfidence" parameters to find what works best for you
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Fusce tempus luctus velit, quis rutrum massa lobortis nec. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Praesent consequat metus quis nisi interdum scelerisque. Ut a nulla sed turpis ornare elementum sit amet ut felis. Morbi elementum metus id fringilla commodo. Nunc accumsan, metus eu suscipit bibendum, est turpis mollis neque, quis facilisis lorem dolor quis ipsum. Fusce non nulla nunc. Phasellus semper in tellus id tristique. Duis euismod vel nibh sed sollicitudin. Fusce non sollicitudin tellus, sit amet dictum arcu. Etiam non massa vel elit congue ultrices rutrum laoreet justo. Praesent vulputate cursus risus, vitae imperdiet enim egestas a. Integer pharetra justo a enim ultricies molestie. Nunc lacus orci, ultricies eu ultricies sit amet, pharetra luctus dolor. Nulla odio mauris, luctus convallis eros ac, maximus malesuada libero. Suspendisse volutpat efficitur mauris, quis sagittis metus commodo vitae. Duis eu pretium erat. Curabitur ac diam ut justo pharetra efficitur vel a mauris. Vestibulum vulputate nibh nec lectus pulvinar ultrices. Praesent sollicitudin risus eu magna accumsan tempor. Donec orci massa, fringilla ut quam vitae, ultrices porttitor libero. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos himenaeos. Vestibulum aliquet leo urna, feugiat fermentum tortor eleifend sed. Cras imperdiet condimentum odio nec mollis. Vivamus auctor justo condimentum eleifend efficitur. Fusce vel ullamcorper nibh, non porta odio. Nulla luctus laoreet eros, eu convallis erat scelerisque non. Fusce sagittis libero mauris, sit amet varius nisl tincidunt non. Mauris consectetur diam eget sem porttitor maximus. Sed aliquet hendrerit velit, ut porttitor nisi eleifend vitae. Integer dictum augue at velit maximus eleifend. Nulla vulputate, odio nec auctor tincidunt, odio purus tristique lacus, ut malesuada urna nisi nec eros. Interdum et malesuada fames ac ante ipsum primis in faucibus. Donec quis erat faucibus, accumsan nisi non, congue tortor. Ut faucibus ultrices elit sed ultrices. Nunc neque nisl, suscipit sed elit vel, malesuada malesuada ipsum. Nullam pellentesque rhoncus iaculis. Suspendisse tincidunt urna pellentesque, venenatis sem eu, mollis diam. In ultricies sem et iaculis viverra. Sed quis lorem eget leo dapibus interdum. Nam maximus ante non orci lacinia viverra. Etiam risus lacus, faucibus sit amet ex et, porttitor mattis velit. Suspendisse vitae bibendum ligula. Morbi id risus congue, blandit mi tincidunt, laoreet diam. Proin molestie lacus lorem, id cursus enim tincidunt quis. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. In hac habitasse platea dictumst. Donec faucibus tortor vel egestas mollis. Morbi ullamcorper rhoncus iaculis. Vestibulum quis nisl at ex pellentesque cursus in vitae purus. Cras nec commodo diam, nec vulputate ex. Curabitur eget sollicitudin quam. In in mi tortor. In blandit metus in est condimentum, nec varius libero elementum. Etiam bibendum pharetra justo, sed dapibus velit scelerisque a.
Lorem ipsum dolor sit amet, consectetur adipiscing elit. Fusce tempus luctus velit, quis rutrum massa lobortis nec. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. Praesent consequat metus quis nisi interdum scelerisque. Ut a nulla sed turpis ornare elementum sit amet ut felis. Morbi elementum metus id fringilla commodo. Nunc accumsan, metus eu suscipit bibendum, est turpis mollis neque, quis facilisis lorem dolor quis ipsum. Fusce non nulla nunc. Phasellus semper in tellus id tristique. Duis euismod vel nibh sed sollicitudin. Fusce non sollicitudin tellus, sit amet dictum arcu. Etiam non massa vel elit congue ultrices rutrum laoreet justo. Praesent vulputate cursus risus, vitae imperdiet enim egestas a. Integer pharetra justo a enim ultricies molestie. Nunc lacus orci, ultricies eu ultricies sit amet, pharetra luctus dolor. Nulla odio mauris, luctus convallis eros ac, maximus malesuada libero. Suspendisse volutpat efficitur mauris, quis sagittis metus commodo vitae. Duis eu pretium erat. Curabitur ac diam ut justo pharetra efficitur vel a mauris. Vestibulum vulputate nibh nec lectus pulvinar ultrices. Praesent sollicitudin risus eu magna accumsan tempor. Donec orci massa, fringilla ut quam vitae, ultrices porttitor libero. Class aptent taciti sociosqu ad litora torquent per conubia nostra, per inceptos himenaeos. Vestibulum aliquet leo urna, feugiat fermentum tortor eleifend sed. Cras imperdiet condimentum odio nec mollis. Vivamus auctor justo condimentum eleifend efficitur. Fusce vel ullamcorper nibh, non porta odio. Nulla luctus laoreet eros, eu convallis erat scelerisque non. Fusce sagittis libero mauris, sit amet varius nisl tincidunt non. Mauris consectetur diam eget sem porttitor maximus. Sed aliquet hendrerit velit, ut porttitor nisi eleifend vitae. Integer dictum augue at velit maximus eleifend. Nulla vulputate, odio nec auctor tincidunt, odio purus tristique lacus, ut malesuada urna nisi nec eros. Interdum et malesuada fames ac ante ipsum primis in faucibus. Donec quis erat faucibus, accumsan nisi non, congue tortor. Ut faucibus ultrices elit sed ultrices. Nunc neque nisl, suscipit sed elit vel, malesuada malesuada ipsum. Nullam pellentesque rhoncus iaculis. Suspendisse tincidunt urna pellentesque, venenatis sem eu, mollis diam. In ultricies sem et iaculis viverra. Sed quis lorem eget leo dapibus interdum. Nam maximus ante non orci lacinia viverra. Etiam risus lacus, faucibus sit amet ex et, porttitor mattis velit. Suspendisse vitae bibendum ligula. Morbi id risus congue, blandit mi tincidunt, laoreet diam. Proin molestie lacus lorem, id cursus enim tincidunt quis. Pellentesque habitant morbi tristique senectus et netus et malesuada fames ac turpis egestas. In hac habitasse platea dictumst. Donec faucibus tortor vel egestas mollis. Morbi ullamcorper rhoncus iaculis. Vestibulum quis nisl at ex pellentesque cursus in vitae purus. Cras nec commodo diam, nec vulputate ex. Curabitur eget sollicitudin quam. In in mi tortor. In blandit metus in est condimentum, nec varius libero elementum. Etiam bibendum pharetra justo, sed dapibus velit scelerisque a.