[jawsscripts] Re: Route Virtual To Mouse

  • From: Doug Lee <doug.lee@xxxxxxxxxxxxxxx>
  • To: jawsscripts@xxxxxxxxxxxxx
  • Date: Thu, 5 Apr 2018 09:56:07 -0400

If I understand your question right, you want to know how to tell what an 
application/window offers. Just try the various JAWS functions (GetFocusObject, 
the UIAScriptAPI focusedElement call, etc.) to see what gives you
something useful. I don't recognize that window class myself.

On Thu, Apr 05, 2018 at 08:48:55AM +0100, jason beal wrote:
HI Doug
I have a question how can you find out what type of object you have from a MSaa 
type or UIA.

I have a menu in a application which as the type of Class  
PXE:{C5309AD3-73E4-4707-B1E1-2940D8AF3B9D}
Handle  132008

So where to start

Kind regards
Jason




Sent from Mail for Windows 10

From: Doug Lee
Sent: 03 April 2018 22:47
To: jawsscripts@xxxxxxxxxxxxx
Subject: [jawsscripts] Re: Route Virtual To Mouse

I don't know of anything that directly does this better than 
RouteVirtualToMouse, but we do have a few alternative ways to figure out where 
the mouse is:

- For the MSAA object at a point, getObjectAtPoint. Warning, this may be wrong 
on high-DPI laptops in some applications.

- For the UIA element, the UIAScriptAPI GetElementFromPoint function. This is 
probably the best you can do when routeVirtualToMouse fails.

- Using left and right arrows with the JAWS touch cursor active. A visible 
rectangle follows progress, which means a sighted person can tell you when you 
get there. Of course that might also be tedious on a huge page, and an
  object can have containers that also surround the mouse pointer.

  Unfortunately, according to my recollection at least, getDocumentXML does not 
include coordinates in its returned structure, which precludes an otherwise 
potentially effective, if rather hard to implement efficiently, search
  for the smallest element containing the mouse pointer.

On Tue, Apr 03, 2018 at 09:47:49PM +0100, Bob wrote:
I usually make sure that the highlighting is turned on and then click on the 
nearest bit of blank space or plain text before arrowing to get the highlight 
in the correct place. 

Bob


On 3 Apr 2018, at 21:01, Snowman <snowman@xxxxxxxxxxxxxxxx> wrote:

<grin>  Yeah,  claims to,  in some cases, is about right.    Good way to put 
it.

I am left to assume that there is some technical reason why this isn't 
possible.  But, it seems to be a very helpful mechanism.  When I have my 
wife look at a page that is causing me confusion, I have trouble learning 
what she is referring to.  And, it would be so bnice if she could just 
direct my virtual cursor, and then let me explore the surroundings.
It just usually doesn't work that way.  but, it needs to.  Before I, 
attempt, to ding FS about it again, I wanted to make sure there wasn't 
something I was missing.





+--------------------------------------------------------------------------+
Listen to The Snowman on MushroomFM.com, Saturday evenings, 8PM Eastern 
time.
60's and 70's tunes, and gently conservative talk.

----- Original Message ----- 
From: "Doug Lee" <doug.lee@xxxxxxxxxxxxxxx>
To: <jawsscripts@xxxxxxxxxxxxx>
Sent: Tuesday, April 03, 2018 2:28 PM
Subject: [jawsscripts] Re: Route Virtual To Mouse


There's a RouteVirtualToMouse function that claims to work in some 
documents.

On Tue, Apr 03, 2018 at 02:26:15PM -0500, Snowman wrote:
Bob,
RoutePCToJaws.  Well, it's actualy hard to tell.  I am using IE.  The jaws
cursor is not able to see most of the text on the page, most of the time.
So, the behavior is a bit difficult to verify.
And, when I do find bits of text, I can not direct the virtual cursor to
that location.  Sometimes, it gets in the general area, sometimes not.
What I am wanting, is for a sighted person to be able to direct my virtual
cursor, using the mouse, so they can show me things.
And, it seems like we should be able to get closer than we do.
It seems like you would need a little extra info in the side, that could be
created when the virtual document is created, based on the DOM.  That extra
info would let you go backward through the process.
So, you could pick a DOM element, with the mouse,  and force the virtual
cursor to now address that same element and, ideally, the same  word in the
text the element contains.
Anyway,  I'm not having much luck with this so far.
And, it does seem like a very useful thing.



+--------------------------------------------------------------------------+
Listen to The Snowman on MushroomFM.com, Saturday evenings, 8PM Eastern
time.
60's and 70's tunes, and gently conservative talk.

----- Original Message ----- 
From: "Bob" <temp@xxxxxxxxxxxxxxx>
To: <jawsscripts@xxxxxxxxxxxxx>
Sent: Tuesday, April 03, 2018 12:20 AM
Subject: [jawsscripts] Re: Route Virtual To Mouse


Does RoutePCToJaws not do this when in a virtual document?

On 3 Apr 2018, at 05:45, Snowman <snowman@xxxxxxxxxxxxxxxx> wrote:

Is this currently possible?   I want to have someone position the physical
mouse, and be able to route my virtual cursor to that location.  Can I do
it?
If not, we need a way to do this.


+--------------------------------------------------------------------------+
Listen to The Snowman on MushroomFM.com, Saturday evenings, 8PM Eastern
time.
60's and 70's tunes, and gently conservative talk.

__________???

View the list's information and change your settings at
http://www.freelists.org/list/jawsscripts



__________???

View the list's information and change your settings at
http://www.freelists.org/list/jawsscripts

__________???

View the list's information and change your settings at
http://www.freelists.org/list/jawsscripts

-- 
Doug Lee, Senior Accessibility Programmer
Level Access
mailto:Doug.Lee@xxxxxxxxxxxxxxx  http://www.LevelAccess.com
"While they were saying among themselves it cannot be done,
it was done." --Helen Keller
__________???

View the list's information and change your settings at
http://www.freelists.org/list/jawsscripts

__________???

View the list's information and change your settings at 
http://www.freelists.org/list/jawsscripts



__________???

View the list's information and change your settings at 
http://www.freelists.org/list/jawsscripts

-- 
Doug Lee, Senior Accessibility Programmer
Level Access
mailto:Doug.Lee@xxxxxxxxxxxxxxx  http://www.LevelAccess.com
"While they were saying among themselves it cannot be done,
it was done." --Helen Keller
__________o?
View the list's information and change your settings at 
http://www.freelists.org/list/jawsscripts




---
This email has been checked for viruses by Avast antivirus software.
https://www.avast.com/antivirus

__________???

View the list's information and change your settings at 
http://www.freelists.org/list/jawsscripts

-- 
Doug Lee, Senior Accessibility Programmer
Level Access
mailto:Doug.Lee@xxxxxxxxxxxxxxx  http://www.LevelAccess.com
"While they were saying among themselves it cannot be done,
it was done." --Helen Keller
__________�

View the list's information and change your settings at 
http://www.freelists.org/list/jawsscripts

Other related posts: