[NB: there is no audio for this slide]

1

It is absolutely obvious to me that the quality of care is related to safety, evidence‐based care and compliance with the needs and wishes of our patients. When there is an unacceptable perception of either an individual’s performance or the performance of a unit within a Trust delivering a service, then there is a pressing need to try and obtain objective data to support improving patient care. The medical royal colleges are one of several organisations with the required skills and expertise to perform such assessments on behalf of individual hospital Trusts.

2

Forward planning. The success of a review visit will be dependent on a significant amount of forward planning with clear, realistic terms of reference. It is absolutely fundamental that the Lead Assessor in combination with the Medical Director of the requesting Trust nail down the terms of reference that are deliverable and realistic. 

In addition, the assessors, including the lead assessor, will need access in advance to requested data and information. The clinical records can be reviewed on the day although time will be needed and must be allowed for this responsibility. The success of the process will be aided hugely by a senior local manager who has significant authority. These are serious processes and the requested individuals must attend, and it is vital that the senior local manager has the authority to be able to obtain medical records, to be able to obtain data on outcomes, and also to be able to have the authority to obtain clinical input and interviewers to attend on time. 

The review report will not be available immediately but the recommendations of the assessment team must be shared with the Trust before the assessors leave. In addition, they must be shared, in the case of an individual clinician who is being investigated, with that individual in a kind, supportive manner.

3

The objectives of the visit. The concerns will be defined through the terms of reference that determine the review but often hidden influences become apparent during the process. It is very rare that there is not a departmental problem even in individual reviews since they have failed to resolve the problem in‐house. You must respect the terms of reference but if there are elements that are impacting on the terms of reference that seems slightly peripheral then it is your duty to investigate these further. 

The facts that you obtained will be confirmed by triangulation of evidence from audit data, patient feedback, review of notes, interviews of colleagues, interviewing nurses, midwives, and, most importantly perhaps, interviewing trainees. Interviews need to be structured and consistent to obtain reproducible evidence. 

The impact is usually serious as implied by the need for a review but it is vital to be humble and realise that everybody has problems, and that complications and clustering of complications can occur. 

A formulated assessment and recommendation is vital for the Trust. This will help them with performance management. 

This process must impact and cause change in clinical practice and it is vital that the college, as part of their quality assessment, request feedback at a defined time period.

4

General remarks about reviews. Medicine is inevitably very tough for patients and at times very tough for those professionals providing the services. There are few of us that do not have quite marked differences in our own performance from day‐to‐day and it is one of the intriguing things in medicine as to what impacts and what influences our daily performance. The standards required for individuals and for hospital Trusts are set out in many Royal College of Obstetricians and Gynaecologists documentation.

If care deviates from that and from that recommended by NICE, then I believe that it behoves us to act and make recommendations. 

Remember that those that you are interviewing are not used to this and are putting themselves on the line, in particular, nurses and midwives who feel very anxious as the implications of what they say may have very profound effects on the future of a doctor.

5

One of the things that we need to do quite early on is to agree who will be interviewed, and agree who is taking the lead role for that interview, and agree who is taking notes. 

There are key people that we would always interview, for example, the Medical Director, the Clinical Director, the Head of midwifery, and usually, in my experience, a risk manager. It is beneficial to ask to interview a Professional Midwifery Advocate and we will usually interview a selection of junior doctors and a selection of midwives, depending what the issues are and depending what areas it is we are particularly reviewing. 

Each of us take a turn in who takes the lead role in the interviews so sometimes the Lead Assessor will take the lead. On one occasion, there was a second obstetrician and on another occasion there was an anaesthetist because there were particular issues with anaesthetics in the obstetric theatre, and so clearly because this is their area of expertise, they were the ones who undertook those interviews. 

Agree who is taking notes. It is important that if you are the one doing the interviewing, it is quite difficult to take notes at the same time so you need to agree with each other who is taking the notes and who is doing the interview. 

One of the key issues is to identify the issues that contribute to the Trusts concerns. What I have found is that when you meet with the clinical director before the start of the review, they will outline what their concerns are; and then you go and you start the review and they don’t match; there’s two different areas of concern – or it sometimes appears that the medical director’s concerns are not as worrying as they had thought. 

So that is quite a good thing, but sometimes what happens then is that there are other issues which they had not known about that are more worrying, and it is important to make sure that we have covered all the things that the Trust is concerned about. The Trusts are paying for the RCOG review and for us to come out at the end and not have 

6

addressed the issues that they have brought up, that wouldn’t be right and I am sure they wouldn’t be very happy. 

Feedback is very important. And it is important to agree which assessor will give it and to who. It is also important that they understand that if something needs doing urgently then they need to get on and do that, and not wait for the report which can sometimes take up to six weeks.

6

One of the first things we need to do is reaffirm the understanding of the terms of reference because sometimes the TOR don’t always reflect exactly what the Trust wants. The key to a good review is to listen well and be non‐judgmental. That’s sometimes quite difficult when you hear some of the things that the people you are interviewing say to you, but the key is to listen very well to what they are saying so you can completely understand, and that also enables you to ask pertinent questions afterwards. 

Remember, the issues may not be as the requester perceives. Sometimes the Trusts have an idea about what they think the issues are and so the terms of reference are built around that. But once you start to delve a little bit and you start to speak to people, actually, the issues are not always as they had first thought they were, and sometimes that’s difficult in that then we have to found a way to tell them that the issues are not what they thought. 

Take notes ensuring you clarify any issues. Taking notes is really important because you will be expected to contribute to the report at the end. Having notes and having good notes that you can accurately draw on to write the report is very important.

Crosscheck the evidence provided. Doctors’ rotas is a very good example. We will often get copies of the doctors’ rotas but once you start to ask questions and so what you want to do then is check out that the doctors are actually doing what it says on their rota. The other one that often we pick up is midwifery staffing: so it is very good to be clear about whether you are talking about staffing post, funded establishments, and what that actually looks like in reality because often they can be very, very different. For example, as the midwifery assessor speaking to the head of midwifery, you are cross‐referencing the information that has been given to you before, to actually get what the reality is not what it is on paper.

Anonymity is really important. If we want people to be upfront with us and tell us what we really need to know, they do need to understand that nothing in the report will be attributable to them as individuals. You can see them clearly visibly relax when you say that to them.

Long days. It is a really long and intense two days. We always meet the evening before the review to make sure that everybody has got enough information and we know exactly the questions we are going to ask and who is doing what. We will often be in the Trust before 9 a.m. and sometimes we would not be out from the Trust until 7 p.m. in the evening. And we may still need to get together again in the evening to go over the information we have received and make sure that we are not missing anything. We only have two days and we have to make absolutely good use of those two days. Very often, the second day will be a late finish which means that by the time you get home it has been two very long days. 

7

The interview process. The selection of those that you interview must be performed with great care and this is really the responsibility of the Lead Assessor in combination with the Trust.

It is vital that you stress and explain at the beginning of your interview following introductions the reasons for the process, the motivation for the process and the confidentiality of the process. Evidence is not apportioned to individuals but is presented in an anonymous way at the end of the report. 

The individuals will be very nervous and a skilful interviewer will need to use all their empathetic gentle skills that they have acquired during a lifetime in medical practice. In particular, the skills that you acquire in breaking bad news are often the kind of skills that you need in this interview. Some of the people that you interview will be aggressive due to their anxiety; some may even be tearful through guilt, through distress, through other complex reasons. 

If an individual is being reviewed rather than the service, it is often helpful to invite them to bring a supporter if they wish. These people are independent but are purely there to help and support that individual. 

Always remember to try and corroborate data from other sources and be gentle, but you must be probing in your questioning. 

The time required for an interview is variable but up to 30 minutes is normal; sometimes 60 minutes may be required for key players. 

It is not a mistake to re‐interview individuals the following day if required. 

8

Review of clinical records. It is vital that individual clinical records are reviewed of index cases who have been subject to complications. 

This is a difficult and labour‐intensive part of the process, but you must check the submitted cases and I would advise also that you ask for 15 random sets of notes to check on general quality, note‐keeping, consent form, documentation and other responsibilities.

The time required for this is significant and often you will do this individually with your co‐assessor and it is not often possible to cross‐check every single note with your co‐assessor but it is vital that you have some cross‐checking to see that you are making similar types of assessment. 

The documentation is provided by the RCOG on a standard documented form. 

9

The assessment of evidence. Messages will become apparent throughout the process but it is vital to triangulate evidence and to look for consistent views amongst the assessors. 

The summary of the recommendations must relate to the terms of reference unless something critical has arisen that is independent of the terms of reference. Your duty in performing this task is primarily to the patient but also to the employer and to the regulator. 

A realistic plan of remediation if required must be drawn up. 

On very rare occasions, a very serious recommendation may be required but this is really into the role of the regulator and the employer. If such a problem arises, then through the royal college governance structures it may be important to report an issue to the regulator. 

At the end of the process, you must feedback to the individual and to the Trust your assessment of the evidence. It is often interesting to see the responses from the Trust or from the individual of your recommendation and this will tell you much about the insight of the individual or of the institution. 

10

Presentation to the Trust. As I have just mentioned, you must not leave the Trust without giving them a very clear recommendation, obviously in verbal form initially, and again consistency is vital; it is important that the messaging is consistent with the messaging you produce in your written report. 

11