Оператор преобразования типа для неконстантной ссылки

//forward declaration
struct Lib1Vector;
struct Lib2Vector;
 
struct MyAdapter
{
    float x;
    float y;
    float z;
private:
    Lib1Vector* lib1Vector;
    Lib2Vector* lib2Vector;
public:
    ...// конструкторы, деструктор
    operator Lib1Vector() const;
    operator Lib2Vector() const;
    operator const Lib1Vector()& const;
    operator const Lib2Vector()& const;
    
}

#include <iostream>
 
using namespace std;
 
struct B{
   int val;
};
struct D{
   int val;
};
 
struct A{
   A():x{}, ref{x.b.val}{
      ref = 10;
   } 
   union{
      B b;
      D d;
   } x;
   int &ref;
   operator B&(){
      return x.b;
   };
   operator D&(){
      return x.d;
   };
};
 
void foo(B& b){
   b.val = 100;
}
void bar(D& d){
   d.val = 1000;
}
int main()
{
   A a;
   cout << a.ref << endl;
   foo(a);
   cout << a.ref << endl;
   bar(a);
   cout << a.ref << endl;
}

struct A{
   static_assert(sizeof(B)==sizeof(D), "B!=D");

namespace type_conversions {
 
template<typename T>
auto convertTo(const cv::Point2d& p) {
    return T(p.x, p.y);        
}
 
template<typename T>
auto convertTo(const QPointF& p) {
    return T(p.x(), p.y());
}
 
}

struct Vector1
{
    float x = 0.0f;
    float y = 0.0f;
    float z = 0.0f;
 
    static void ValFunc(Vector1 vec1) {};
    static void ConstRefFunc(const Vector1& vec1) {};
    static void NonConstRefFunc(Vector1& vec1) {};
};
 
struct Vector2
{
    float x = 0.0f;
    float y = 0.0f;
    float z = 0.0f;
 
    static void ValFunc(Vector2 vec2_) {};
    static void ConstRefFunc(const Vector2& vec2_) {};
    static void NonConstRefFunc(Vector2& vec2_) {};
};
 
class Adapter
{
    float x = 0.0f;
    float y = 0.0f;
    float z = 0.0f;
 
public:
    Adapter();
    Adapter(float x_, float y_, float z_);
    Adapter(const Vector1& vec1_);
    Adapter(const Vector2& vec2_);
    ~Adapter();
    operator const Vector1& () const;
    operator const Vector2& () const;
    operator Vector1& ();
    operator Vector2& ();
};

Adapter adp;
lib1FillVector(adp); // lib1FillVector(Vector1& vec);
// adp.x = 1, adp.y = 2
 
lib2ModVector(adp); // lib2ModVector(Vector2& vec);
// adp.x += 1, adp.y += 1
 
Vector1 const& a = adp; // a.x = 2, a.y = 3
Vector2 const& b = adp; // b.x = 2, b.y = 3

operator Vector2&()